2026年6月6日 星期六

評分與排序--以同理心評分言

絕對分數(評分所得)可用以描述同理心的水準,排序用來描述受試者於同批中的相對位置。

因為同理心分數通常較粗(不易評分),排序可以補充分辨力;但排序必須搭配排名信心、差距說明與同層級分組,才不會把微小差異誤解成穩定差異。

但只要「單向度/項目」設計好(符合階層難度差異),應可暨評分又排序。

AI agent 或可同時達成!!


-----------------------------------------

以下以「單向度的同理心」作為例子,彙整「評分」與「排序」之概念與用途。

**核心概念**

若將同理心視為一個單向度構念,意思是我們暫時把同理心看成一條由低到高的連續向度。受評者的表現可以被放在這條向度上,例如從「較少辨識他人感受」到「能深入理解他人處境並做出貼合回應」。

但同理心本身不容易被切得很細,因此絕對分數通常比較適合做粗略分級;排序則可補充同分者之間的相對區隔。

**1. 絕對分數評分**

絕對分數回答的是: 這個人的同理心表現本身達到什麼水準?

例如使用 1-5 分:

分數意義
1幾乎未辨識他人情緒或需求
2有注意到情緒,但回應表淺
3能基本理解對方感受並做出適當回應
4能準確辨識情緒、處境與需求
5能深入理解對方觀點,並給出高度貼合的回應


這種分數的優點是容易解釋,也適合判斷是否達標。  

限制是分數通常較粗,很多人可能集中在 3 或 4 分,不適合過度解讀細微差異。


**2. 排序概念**


排序回答的是:在這一批受評者中,誰的同理心相對較高?


排序可以補足絕對分數的不足。例如 A、B、C 都是 4 分,但仍可透過 AI 或評分者進行兩兩比較,判斷誰的表現相對更完整。


不過排序要謹慎解讀。第 1 名不一定代表同理心非常高,只代表在這一批裡相對最高。第 3 名也不一定明顯低於第 2 名,尤其當兩者分數或表現證據很接近時。


因此排序最好搭配:

- 排名

- 排名信心

- 分數差距

- 同層級分組

- 差異說明


**3. 後續應用**

絕對分數適合用於:

- 判斷是否達到基本標準

- 教學、訓練或回饋

- 前後測比較

- 個人能力診斷

- 決定是否需要補強訓練


排序適合用於:

- 選拔或名額有限的決策

- 同批受評者比較

- 找出示範案例

- 分組,例如高、中、低同理心組

- 資源配置,例如優先輔導低排序者


兩者合併時,可以避免誤判。例如某人同理心 4/5,但排名第 15/20,這不代表他差,而是代表同批整體可能很強。


**4. 完整分數呈現**

一份完整的同理心評量結果可以包含:


項目說明
絕對分數例如 4/5
等級描述例如良好、達標、需加強
排名例如第 6/30 名
百分位例如高於同批 80% 受評者
排名信心高、中、低
分數差距與平均值、標準、前後名的差距
同層級分組例如高同理心組、中等組
文字證據說明為何如此評分或排序
不確定性說明說明哪些名次不宜過度解讀

例如:


> 同理心分數為 4/5,屬於良好表現。排序為第 6/30 名,約位於第 83 百分位。排名信心中高。雖然排名第 6,但第 4 至第 8 名差距很小,建議視為同一層級。其主要優勢是能辨識對方情緒並給予支持性回應,但在深入理解對方需求方面仍可加強。


**5. 資料分析方式**


若要分析同理心評分與排序,可以從幾個面向進行。


首先,看絕對分數分布:

- 平均數

- 中位數

- 標準差

- 各分數人數比例

- 是否集中在 3 或 4 分


其次,看排序穩定性:

- 多次 AI 排序後,名次是否穩定

- 每個人的排名範圍

- 中位排名

- 排名變動幅度


第三,看兩兩比較勝率:

- A 是否穩定勝過 B

- 勝率是否高於 80%

- 是否有大量接近 50% 的比較,代表難以區分


第四,看一致性:

- 不同評分者是否給出相近排序

- 人工排序與 AI 排序是否一致

- 可使用 Spearman 相關、Kendall’s tau 或評分者一致率


第五,看效度證據:

- 高同理心排序者是否也有較好的外部表現

- 是否與專家判斷一致

- 是否能預測後續學習、溝通或臨床表現


總結來說:


> 絕對分數用來描述同理心的水準,排序用來描述同批中的相對位置。  

> 因為同理心分數通常較粗,排序可以補充分辨力;但排序必須搭配排名信心、差距說明與同層級分組,才不會把微小差異誤解成穩定差異。


沒有留言:

張貼留言