絕對分數(評分所得)可用以描述同理心的水準,排序用來描述受試者於同批中的相對位置。
因為同理心分數通常較粗(不易評分),排序可以補充分辨力;但排序必須搭配排名信心、差距說明與同層級分組,才不會把微小差異誤解成穩定差異。
但只要「單向度/項目」設計好(符合階層難度差異),應可暨評分又排序。
AI agent 或可同時達成!!
-----------------------------------------
以下以「單向度的同理心」作為例子,彙整「評分」與「排序」之概念與用途。
**核心概念**
若將同理心視為一個單向度構念,意思是我們暫時把同理心看成一條由低到高的連續向度。受評者的表現可以被放在這條向度上,例如從「較少辨識他人感受」到「能深入理解他人處境並做出貼合回應」。
但同理心本身不容易被切得很細,因此絕對分數通常比較適合做粗略分級;排序則可補充同分者之間的相對區隔。
**1. 絕對分數評分**
絕對分數回答的是: 這個人的同理心表現本身達到什麼水準?
例如使用 1-5 分:
| 分數 | 意義 |
|---|---|
| 1 | 幾乎未辨識他人情緒或需求 |
| 2 | 有注意到情緒,但回應表淺 |
| 3 | 能基本理解對方感受並做出適當回應 |
| 4 | 能準確辨識情緒、處境與需求 |
| 5 | 能深入理解對方觀點,並給出高度貼合的回應 |
這種分數的優點是容易解釋,也適合判斷是否達標。
限制是分數通常較粗,很多人可能集中在 3 或 4 分,不適合過度解讀細微差異。
**2. 排序概念**
排序回答的是:在這一批受評者中,誰的同理心相對較高?
排序可以補足絕對分數的不足。例如 A、B、C 都是 4 分,但仍可透過 AI 或評分者進行兩兩比較,判斷誰的表現相對更完整。
不過排序要謹慎解讀。第 1 名不一定代表同理心非常高,只代表在這一批裡相對最高。第 3 名也不一定明顯低於第 2 名,尤其當兩者分數或表現證據很接近時。
因此排序最好搭配:
- 排名
- 排名信心
- 分數差距
- 同層級分組
- 差異說明
**3. 後續應用**
絕對分數適合用於:
- 判斷是否達到基本標準
- 教學、訓練或回饋
- 前後測比較
- 個人能力診斷
- 決定是否需要補強訓練
排序適合用於:
- 選拔或名額有限的決策
- 同批受評者比較
- 找出示範案例
- 分組,例如高、中、低同理心組
- 資源配置,例如優先輔導低排序者
兩者合併時,可以避免誤判。例如某人同理心 4/5,但排名第 15/20,這不代表他差,而是代表同批整體可能很強。
**4. 完整分數呈現**
一份完整的同理心評量結果可以包含:
| 項目 | 說明 |
|---|---|
| 絕對分數 | 例如 4/5 |
| 等級描述 | 例如良好、達標、需加強 |
| 排名 | 例如第 6/30 名 |
| 百分位 | 例如高於同批 80% 受評者 |
| 排名信心 | 高、中、低 |
| 分數差距 | 與平均值、標準、前後名的差距 |
| 同層級分組 | 例如高同理心組、中等組 |
| 文字證據 | 說明為何如此評分或排序 |
| 不確定性說明 | 說明哪些名次不宜過度解讀 |
例如:
> 同理心分數為 4/5,屬於良好表現。排序為第 6/30 名,約位於第 83 百分位。排名信心中高。雖然排名第 6,但第 4 至第 8 名差距很小,建議視為同一層級。其主要優勢是能辨識對方情緒並給予支持性回應,但在深入理解對方需求方面仍可加強。
**5. 資料分析方式**
若要分析同理心評分與排序,可以從幾個面向進行。
首先,看絕對分數分布:
- 平均數
- 中位數
- 標準差
- 各分數人數比例
- 是否集中在 3 或 4 分
其次,看排序穩定性:
- 多次 AI 排序後,名次是否穩定
- 每個人的排名範圍
- 中位排名
- 排名變動幅度
第三,看兩兩比較勝率:
- A 是否穩定勝過 B
- 勝率是否高於 80%
- 是否有大量接近 50% 的比較,代表難以區分
第四,看一致性:
- 不同評分者是否給出相近排序
- 人工排序與 AI 排序是否一致
- 可使用 Spearman 相關、Kendall’s tau 或評分者一致率
第五,看效度證據:
- 高同理心排序者是否也有較好的外部表現
- 是否與專家判斷一致
- 是否能預測後續學習、溝通或臨床表現
總結來說:
> 絕對分數用來描述同理心的水準,排序用來描述同批中的相對位置。
> 因為同理心分數通常較粗,排序可以補充分辨力;但排序必須搭配排名信心、差距說明與同層級分組,才不會把微小差異誤解成穩定差異。
沒有留言:
張貼留言