GKCSAF GPT rating 的困境

區辨力有限--我們即使給GPT不同溝通能力（含專家評估高中低溝通能力）的逐字稿，GPT 評分結果仍趨向集中，SD變小（比專家評分的SD小很多）（圖）。

圖：專家與GPT評估GKCSAF之分數分布趨勢與差異（專家評分[灰色]由高至低；GPT評分[天藍色]分數較為集中）

可能的解決方法之一，或是給予GPT高中低溝通能力的逐字稿，提醒 GPT 盡力區辨個別差異...

-------

以下是 Claude AI 的建議：

這個「分數集中化」現象確實是GPT評分系統的重要限制，反映了幾個關鍵問題：

問題分析

1. 迴歸均值傾向

GPT可能過度學習了訓練資料中的平均表現，導致：

• 對極端表現（特別優秀或特別差）的辨識不足
• 傾向給出「安全」的中間分數
• 缺乏對細微差異的敏感度

2. 缺乏真實臨床判斷經驗

• GPT缺少實際觀察不同能力層級治療師的經驗
• 無法像人類專家那樣累積對「優秀」vs「普通」vs「需改進」的直覺判斷
• 可能過度依賴表面的語言特徵而非深層的溝通品質

3. 評分標準的理解限制

• GPT可能僅理解評分標準的文字描述，但缺乏對實際應用時細微差別的把握
• 對於什麼構成「卓越」或「不足」的溝通，可能缺乏具體的內在標準

改善建議

短期策略

1. Few-shot prompting with anchoring examples

• 在prompt中提供明確的高、中、低分範例
• 特別強調極端案例的特徵
• 要求GPT先識別屬於哪個能力層級，再進行細部評分

2. 評分校準機制

建議prompt架構：
- 先要求GPT識別3-5個關鍵溝通事件
- 對每個事件評估其品質（優/可/差）
- 基於事件分布決定整體分數範圍
- 最後才給出具體分數

3. 強制分布考量

• 明確告知GPT期望看到分數的變異性
• 要求GPT在評分前先排序多個案例（如果同時評多個）

中長期策略

1. Fine-tuning with expert-annotated data

• 收集專家一致認定的高、中、低分案例
• 特別標註關鍵差異點
• 使用這些資料進行模型微調

2. 開發階層式評分系統

第一層：分類（優秀/良好/待改進）
第二層：在類別內細分（如優秀中的高/中/低）
第三層：給出具體分數

3. 結合多個評估策略

• 使用不同的prompt策略多次評分
• 分析評分的一致性和變異性
• 可考慮ensemble方法

驗證建議

1. 診斷性測試

• 創建明確的對比案例（如同一情境的優劣版本）
• 測試GPT是否能識別關鍵差異
• 記錄哪些特徵GPT容易忽略

2. 敏感度分析

• 系統性地修改逐字稿中的關鍵元素
• 觀察分數變化是否合理
• 識別GPT的「盲點」

3. 與專家評分的差異分析

• 不只看總分，更要分析哪些案例GPT給分特別保守
• 找出專家認為差異大但GPT認為相似的案例對
• 理解背後的評判邏輯差異

實務考量

如果短期內無法解決這個問題，建議：

1. 調整使用定位：將GPT評分器定位為「初步篩選工具」而非「精確評分工具」
2. 結合人工複審：對GPT評分集中的案例，特別進行人工複審
3. 透明溝通：向使用者說明目前的限制，特別是在區分能力層級方面的不足

這個問題突顯了目前LLM在專業判斷任務上的根本限制——它們擅長識別「是否符合標準」，但在判斷「符合程度」的細緻差異上仍有很大改進空間。