區辨力有限--我們即使給GPT不同溝通能力（含專家評估高中低溝通能力）的逐字稿，GPT 評分結果仍趨向集中，SD變小（比專家評分的SD小很多）（圖）。
圖：專家與GPT評估GKCSAF之分數分布趨勢與差異（專家評分[灰色]由高至低；GPT評分[天藍色]分數較為集中）
可能的解決方法之一，或是給予GPT高中低溝通能力的逐字稿，提醒 GPT 盡力區辨個別差異...
-------
以下是 Claude AI 的建議：
這個「分數集中化」現象確實是GPT評分系統的重要限制，反映了幾個關鍵問題：
問題分析
1. 迴歸均值傾向
GPT可能過度學習了訓練資料中的平均表現，導致：
- 對極端表現（特別優秀或特別差）的辨識不足
- 傾向給出「安全」的中間分數
- 缺乏對細微差異的敏感度
2. 缺乏真實臨床判斷經驗
- GPT缺少實際觀察不同能力層級治療師的經驗
- 無法像人類專家那樣累積對「優秀」vs「普通」vs「需改進」的直覺判斷
- 可能過度依賴表面的語言特徵而非深層的溝通品質
3. 評分標準的理解限制
- GPT可能僅理解評分標準的文字描述，但缺乏對實際應用時細微差別的把握
- 對於什麼構成「卓越」或「不足」的溝通，可能缺乏具體的內在標準
改善建議
短期策略
1. Few-shot prompting with anchoring examples
- 在prompt中提供明確的高、中、低分範例
- 特別強調極端案例的特徵
- 要求GPT先識別屬於哪個能力層級，再進行細部評分
2. 評分校準機制
建議prompt架構：
- 先要求GPT識別3-5個關鍵溝通事件
- 對每個事件評估其品質（優/可/差）
- 基於事件分布決定整體分數範圍
- 最後才給出具體分數
3. 強制分布考量
- 明確告知GPT期望看到分數的變異性
- 要求GPT在評分前先排序多個案例（如果同時評多個）
中長期策略
1. Fine-tuning with expert-annotated data
- 收集專家一致認定的高、中、低分案例
- 特別標註關鍵差異點
- 使用這些資料進行模型微調
2. 開發階層式評分系統
第一層：分類（優秀/良好/待改進）
第二層：在類別內細分（如優秀中的高/中/低）
第三層：給出具體分數
3. 結合多個評估策略
- 使用不同的prompt策略多次評分
- 分析評分的一致性和變異性
- 可考慮ensemble方法
驗證建議
1. 診斷性測試
- 創建明確的對比案例（如同一情境的優劣版本）
- 測試GPT是否能識別關鍵差異
- 記錄哪些特徵GPT容易忽略
2. 敏感度分析
- 系統性地修改逐字稿中的關鍵元素
- 觀察分數變化是否合理
- 識別GPT的「盲點」
3. 與專家評分的差異分析
- 不只看總分，更要分析哪些案例GPT給分特別保守
- 找出專家認為差異大但GPT認為相似的案例對
- 理解背後的評判邏輯差異
實務考量
如果短期內無法解決這個問題，建議：
- 調整使用定位：將GPT評分器定位為「初步篩選工具」而非「精確評分工具」
- 結合人工複審：對GPT評分集中的案例，特別進行人工複審
- 透明溝通：向使用者說明目前的限制，特別是在區分能力層級方面的不足
這個問題突顯了目前LLM在專業判斷任務上的根本限制——它們擅長識別「是否符合標準」，但在判斷「符合程度」的細緻差異上仍有很大改進空間。
