如何提升 OSCE 之評估者間信度

OSCE 之評估者間信度比想像低，甚至低於猜測(機率)。。。實證很多，國際間皆然。
若能解決此困境，必有大成！！

早上我協助 執行國家級入學口試。。。評估者間信度如何?
學系/各校系都有資料喔，一直都沒分析，蠻可惜的。誰敢分析/曝光啊!?

我們自行設計的溝通評估工具，自覺廣度/深度俱佳。但其評估者間信度（評估者內信度）我可沒信心。  因為評估歷程，需要反覆查詢逐字稿或影片，費時費力，實在繁瑣阿。。。

如何解決上述困境？

如無時間/金錢的困難，則可聘請多位專家，慢慢評，再彙整/甚至討論，結果一定好多了～～只是太難了，可行性低！！

另一應是  交給（教）AI，慢慢交給（教）AI，也慢慢累積資料庫。。。
AI就會越來越強，效能就會越來越佳！！

換個角度想，誰教AI的效能強，誰就越厲害，越早解決上述困境！！

再補充一下  聽說  AI 的學習能力，以 Alpha Go 為例，
一開始以棋譜為學習對象（有明確的學習典範），此時已可打敗天下高手。
之後，就自創一套（不再以人類為學習對象或已無學習對象，因為早已無對手可學）

所以一開始是學盡天下高手之招式/能力（吸星大法）
再來就是自創招是或是無招勝有招！！