昨日(Aug. 27, 2026)看到 Alpha Go 10 年新聞：Alpha Go人機大戰十年後，傳奇棋士李世乭獻給人類的反思
我就讓 ChatGPT work 幫我彙整一下我研究歷程/里程碑（查詢部落格里程碑），再做彙整如下：
回顧這幾年的研究發展，我投入AI並不是從ChatGPT出現後才開始。較精確地說，2017年是構想萌芽（受到 Alpha Go 啟發），2018年是研究團隊正式投入AI的起點；2023年生成式AI興起後，則迎來第二次、也可能是影響更深遠的轉捩點。
這段歷程並不是單純追逐新科技，而是持續嘗試回答一個核心問題：
AI是否能協助我們提高臨床評估、研究、教學與學習的效能，同時維持結果的正確性、可解釋性與專業責任？
從早期的Machine Learning、short form與臨床評估與應用，到近期的LLM測量工具、GPT-based rater、虛擬病人及AI Agent，研究主軸其實始終相當一致：運用AI降低負擔、提升評估與後續應用效能，以 applied psychometrics為評估與應用之基石、以及實證驗證。
一、2017–2018年：從臨床問題出發，而不是從AI技術出發
2017年，我開始思考能否以AI解決臨床評估效能與臨床決策支援的問題。當時關注的並不是某個特定演算法，而是臨床現場長期存在的困難：
評估工具眾多，臨床人員不容易選擇。
完整量表施測時間過長。
分數改變不一定代表病人真正進步。
不同評估結果不容易整合成可行的臨床決策。
大量臨床資料尚未被有效轉化為評估與治療資訊。
到了2018年，研究團隊開始定期討論AI，並提出應用AI的多年期研究計畫。我也明確將2018年稱為研究團隊的「AI元年」。
因此，如果要為這段AI旅程設定正式起點，最合適的年份是：
2016年受到 Alpha Go 啟發，2017年開始構思，2018年正式、有組織地投入。
圖1：AI研究發展的重要里程碑（2017–2026）
Note: 研究發展由臨床問題構思開始，歷經傳統Machine Learning、Generative AI、教學平台化，逐步進入多模態Agent與學習理論建構。
二、2019–2022年：Machine Learning與臨床測量的結合
2019年底，協助合作者申請小兒AI計畫獲得科技部多年期支持，研究內容涵蓋發展遲緩兒童的動作、書寫、注意力及情緒評估。這項計畫除了發展AI工具，也包含研究團隊建立及AI研究人才培育。
這個階段的研究特色，是將Machine Learning與原有的臨床測量專長結合。目的並不是讓AI直接做出診斷，而是改善評估工具的效率與臨床可用性。
1. 以Machine Learning建立short form
2021年發表的A 10-item Fugl-Meyer Motor Scale Based on Machine Learning，可視為團隊第一篇正式AI代表作。
這項研究以Machine Learning將Fugl-Meyer Motor Scale縮短為10題，同時嘗試預測未施測題目的分數。它所代表的研究概念是：
評估工具縮短之後，不應只保留總分，還應盡可能保留原量表的臨床資訊與分數可解釋性。
後續再將相同概念應用於：
Berg Balance Scale short form
Positive and Negative Syndrome Scale short form
其他中風與精神醫療評估工具
這些研究逐漸形成一條完整路徑：
完整量表 → Machine Learning選題 → short form → 預測未施測題目 → 驗證reliability、validity與responsiveness
2. 以Machine Learning提升臨床辨識能力
另一篇2021年的研究，運用Machine Learning改善FERD screener區辨思覺失調者與健康成人的能力。
這篇研究的意義在於：Machine Learning不只可以縮短量表，也可用於特徵擷取與分類。然而，它的定位仍應是協助screening與clinical decision support，而不是直接取代臨床診斷。
三、AI開始分析真實職能活動
AI研究的另一項重要發展，是由結構化量表資料逐漸走向真實職能活動的影像。
2023年發表於American Journal of Occupational Therapy的研究：Using Artificial Intelligence to Identify the Associations of Children’s Performance of Coloring, Origami, and Copying Activities With Visual–Motor Integration，以370位幼兒的著色、摺紙及臨摹作品照片訓練AI模型，用以預測VMI-6分數。
研究發現，摺紙與臨摹作品的組合，可解釋約39.0%至57.7%的VMI分數變異。
2025年又進一步發表Predicting Age and Visual-Motor Integration Using Origami Photographs: Deep Learning Study，使用Deep Learning分析摺紙作品照片。
這一系列研究具有相當鮮明的職能治療特色：
AI不只分析量表題目，也可以由真實活動產物中擷取與兒童發展及visual-motor integration相關的資訊。
換言之，研究方向開始由AI-assisted assessment，進一步走向AI-based occupational performance analysis。
四、2023年：Generative AI帶來第二次轉捩點
2023年2月，我開始實際測試OpenAI及ChatGPT。到了3至4月，我決定正式投入Generative AI。回頭來看，這可能是職涯後期最關鍵的決定之一。
與傳統Machine Learning相比，Generative AI的影響範圍更廣。它不只可以分析既有資料，也可以：
生成與修改文字。
分析、彙整及比較文獻。
扮演虛擬病人。
依評分規準提供回饋。
協助研究計畫與學術寫作。
支援個別化學習。
串聯不同工具與研究工作流程。
因此，研究主軸由「AI改良評估工具」，逐漸擴展為「AI如何影響研究、教學、臨床與學習」。
我在2023年ChatGPT研究回顧中曾寫道：
「2023年3～4月決定投入，這或是職涯末期最關鍵的決定。」
這並不代表放棄原有研究方向。相反地，原本累積的psychometrics、臨床評估、研究方法與教學經驗，正好成為評估Generative AI是否真正有效的基礎。
五、從評估AI工具，轉向測量AI使用者
2025年發表的Developing the Questionnaire of Self-Efficacy and Needs in Using Large-Language Model-Based AI Services，建立了Q-SNELL。
Q-SNELL用於測量使用者對八項LLM核心功能的self-efficacy與needs。研究以398位使用者進行驗證，結果支持其content validity、known-groups validity及一定程度的test–retest reliability。
這篇研究的重點，是將問題由：
「AI能做什麼？」
轉換為：
「使用者需要哪些AI功能？是否有信心正確使用這些功能？」
這也是研究方向的重要改變。AI教育不能只提供工具，也必須評估學習者的AI能力、需求、使用經驗及學習成效。
Q-SNELL因此可視為團隊第一篇正式的Generative AI psychometrics研究。
六、從ChatGPT使用走向GPT-based rater
2026年刊登於Medical Teacher的Development and Validation of a GPT-Based Rater for Assessing Communication Skills Using the GKCSAF，嘗試讓GPT依照Gap–Kalamazoo Communication Skills Assessment Form評估治療師與病人的訪談逐字稿。
這篇研究的重要性，不是證明GPT已經可以取代專家。事實上，研究結果顯示：
GPT與專家的total scores差異在部分分析中可以接受。
但ICC仍然偏低。
domain-level agreement也相當有限。
目前較適合用於low-stakes assessment與形成性回饋。
這項結果提醒我們，評估AI表現時，不能只比較平均分數，也不能因為兩組平均分數接近，就宣稱AI與專家一致。
至少還必須檢查：
absolute difference
MAE或MAE%
ICC
weighted kappa
measurement error
domain-level performance
responsiveness
不同任務及嚴重程度下的穩定性
近期進一步發表的研究，開始比較專家與ChatGPT評分的responsiveness，也就是兩者能否偵測溝通能力訓練前後的改變。
這使研究問題由「AI能否評分」，推進至：
AI評分是否能夠穩定、有效地測量能力改變？
七、GPT開始協助evidence appraisal
2026年發表於Archives of Physical Medicine and Rehabilitation的Development and Performance Validation of an Automated GPT-Based Evaluation Tool for the PEDro Scale，進一步讓GPT依PEDro scale評估RCT的方法品質。
研究結果顯示，GPT-based PEDro rater具有接近完整的intra-rater reliability，並與既有PEDro評分呈現moderate-to-high concurrent validity。
這項研究代表AI應用已由臨床量表及學生能力評分，延伸至：
研究方法品質評估與evidence-based practice。
未來AI可能協助處理大量RCT的初步評讀，降低systematic review及文獻評析的工作負荷。然而，這類應用仍須保留human verification，特別是涉及模糊報告、方法學判斷及高風險研究結論時。
AI在此較適合扮演的是：
可重複、有效率的初評者及研究助理，而不是擁有最終決定權的審查者。
八、2024–2026年：由單一GPT走向平台與Agent
隨著My GPTs及ChatGPT功能逐漸成熟，我開始發展虛擬病人、AI考官及多層次GPT自主學習平台（ML-GPT）。
ML-GPT將學習分成三項主要功能：
虛擬病人或練習GPT。
回饋GPT。
測驗或評分GPT。
2026年發表的Developing a GPT-Based Virtual Training System for Medical Undergraduates’ History Taking in Stroke Rehabilitation，進一步整合GPT virtual patient與virtual examiner。
系統讓學生與中風虛擬病人互動，完成10項functional assessment domains的問診，再由虛擬考官自動評分與提供回饋。這代表AI研究已由單一工具進入：
互動練習 → 自動評分 → 個別化回饋 → 重複練習
到了2026年，Codex等AI Agent出現後，又可進一步整合：
Word與Excel資料
逐字稿
投影片
聲音與影片
評分量表
文獻檢索
結果報告
不同AI模型及專業Skills
這使AI由「回答問題的Chatbot」，轉變為「執行多步驟任務的Agent」。
但Agent自動化程度越高，越需要清楚的任務規格、驗證程序與human checkpoints。自動化不能等同於完全授權，更不能省略專業判斷。
九、這些AI著作共同代表什麼？
回顧目前的AI研究成果，大致可以整理為以下演進：
| 階段 | 代表成果 | 核心含意 |
|---|---|---|
| Machine Learning short form | Fugl-Meyer、Stroke Impact Scale、Berg Balance Scale、PANSS | 降低施測負擔並保留臨床資訊 |
| Machine Learning screening | FERD screener | 提升臨床辨識與分類能力 |
| Computer Vision／Deep Learning | 著色、摺紙與臨摹作品分析 | 由職能活動產物推估能力 |
| LLM使用測量 | Q-SNELL | 測量使用者的AI self-efficacy與needs |
| GPT-based assessment | GKCSAF rater | 驗證AI評分的agreement與使用界線 |
| GPT-based evidence appraisal | PEDro rater | 協助RCT方法品質初評 |
| GPT learning system | Virtual patient與virtual examiner | 建立自主練習、評分與回饋循環 |
| AI Agent | 多模態教學與研究工作流程 | 整合多步驟任務與專業Skills |
從表面上看，這些研究使用的AI技術不同；但背後其實有一個共同主軸：
AI是否能在明確的臨床、研究或教學任務中，提供具reliability、validity、responsiveness、可解釋性及適當使用界線的評估與回饋？
十、AI研究的下一階段：由工具效能走向學習理論
當AI可以提供解釋、提示、回饋、評分，甚至主動完成多步驟任務後，真正困難的問題可能不再是「AI能不能做」，而是：
學習者應該在何時自己嘗試？
何時才應尋求AI協助？
AI應提供完整答案，還是適量scaffolding？
如何確認學習者真的理解，而不是只接受AI產出？
如何避免AI依賴？
AI支持下的學習能否transfer到沒有AI的真實情境？
如何以delayed testing與external validation確認學習成效？
因此，我近期開始進一步思考AI輔助self-regulated learning與mastery learning的理論架構。
核心原則是：
AI可以提供適性支持，但學習者必須保有最終主導權。
AI的角色不是盡快替學習者完成任務，而是協助學習者：
發現自己真正不理解之處。
選擇適當層次的AI支持。
回到原始資料進行驗證。
修正原有理解與策略。
在逐步撤除AI協助後獨立完成任務。
於延宕及真實情境中確認學習是否保留與遷移。
結語：AI不是另一個獨立研究題目
回頭來看，AI並不是突然加入的一個全新研究題目，而是原有研究理念的延伸。
早期的研究關心：
評估結果是否可靠？
量表是否有效？
分數改變是否超過measurement error？
評估工具能否縮短？
結果能否協助臨床決策？
現在面對AI，我們仍然在問類似的問題：
AI產出是否可靠？
AI評分是否有效？
AI能否偵測真正的改變？
AI是否可以降低專業人員的負擔？
AI的錯誤與不確定性如何被發現？
哪些任務可以交給AI，哪些仍須由人負責？
因此，我目前對AI研究的理解可以濃縮為：
AI的價值不只是產生答案，而是能否在人的監督下，提供可驗證、可解釋、可調節，並真正促進臨床決策、研究品質與學習成效的支持。
整體發展則可概括為：
臨床問題構思 → 正式AI研究 → Machine Learning與實證成果 → Generative AI轉型 → 教學平台化 → Agent自動化 → 學習理論建構
這條路仍在快速發展。接下來最值得投入的，或許不是再增加更多AI功能，而是建立更清楚的使用原則、驗證架構與學習理論，讓AI真正成為促進專業成長的工具，而不是替代思考的捷徑。
沒有留言:
張貼留言