*可交由 ChatGPT 當成訪員測試之,再交由 ChatGPT 當評分員評分(評審虛擬病人之表現)!!
設計2個 My GPTs: 1. 測試訪員;2. 評審。
- 「測試訪員GPT」架構:依據訪綱(如FIFE)訪談虛擬病人。需準備以下資訊:
- 虛擬病人
- 訪綱
- 「評審GPT」架構:依據評分表評分虛擬病人之表現。
- 「測試訪員GPT」之訪談結果(問答)
- 評審虛擬病人表現評分表
從2009年7月生涯第1次研究休假開始撰寫 blog,以跟同學、好友交流教學/研究,甚至臨床之心得。
以下是我的座右銘:
Try hard enough, you can get what you want!
Talent is the desire to practice.
Slow and Steady wins the game.
Better to light one candle than to curse the darkness.
你現在的努力 要感動未來的你!
只有藉由他人的視野,才能看到自己思考上的盲點。
*可交由 ChatGPT 當成訪員測試之,再交由 ChatGPT 當評分員評分(評審虛擬病人之表現)!!
設計2個 My GPTs: 1. 測試訪員;2. 評審。
下個月(2025年9月)我將教授二課程:大二「論文導讀」以及碩一「文獻彙整與評析」
將大幅採用生成式AI協助「導讀」「解惑」「評析」「彙整」論文,以及「命題」還有「評分」
生成式AI的應用,以 My GPTs 與 NotebookLM 為主!
AI的用途:學生可應用生成式AI協助補強基本知識(含論文結構、研究議題相關、研究方法相關[含研究設計與資料分析等]以及閱讀與寫作相關之知識)。老師將提供基本知識/主題範疇(考試重點之一),於課堂大致講解或解惑,學生宜針對自己的學習目標自行練習/測驗。
學生可自行選擇學習目標(老師提供與學生自行設定:Bloom taxonomy + 論文各章節之學習目標),但老師會要求基本目標(詳下------ 後之說明)這與學生成績連結。
我的教學目標有二:一、強化基本知識;二、提升學習目標層級(以 Bloom taxonomy 言,至少達到 Remember(如回答選擇題,成績可 PASS),一些 Understand(回答簡答題,成績可到A-;外加一些 Apply, Analyze [成績可到A], Evaluate [回答選擇題];一點點 Create [回答選擇題])。
所有考試皆同時提供中英文版本(因為翻譯的效能高,母語學習之效能較佳,但仍保留英文)
--------------------------------------------------------
1 Sep., 上完第1堂課之後,我再用My GPTs,以協助學生複習!
這GPT內容分二類:
一、重點複習與解說
二、測驗,包含三種:選擇題、簡答題以及費曼式問答。
--------------------------------------------------------
以下是 ChatGPT 協助生成的學習目標
表:論文各章節之Bloom 層級學習目標
| 論文章節 | Bloom 層級 | 學習目標範例 |
|---|---|---|
| Title / Abstract | Remember | 能指出研究的主題、研究對象與主要變數 |
| Understand | 能用自己的話簡述研究目的與主要結論 | |
| Analyze | 能辨識摘要中研究方法與結果的關鍵資訊 | |
| Introduction | Remember | 能指出研究問題與主要背景理論 |
| Understand | 解釋研究動機與理論框架 | |
| Analyze | 分析研究缺口(gap)與研究假設之關聯 | |
| Evaluate | 評估研究問題是否具備學術或實務價值 | |
| Methods | Remember | 能指出研究設計類型(RCT、橫斷面研究等)與樣本特徵 |
| Understand | 說明研究流程、變數操作方式與分析方法 | |
| Apply | 能用該方法設計一個類似的研究框架* | |
| Analyze | 判斷研究方法與研究問題的契合度* | |
| Evaluate | 評估方法的有效性、偏差風險與可重複性* | |
| Results | Remember | 能指出主要的數據與統計檢定結果 |
| Understand | 解釋數據所代表的意義 | |
| Analyze | 比較不同組別結果,找出趨勢或差異 | |
| Evaluate | 評估數據與研究假設的支持程度 | |
| Discussion / Conclusion | Understand | 能指出作者如何連結結果與文獻、理論 |
| Analyze | 分析作者的解釋是否合理,是否有遺漏解釋的可能性* | |
| Evaluate | 評估研究的限制與未來研究建議* | |
| Create | 基於該研究提出新的研究問題或改良設計* | |
| References | Remember | 能指出引用的關鍵文獻與核心作者 |
| Understand | 說明引用文獻在本研究中的角色 | |
AI之雙重角色定位
作為導師(Teacher AI):說明、引導思考、反問。
作為考官(Examiner AI):出題、模擬病人/臨床情境、評分。
學習循環
學習(Learning) → 練習(Practice) → 測驗(Assessment) → 回饋(Feedback) → 鞏固(Consolidation)。
結合 OT 專業情境
病例討論(case-based learning)
文獻閱讀與批判(journal club)
治療方案設計(intervention planning)
Khalifa, Mohamed, and Mona Albadawy. "Using artificial intelligence in academic writing and research: An essential productivity tool." Computer Methods and Programs in Biomedicine Update 5 (2024): 100145. 東穎(我兒子)提供的文獻
AI helps academic writing and research:
1) facilitating idea generation and research design, 我常用於研究計畫
2) improving content and structuring, 研究計畫 + 論文
3) supporting literature review and synthesis, 研究計畫
4) enhancing data management and analysis, 還沒用過
5) supporting editing, review, and publishing, 論文(這幫我節省很多英文編修費) and
6) assisting in communication, outreach, and ethical compliance. 對外溝通
圖:6 層面與簡易說明(由上述論文擷取)
功能上:AI可協助「補充基本知識」,協助我們快速吸收/補強新知(如詢問特定詞彙/概念;文獻或主題彙整;甚至評論文獻);可協助除搜尋文獻,也可輸出 Endnote 可輸入的格式,以利後續引用。
AI幫忙的時機,可在研究的不同階段,含「從無到有」、「有想法後再跟AI討論」、或「最後確認/修改」。
但關鍵在於:使用者的基本知識/能力(含判斷力),意即「基本知識/能力」將決定您於吸收新知與研究的效能!!若基本知識/能力不足,那就好好補強,這生成式AI絕對可以協助!!甚至可以提升「知識之層級」,請參考我跟 ChtaGPT 的相關對話。
講直接一點是進行測試與除錯
還要花一點錢(加入會員)
當然回饋也不少,至少知識獲取與工作效率提高許多
那我們的價值何在?提升競爭力/成就感?
年輕人就很辛苦,10年後的年輕人,如何面對生成式AI?還有除錯的能力嗎?他們的存在價值/成就何在?
-------------------------------------------------------------------------------------------------
以下是我跟 GPT 5 交流後的觀點:
或許你沒想過,每次與生成式 AI 對話,你不只是使用者,更像它的測試員與除錯員。
我們花錢訂閱、花時間輸入指令,AI 的確因此更懂人類。但回頭想——我們的價值何在?
對我而言,答案是:幫自己升級。
AI 讓我們知識獲取更快、工作效率更高,但真正決定未來競爭力的,不是 AI,而是我們能不能駕馭它。
十年後的年輕人,AI 一定更強,但也更容易讓人們失去「除錯」與「判斷」的能力。
要不被取代,就要在這三個基礎能力上提前布局:
AI 會升級,但人類也必須升級。
因為真正的差距,不是人類 vs AI,而是會駕馭 AI 的人 vs 不會駕馭 AI 的人。
自投入 AI 應用研究以來,我的研究進展顯著加快,生成式 AI 的研究同樣如此。
我能充分享受這波紅利,關鍵在於我已累積大量研究成果/相關知識——包括關鍵知識(domain knowledge)與寶貴資料,如臨床收案數據、臨床技能錄音檔與逐字稿(圖)。
另一個推動 AI 應用研究的關鍵,是 AI 技術本身的快速提升與普及。這方面我毫不擔憂,因為全球眾多 AI 公司與專家正持續開發更易用且效能不斷突破的 AI 工具與平台,例如 GPT-5。
透過自然語言介面,我能將自身的專業知識應用於各類數據與逐字稿,進而激發出豐富的研究構想與成果。
面對的挑戰:
然而,AI 帶來的並非只有紅利,也潛藏多重挑戰:
再先進的 AI 也需要可靠、完整且高品質的資料作為基礎。
對於臨床數據與逐字稿,必須確保去識別化與符合倫理規範,否則可能引發法律與信任危機。
GPT-5 再強大,也可能誤解語境或在細節上產生錯誤。
如果研究者對模型運作缺乏判斷能力,可能在不知不覺中放大偏差,影響研究結論的可靠性。
過度依賴 AI 生成內容,可能削弱研究者的原創思考與方法論嚴謹度。
真正的價值在於將 AI 作為輔助,而非替代。
AI 技術演進迅速,今天的最佳工具,可能數月後就被取代。
持續學習與調整研究方法成為必要能力,而這對時間與精力都是挑戰。
簡言之,AI 正以驚人的速度重塑研究方式,GPT-5 更是開啟前所未有的可能性。對於擁有專業知識與數據基礎的研究者而言,這是少有的黃金時刻——只要懂得善用工具、結合自身優勢,就能在浪潮中站得更高、走得更遠。
但唯有同時正視資料、偏差、依賴與技術迭代等挑戰,才能確保這份紅利不會被風險吞噬。未來的競爭,將不僅是知識與經驗的比拼,更是創意與 AI 協作能力的較量。
以下分享與 GPT 5 的3個對話:
A. Deep Research: 「請彙整以大型語言模型設計的虛擬病人文獻,包含如何設計與驗證。所引用文獻必須是 PubMed 或 Scopus 可查詢得到,且是2023年迄今的文獻」
B. 提問:「以下是評估相關的理論或看法?還是什麼概念?
1. If you cannot measure it, you cannot improve it?
2. 臨床人員所需評估工具的(精準度)標準,比研究人員高?
3. 台灣臨床OT所使用的評估工具精準度,比研究人員差(且差很大)?
4. 臨床技能(含知識)教育之關鍵在於評估/測驗
5. 沒有好的評估工具,臨床、教學與研究都難以突破」
** 上述對話內容所引用的文獻-我覺得相關性很高,且未發現錯誤。ChatGPT還可以將文獻輸出成 Endnote可讀取的格式/檔案,對於後續引用,非常便利!!
C. 此貼文的改寫。
「你的性格會決定你比較常用快腦(直覺)還是慢腦(理性);情緒與直覺會推你上癮,而理性雖然理論上能剎車,但在現實中多數人踩不住。上癮久了,你的思考就會更依賴捷徑,真正動腦的機會變少。」
上述白話是 ChatGPT 解讀論文: Deng Z, Deng Z. Becoming a cognitive miser? Antecedents and consequences of addictive ChatGPT use. Soc Sci Med. 2025 Jul 30;383:118467. doi: 10.1016/j.socscimed.2025.118467. 所生成。
那如何克服上述的認知怠惰,且能提升工作/學習效率呢?
我覺得,一定要使用 ChatGPT,已難以避免。但使用方式與事後皆須調整!
1. 先有想法(先動腦)再提問;
2. 多反思/撰寫心得/看法(計畫/論文);
3. 高手切磋(投稿)!!
但如同前述白話,多數人難以做到!!
這是我倫理學教學10幾年的主題之一,內容更改至少5次了....
臨床一直沒有採用,我依然沒放棄.... 這頗像我30年的主要研究成果(評估工具),乏人問津一般.... 哀怨的緣由,有些已於之前的貼文論述了...
回到FIFE,因生成式AI的誕生,讓我們多一項強大的研究技術/方法!!我已設計多位可供訪談的虛擬病人(生理、心理與小兒個案或家屬)!因此「FIFE訪談架構、訪談能力評估與回饋系統之建立與驗證」已正式進入「研發/改良」階段。
我們團隊的學術基礎包含:
上述1&2是核心知識;3是核心技術!
我們團隊的臨床與人才資源包含:,
有了上述條件,下列教學/研究,甚至臨床應用議題皆「更接近」可以實現:
新創的 My GPTs: Laboratory Journal Assistant for post-docs
協助博後高效撰寫... 預計每天10分鐘以內
自動列出重點,含有溫馨提示
還可自動彙整(3~5次之後)
1. 您想學什麼:請考慮你的興趣/目標還有需求。
你的興趣/目標是你自己的,請自己列出來!也歡迎跟我分享!!
你的需求,請考量你應該具備/學習哪些核心/基礎知識/能力,才能達成你的興趣/目標。歡迎參考八大核心研究能力-欠缺這些能力,您應該無法追求興趣,達成目標。
2. 您預計投入多少時間:以未來半年為例,列出您可以投入的時間。如平均每週可投入幾個小時(或幾個半天)。
你必須要知道:一個全力投入的研究生,就跟上班一樣,每週40小時,沒有寒暑假!這時間/投入的要求只是低標!!培養專業級的競爭力,絕對耗時費力!
3. 您的方法或與策略為何?
請列出培養核心/基礎知識/能力(或達成目標)的方法。若無好的方法,以及團隊(高手)協助,效能絕對低落。
4. 養成記錄的習慣:
記錄與修改上述3項,且定期與我討論進展與困難。
*1~3應於一個月內記錄之(新進人員),若可,請與老師分享
*至少每週記錄主要投入之學習事項/進度與困難,以及投入時間。紀錄能力/定期紀錄,也是核心能力的訓練/呈現(寫作能力與時間管理)。
----------------------------------------------------------------------------------------------------
以下是我跟 ChatGPT Canvas 討論後的結果(我做一些調整/修飾):
「給我的新進研究生(還有我自己)的提示」
此文件是一份針對新進研究生所設計的基礎學習與自我管理方案,也是我自身一同回顧、計劃與成長的參考模式。本方案合併「自我探索/認識」「目標設定」、「時間管理」、「學習策略」與「總結反思習慣」之基礎元素,以下分項說明之:
【1. 為什麼是我?】 請思考:我是怎麼成為我的?我的特質是什麼?我過往的學習和經驗怎麼幫助我到現在?我的優點為何?我的不足之處為何?我所處的環境與我期待的未來有什麼聯繫?
【2. 我想學什麼?我的目標是什麼?】 請自由列出你的興趣與目標,我很歡迎你和我分享! 並思考:為了成為你想成為的那個人,需要培養哪些核心知識與技能?這是你的學習「需求」。您10年後想待的工作環境為何?有無特定明確的機構具備前述工作環境?擬成為該機構員工條件有哪些?這些條件應該跟你的學習目標一致!
【3. 我有多少時間?我會如何分配?】 請估計未來半年能夠投入學習的時間,例如每週可使用幾個半天或幾個小時,並進一步配合上述目標進行時間配置。
【4. 我會如何學?我的策略是什麼?】 請列出你打算用來培養核心/基礎技能的方法,如:知識更新、讀書方法、學習工作坊、群組討論、實做與高手交流。 可依目標性質选擇其中符合的路線,例如成閱讀文獻能力,則建議進行「自讀計劃 + 討論 +報告(書面或口頭)+取得高手回饋等」。
【5. 我有養成記錄習慣嗎?】 養成「學習/記錄」習慣,可使用格式化記錄表,包含:
本週學習項目與投入時間
重點與困難
學習成果與自我反思
下週指定目標與要做的事
【6. 我有和指導者緊密從動討論嗎?】每月至少一次討論、評語與釐清困擾。這不僅是進度報告,亦是反思與解惑的好機會。
【7. 我能堅持嗎?有那些成功的關鍵?】 學習絕不是短跑/衝刺,而是經營、堅持與監測的長跑。持續執行上述第1~6項,鐵杵磨成繡花針。
--------------------------------------------------------------------------------------------------
每週紀錄範例
【第____週】
本週學習目標(與學習需求對應) ■ ■
本週實際執行項目 [項目名稱] + [執行內容] + [時間投入預估(小時)]
例: ■ 閱讀《How to write a research proposal》 第1~3章,抄記重點與批注,投入2小時 ■ 與老師討論研究題目之「經典文獻回顧與評析」,投入1小時
成果與反思
學習結果:
成功之處:
遭遇困難(例:時間分配不完善、學習方法不適合等):
自我評估(一語評論,如我認為這週執行成效為___分):
下週學習計劃 ■ 預定閱讀/撰寫/執行項目 ■ 預定討論或檢核主題 ■ 本週未解決之困難,需繼續解決者
# 核心議題:在生成式AI普及的今天,台灣碩班生(母語是中文)是否還需要投入大量時間學習英文?
# 現況分析
## 傳統困境
- 英文是科學文獻主要語言,過去必須費力學習
- 缺乏優質師資和練習環境
- 閱讀能力培養困難,寫作訓練更是挑戰
- 投入時間長但成效有限(若對此不確定者,可自行進行英文文獻之閱讀測驗(可使用我發展的GPT--「期刊論文閱讀或報告後,理解程度問答」):閱讀英文文獻之後,以母語撰寫文獻重點,再請生成式AI批改即可知道--您閱讀英文之效能如何?)
## AI帶來的轉變
- 生成式AI已成為閱讀英文論文的主要工具
- 可直接用母語理解和學習知識(可使用我發展的GPT:JM/期刊論文閱讀與彙整;或解惑GPT 這是他人做的)
- 學習效率大幅提升
- 但直接接觸英文的機會減少,學習英文的機會也隨之減少
## 實際使用情況(英文)
- 多數碩士畢業生後續很少精讀英文文獻,更少釐清閱讀問題
- 撰寫英文論文的機會更少(未寫作則難以精準掌握語意)
- 英文能力難以持續進步
- 投資報酬率偏低
# 不同立場的論點
## 支持繼續學習英文
1. **學術品質考量**
- 直接閱讀原文可掌握精確概念
- 能判斷AI翻譯準確性
- 理解作者論述邏輯
2. **職涯發展需求**
- 國際會議/學者交流
- 至國外工作
- 繼續深造
## 支持調整學習策略
1. **效率優先原則**
- 有限時間應投入專業知識(與研究方法)學習
- AI工具效能持續提升
- 語言障礙逐漸消失
2. **務實考量**
- 達到專業英文溝通層級極其困難,若未達到專業溝通層級--就意義/價值有限
- 缺乏真實使用環境
- 即使於碩班學習英文後,之後因使用少,容易退步
# 建議方案
## 1. 分層策略
- **學術導向**:維持較高英文能力
- **臨床就業導向**:掌握基本專業詞彙
## 2. 新素養培養
- **AI工具使用能力**
- 有效運用AI進行翻譯
- 判斷翻譯品質
- 整合多種工具
- **最小必要英文**
- 專業關鍵詞彙
- 圖表判讀能力
- 基本檢索能力(需要專業關鍵詞彙)
## 3. 時間重新配置
將原本學英文的時間用於:
- 深化專業研究能力
- 學習AI工具進階應用
- 培養批判思考能力
- 跨文化理解能力
# 結論
在AI時代,我們需要重新定義「國際化能力」:
- 從「精通英文」轉向「善用AI工具進行跨語言協作」
- 從「英文寫作能力」轉向「母語思考+AI輔助表達」
- 從「語言學習」轉向「工具素養+專業深化」
這不是放棄英文學習,而是在資源有限的情況下,做出更符合時代需求的務實選擇。關鍵在於認清AI工具的能力邊界,並據此制定個人化的學習策略。
以上是我跟生成式AI (Claude) 對話後的結論。歡迎惠賜意見!
5年後(AI功力/即時翻譯效能大增後)-這議題(如何選擇)應會更明朗!!
1. Universal Primer: 回答任何問題,適用於所有人!!
2. Prompt Engineer: 建立或修改 Prompt,適用於使用生成式AI者!!
3. Writing Assistant: 協助修改英文寫作,中文也可喔!!
4. Write for me: 從無到有,中英文皆可,適用於所有人!!
5. JM/期刊論文閱讀與彙整
6. 快速瀏覽論文重點(只需上傳論文,但須提醒她使用「繁體中文」--日文介面)
7. 多種論文評析(RAPID, 詳下之說明)
8. Scholar GPT (論文檢索/閱讀/評論等,詳 *** 後之介紹)
9. PubMed Buddy
10. PsycINFO Search
11. 論文寫作原則複習與測驗
待補充/彙整....
歡迎推薦
-------------------------------------------------------------------
RAPID是一份快速但全面的指南,教你如何在閱讀論文時,如何充分運用RAPID。
1️⃣ 明確你對文章的需求 在開始之前,請釐清你的目標:
2️⃣ 選擇評析表 我可以使用正式評析表之框架或客製化工作流程:
📌 小提示:如果你不確定該選哪個,告訴我研究類型,我會幫你選擇。
3️⃣ 提供文章(PDF/DOCX格式最佳) 直接上傳檔案。我會:
4️⃣ 決定深度和風格 我可以提供:
5️⃣ 使用互動式問題 要深入探討,可以嘗試:
6️⃣ 超越論文本身 我可以:
7️⃣ 注意RAPID的「紅旗警示」 我會指出:
**************************************************************************
| 方法名稱 | 簡介 | 適用情境 | 輸出成果 |
|---|---|---|---|
| 1. 📜 摘要與提問(Summarize & Question) | 先用簡潔語言重述文獻重點,再提出 3 個有深度的問題。 | 想快速掌握文獻重點並引發思考時。 | 摘要 + 問題清單 |
| 2. 💡 批判性思考(Critical Inquiry) | 提出 3 個挑戰作者觀點或方法的問題,檢驗論證合理性。 | 評估研究的可信度與嚴謹性時。 | 批判性問題 |
| 3. 🆚 對比分析(Contrast Analysis) | 將多篇文獻的觀點、方法或結果進行表格化比較。 | 系統性文獻回顧、差異分析。 | 比較表 |
| 4. 🗝️ 核心概念提煉(Key Concept Clarity) | 抽取文中最關鍵的概念,並用簡單語言解釋。 | 建立研究知識基礎時。 | 概念清單與定義 |
| 5. 🧠 結構導圖(Structure Mapping / Mindmap) | 用圖形化方式呈現文獻的章節架構與內容關聯。 | 複雜內容的視覺化理解。 | 思維導圖 |
| 6. 🔍 多視角觀點搜集(Perspective Research) | 搜尋並整理對同一主題的不同觀點與結論。 | 平衡多方觀點、避免偏見。 | 多觀點整理報告 |
| 7. 💬 反思引言(Reflective Quotation) | 挑出文中關鍵引文並附上個人反思。 | 對研究內容有個人觀點時。 | 引文 + 評註 |
| 8. ❌ 事實查核(Fact Check) | 驗證文中資料、數據或結論是否與外部可靠來源一致。 | 檢驗研究真實性。 | 錯誤或正確性清單 |
| 9. 🧐 假設辨識(Assumption Identification) | 找出作者未明說但影響結論的假設。 | 分析研究背後的邏輯前提。 | 假設清單 |
| 10. 🖼️ 概念圖解(Diagram) | 將研究的關鍵過程、模型或理論框架製作成示意圖。 | 教學、報告展示。 | 圖解檔案 |
主題:生成式AI輔助生理疾病職能治療實習生學習之提問效能研究
研究目的:
1. 探討不同生成式AI平台(如ChatGPT、Claude、Gemini)在生理疾病職能治療相關提問之回應準確性與實用性
2. 分析職能治療實習生使用生成式AI時的提問策略與模式
3. 設計並驗證提問技巧訓練介入對實習生使用生成式AI學習成效之影響
先用雅婷逐字稿將音檔轉成逐字稿(正確率最高)
再用 Gemini 校對/更正(顯而意見)錯誤(適用長篇逐字稿,可設定 Gem 以自動化校對重點/輸出格式)
再以 NotebookLM 彙整重點(較不會生成新內容)
不能比速度!!
那能比較內容與品質嗎?
先說如何提升回饋品質!!
先以2~3個AI (e.g., ChatGPT+Gemini+Cluade)依據評估表給予回饋,彙整後,再請專家確認。
最後可以產生三種AI回饋版本:1. AI+專家確認之完整版(未限制AI);2. AI完整版(未限制AI);3.以真人考官回饋之字數版本(限制AI回饋字數版)。上述3版本再與真人考官之回饋比較。
評估表可為國際現有知名量表如 GKCSAF或我們自行發展的量表(COT或REST)。
-------------------------------------------------------------------
以下是Claude AI的評論:
這個研究構想很有實用價值,針對醫學教育中的客觀結構式臨床考試(OSCE)回饋機制進行創新探索。讓我分析這個設計的優勢與可能的改進方向:
多層驗證機制 您採用的「AI初步評估→專家確認→多版本比較」流程很周全,能有效控制AI回饋的品質與可靠性。
版本控制策略 三個版本的設計巧妙地區分了不同變因:
評估標準化
AI協作最佳化
專家參與深度
評估一致性 真人考官間的回饋品質本身可能存在變異,建議:
情境適應性 不同OSCE站別可能需要不同的回饋策略,可考慮:
這個研究架構為醫學教育的數位轉型提供了實證基礎,有望為未來的混合式評估模式奠定基礎。
「治療團體帶領」之準備、執行、成果與檢討---這些過程極為複雜!!
我們已挑簡單的先下手--計畫書之評估與回饋,目前已可使用 ChatGPT 協助評估與回饋!!
之前我們已累積諸多團體帶領的錄影檔(如前一貼文所示)...
故我們下一階段 似可 推動以下研究計畫 A, B, C, & D:
A. 發展精神病患職能治療團體帶領表現評估表
研究目的:
1. 以 Cole 團體帶領7步驟為理論架構,發展精神病患職能治療團體帶領表現評估表
2. 驗證其內容效度與表面效度
適用情境:團體帶領/執行錄影之「逐字稿」或「錄影檔」
註解:錄影檔之評估,不論專家或AI皆很費力(或需要高階AI效能)... 逐字稿簡單多了,故可作為初步驗證之情境!
B. 以ChatGPT協助精神病患職能治療團體帶領品質之分析與回饋效能
研究目的:
1. 依據A計畫之評估表,發展治療團體帶領技巧評論之ChatGPT工具,再驗證其信效度
2. 依據上述B1之評估結果,發展治療團體帶領技巧回饋之ChatGPT工具,再驗證其信效度
3. 驗證上述工具之教學效能(預期學員於接受上述評估與回饋3次之後,即有明顯進步!)
-------------------------------------------------------
C. 以ChatGPT協助精神病患職能治療團體帶領之Yalom治療因子分析與回饋效能
研究目的:
1. 依據Yalom團體治療之11項治療因子,發展針對「團體帶領逐字稿」治療因子ChatGPT分析工具,再驗證其信效度
2. 依據上述C1之分析結果,發展治療團體治療因子回饋之ChatGPT工具,再驗證其信效度
3. 驗證上述工具之教學效能(預期學員於接受上述分析與回饋3次之後,即有明顯進步!)
-------------------------------------------------------
D. 以ChatGPT協助精神病患職能治療團體帶領與計畫書所提治療原理之一致性分析與回饋效能
研究目的:
1. 依據團體帶領計畫書所提治療原理,發展針對「團體帶領逐字稿」治療原理之ChatGPT分析工具,再驗證其信效度
2. 依據上述D1之分析結果,發展治療團體治療原理回饋之ChatGPT工具,再驗證其信效度
3. 驗證上述工具之教學效能(預期學員於接受上述分析與回饋3次之後,即有明顯進步!)
我們在臨床收集到的團體錄影檔,應該超過100個團體/錄影檔。
現有AI的技術至少可以分析其音檔/逐字稿(順道做成錄影檔的字幕),且速度快!!
所以我們已啟動「主持人帶領團體表現」之評估與回饋研究計畫!!
另,臨床教學時,後續臨床帶領的團體影音檔,我們應可於2天之內及完成評估與回饋!!
也可交給帶領者自行操作,以快速獲得評分與回饋!!
加上之前計畫書的評分與回饋,即可更完整!!
我相信後續應可證實這些評估與回饋可讓團體帶領的品質與成果「顯著提升」!!
---------------------------------------------------------
上述教學或研究的關鍵在於:「治療師帶領團體表現評估表」之良寙!
早上測試 ChatGPT vs Gemini vs Claude 之 Deep Research 表現 (June 8, 2025)。
我的 prompt: "請彙整2023年迄今,以大型語言模型發展虛擬病人或虛擬考官之實證論文,且可於 PubMed 或 Scopus 資料庫可查詢到的實證論文"
三者皆自動解讀 prompt,列出特定執行流程與範疇,以供使用者確認。
如 Gemini:
----------------------------------------------------------------------------
(1) 針對 PubMed 與 Scopus 資料庫,設定關鍵字組合進行檢索,關鍵字包含「大型語言模型」(Large Language Model, LLM)、「生成式AI」(Generative AI)、「虛擬病人」(virtual patient)、「標準化病人」(standardized patient)、「虛擬考官」(virtual examiner) 及「客觀結構式臨床測驗」(OSCE) 等,並將發表日期限定在2023年1月1日迄今。
(2) 篩選搜尋結果,識別出屬於「實證研究」性質的論文,排除純理論探討、評論或會議摘要等非實證文章。
(3) 針對每一篇符合條件的論文,詳細摘要其核心內容,包括:
(a) 研究使用的具體大型語言模型(例如 GPT-4, Llama 等)。
(b) 虛擬病人或考官的應用情境(例如:醫學教育、臨床技能訓練、能力評估)。
(c) 研究方法與設計,包含系統開發流程與評估方式。
(d) 主要研究發現、數據結果與成效。
(4) 綜合所有論文的資訊,分析當前以大型語言模型發展虛擬病人或考官的技術趨勢、主要挑戰(如:回答的準確性、安全性、倫理問題)以及未來研究方向。
(5) 比較不同研究在方法學上的異同,例如提示工程(prompt engineering)的技巧、評估虛擬角色表現的指標,以及衡量的教育成效。
---------------------------------------------------------------------------
我確認或修改後,他們就開始執行!!
約10分鐘後(可去喝茶/咖啡),就彙整出來了,包含參考文獻(正確率很高,皆可連結/驗證)!
效能一定超越碩班畢業生水準,因為時間效率(應是50:1--碩班畢業生至少要花50倍的時間,品質就不說了;博班生或是20:1)。
ChatGPT vs Gemini vs Claude 三者表現差異呢? 我覺得差不多!!
如 4. 擬定適當且完整治療計畫。
5. 記錄與報告病人的臨床事件。
6. 記錄與報告精神疾病病人的臨床資料。
生成式AI醫學教育標準---
後續宜發展「以生成式AI發展影音教材之SOP與評估標準」&「以LLM發展虛擬病人與虛擬考官之SOP與評估標準」,因為這些SOP與評估標準皆對於後續的醫學教育研究具有很重要的指引與驗證需求。
---------------------------------------
以下是針對「以生成式AI發展影音教材之SOP與評估標準」的評論:
獨特價值:技術創新與教育結合:
個人化學習的突破:
教學設計整合:
---------------------------------------------------
「以LLM發展虛擬病人與虛擬考官之SOP與評估標準」
創新價值:
---------------------------------------------------
VP 驗證模式:
對話內容之一致性與正確性(>12項*2種對話來源[自然對話(>10 examiness)與設定對話(New Chat 3次)]*>5VP)
對話風格之一致性與正確性(>5項*2種對話來源[自然對話與設定對話]*>5VP)
專家設定對話,以FIFE言,可約12題(可驗證prompt有無舉例/設定)
VR (virtual rater) 驗證模式:
評分與回饋內容之一致性與正確性