我們在臨床收集到的團體錄影檔，應該超過100個團體/錄影檔。
現有AI的技術至少可以分析其音檔/逐字稿（順道做成錄影檔的字幕），且速度快！！
所以我們已啟動「主持人帶領團體表現」之評估與回饋研究計畫！！
另，後續臨床帶領的團體影音檔，我們應可於2天之內及完成評估與回饋！！
也可交給帶領者自行操作，以快速獲得評分與回饋！！
加上之前計畫書的評分與回饋，即可更完整！！
我相信後續應可證實這些評估與回饋可讓團體帶領的品質與成果「顯著提升」！！
2025年6月18日 星期三
2025年6月8日 星期日
Deep Research 的表現應已（遠）超過碩班水準
早上測試 ChatGPT vs Gemini vs Claude 之 Deep Research 表現 (June 8, 2025)。
我的 prompt: "請彙整2023年迄今，以大型語言模型發展虛擬病人或虛擬考官之實證論文，且可於 PubMed 或 Scopus 資料庫可查詢到的實證論文"
三者皆自動解讀 prompt，列出特定執行流程與範疇，以供使用者確認。
如 Gemini:
----------------------------------------------------------------------------
(1) 針對 PubMed 與 Scopus 資料庫，設定關鍵字組合進行檢索，關鍵字包含「大型語言模型」(Large Language Model, LLM)、「生成式AI」(Generative AI)、「虛擬病人」(virtual patient)、「標準化病人」(standardized patient)、「虛擬考官」(virtual examiner) 及「客觀結構式臨床測驗」(OSCE) 等，並將發表日期限定在2023年1月1日迄今。
(2) 篩選搜尋結果，識別出屬於「實證研究」性質的論文，排除純理論探討、評論或會議摘要等非實證文章。
(3) 針對每一篇符合條件的論文，詳細摘要其核心內容，包括：
(a) 研究使用的具體大型語言模型（例如 GPT-4, Llama 等）。
(b) 虛擬病人或考官的應用情境（例如：醫學教育、臨床技能訓練、能力評估）。
(c) 研究方法與設計，包含系統開發流程與評估方式。
(d) 主要研究發現、數據結果與成效。
(4) 綜合所有論文的資訊，分析當前以大型語言模型發展虛擬病人或考官的技術趨勢、主要挑戰（如：回答的準確性、安全性、倫理問題）以及未來研究方向。
(5) 比較不同研究在方法學上的異同，例如提示工程（prompt engineering）的技巧、評估虛擬角色表現的指標，以及衡量的教育成效。
---------------------------------------------------------------------------
我確認或修改後，他們就開始執行！！
約10分鐘後（可去喝茶/咖啡），就彙整出來了，包含參考文獻（正確率很高，皆可連結/驗證）！
效能一定超越碩班畢業生水準，因為時間效率（應是50:1--碩班畢業生至少要花50倍的時間，品質就不說了；博班生或是20:1）。
ChatGPT vs Gemini vs Claude 三者表現差異呢？ 我覺得差不多！！
2025年6月6日 星期五
很多精神科EPAs都是生成式AI的立即研究議題
出處：《醫療品質雜誌》 16卷1期 (2022/01) Pp. 70-75
如 4. 擬定適當且完整治療計畫。
5. 記錄與報告病人的臨床事件。
6. 記錄與報告精神疾病病人的臨床資料。
這是 LLMs 即可搞定/幫大忙的任務！！若僅以專家驗證信效度，則IRB頂多簡審！！
紅色字：訪談/諮詢部分，毋須（或較少）觀察， My GPTs 也可搞定！！
後續可行的研究題材超多！！
另一發現是，國內精神科醫學教育的研究成果極少！！
2025年6月1日 星期日
Generative AI for Medical Education Standards (GAMES )
生成式AI醫學教育標準---
後續宜發展「以生成式AI發展影音教材之SOP與評估標準」&「以LLM發展虛擬病人與虛擬考官之SOP與評估標準」，因為這些SOP與評估標準皆對於後續的醫學教育研究具有很重要的指引與驗證需求。
---------------------------------------
以下是針對「以生成式AI發展影音教材之SOP與評估標準」的評論：
獨特價值：技術創新與教育結合：
- 將生成式AI（如影片生成、語音合成、動畫製作）應用於醫學教育，開創新的教材製作模式
- 大幅降低高品質教材的製作成本和時間
- 能夠快速產生多語言版本，促進醫學教育的國際化
個人化學習的突破：
- 可根據學習者程度/目標，自動調整教材難度和呈現方式
- 產生多樣化的臨床案例變化，避免學習固定模式
- 即時更新醫學知識，保持教材的時效性
教學設計整合：
- 如何將AI工具整合到現有的教學設計流程
- 教師在AI輔助下的新角色定位
- 保持人文關懷在醫學教育中的核心地位
---------------------------------------------------
「以LLM發展虛擬病人與虛擬考官之SOP與評估標準」
創新價值：
- 解決臨床教學資源限制問題（標準化病人數量有限、考官時間寶貴）
- 提供24/7的練習機會，增加學生接觸多樣化案例的機會
- 能夠模擬罕見疾病或高風險情境，提供安全的學習環境
---------------------------------------------------
VP 驗證模式：
對話內容之一致性與正確性（>12項*2種對話來源[自然對話（>10 examiness）與設定對話（New Chat 3次）]*>5VP）
對話風格之一致性與正確性（>5項*2種對話來源[自然對話與設定對話]*>5VP）
專家設定對話，以FIFE言，可約12題（可驗證prompt有無舉例/設定）
VR (virtual rater) 驗證模式：
評分與回饋內容之一致性與正確性
訂閱：
文章 (Atom)