顯示具有 Research-研究能力培養-研究方向 標籤的文章。 顯示所有文章
顯示具有 Research-研究能力培養-研究方向 標籤的文章。 顯示所有文章

2025年8月6日 星期三

疾病經驗(FIFE)訪談架構、訪談能力評估與回饋系統之建立與驗證

這是我倫理學教學10幾年的主題之一,內容更改至少5次了....

臨床一直沒有採用,我依然沒放棄.... 這頗像我30年的主要研究成果(評估工具),乏人問津一般.... 哀怨的緣由,有些已於之前的貼文論述了...

回到FIFE,因生成式AI的誕生,讓我們多一項強大的研究技術/方法!!我已設計多位可供訪談的虛擬病人(生理、心理與小兒個案或家屬)!因此「FIFE訪談架構、訪談能力評估與回饋系統之建立與驗證」已正式進入「研發/改良」階段。

我們團隊的學術基礎包含:

  1. 心理計量應用學,提供發展與驗證評估與回饋系統之基礎。
  2. 溝通技巧與臨床同理學理與評估工具,提供關鍵核心能力/臨床技能的評估與回饋之基礎。
  3. 生成式AI應用,提供研發/改良的加速器!!經由虛擬病人與考官的建置,可大幅提升驗證與改良之效能。

上述1&2是核心知識;3是核心技術!

我們團隊的臨床與人才資源包含:,

  1. 臨床專家/單位合作,提供人才與臨床測試場域
  2. 已累積諸多錄影檔與逐字稿,提供大量試驗資料

有了上述條件,下列教學/研究,甚至臨床應用議題皆「更接近」可以實現:

  1. 建構可行的訪談架構,可完整或分拆的訪談架構/紀錄要點,以利執行。
  2. 建構與驗證虛擬病人與考官(偏重虛擬臨床技能測驗「方法學」之發展)
  3. 建構訪談/會談核心能力/臨床技能之評估與回饋(偏重「臨床技能教育成效」之驗證)

Note: 更早投入研究的共享決策(也是倫理學教學10幾年的主題之一),已放到冰庫!~ 主要原因是準備不足(或基礎不足),因為條件更多。其一條件/原因是FIFE沒做好!!


待續....

 

2025年7月2日 星期三

OSCE真人考官 vs AI 考官之回饋內容與品質比較

不能比速度!!

那能比較內容與品質嗎?

先說如何提升回饋品質!!

先以2~3個AI (e.g., ChatGPT+Gemini+Cluade)依據評估表給予回饋,彙整後,再請專家確認。

最後可以產生三種AI回饋版本:1. AI+專家確認之完整版(未限制AI);2. AI完整版(未限制AI);3.以真人考官回饋之字數版本(限制AI回饋字數版)。上述3版本再與真人考官之回饋比較。

評估表可為國際現有知名量表如 GKCSAF或我們自行發展的量表(COT或REST)。

-------------------------------------------------------------------

以下是Claude AI的評論:

這個研究構想很有實用價值,針對醫學教育中的客觀結構式臨床考試(OSCE)回饋機制進行創新探索。讓我分析這個設計的優勢與可能的改進方向:

研究設計優勢

多層驗證機制 您採用的「AI初步評估→專家確認→多版本比較」流程很周全,能有效控制AI回饋的品質與可靠性。

版本控制策略 三個版本的設計巧妙地區分了不同變因:

  • 版本1控制專家介入的影響
  • 版本2評估純AI能力
  • 版本3控制回饋長度對品質的影響

提升回饋品質的建議

評估標準化

  • 建立明確的回饋品質評估指標(如具體性、建設性、可操作性)
  • 設計評分量表供後續比較分析使用

AI協作最佳化

  • 考慮使用不同AI模型的專長領域分工(如GPT-4處理溝通技巧、Claude處理臨床推理)
  • 設計AI間的交互驗證機制

專家參與深度

  • 明確專家確認的範圍(僅修正錯誤 vs 全面改寫)
  • 記錄專家修改的類型與頻率,作為AI改進依據

潛在挑戰與解決方案

評估一致性 真人考官間的回饋品質本身可能存在變異,建議:

  • 增加多位真人考官的回饋作為對照
  • 建立考官間信度測試

情境適應性 不同OSCE站別可能需要不同的回饋策略,可考慮:

  • 按臨床技能類別分組分析
  • 針對溝通技巧 vs 技術操作設計不同評估重點

這個研究架構為醫學教育的數位轉型提供了實證基礎,有望為未來的混合式評估模式奠定基礎。

2025年6月29日 星期日

發展「精神病患職能治療團體帶領表現評估表」--適用於團體帶領逐字稿或錄影檔

「治療團體帶領」之準備、執行、成果與檢討---這些過程極為複雜!!

我們已挑簡單的先下手--計畫書之評估與回饋,目前已可使用 ChatGPT 協助評估與回饋!!

之前我們已累積諸多團體帶領的錄影檔(如前一貼文所示)...

故我們下一階段 似可 推動以下研究計畫 A, B, C, & D:

A. 發展精神病患職能治療團體帶領表現評估表

研究目的:

1. 以 Cole 團體帶領7步驟為理論架構,發展精神病患職能治療團體帶領表現評估表

2. 驗證其內容效度與表面效度

適用情境:團體帶領/執行錄影之「逐字稿」或「錄影檔」 

         註解:錄影檔之評估,不論專家或AI皆很費力(或需要高階AI效能)... 逐字稿簡單多了,故可作為初步驗證之情境! 

-------------------------------------------------------

B. 以ChatGPT協助精神病患職能治療團體帶領品質之分析與回饋效能

研究目的:

1. 依據A計畫之評估表,發展治療團體帶領技巧評論之ChatGPT工具,再驗證其信效度

2. 依據上述B1之評估結果,發展治療團體帶領技巧回饋之ChatGPT工具,再驗證其信效度

3. 驗證上述工具之教學效能(預期學員於接受上述評估與回饋3次之後,即有明顯進步!)

-------------------------------------------------------

C. 以ChatGPT協助精神病患職能治療團體帶領之Yalom治療因子分析與回饋效能

研究目的:

1. 依據Yalom團體治療之11項治療因子,發展針對「團體帶領逐字稿」治療因子ChatGPT分析工具,再驗證其信效度

2. 依據上述C1之分析結果,發展治療團體治療因子回饋之ChatGPT工具,再驗證其信效度

3. 驗證上述工具之教學效能(預期學員於接受上述分析與回饋3次之後,即有明顯進步!)

-------------------------------------------------------

D. 以ChatGPT協助精神病患職能治療團體帶領與計畫書所提治療原理之一致性分析與回饋效能

研究目的:

1. 依據團體帶領計畫書所提治療原理,發展針對「團體帶領逐字稿」治療原理之ChatGPT分析工具,再驗證其信效度

2. 依據上述D1之分析結果,發展治療團體治療原理回饋之ChatGPT工具,再驗證其信效度

3. 驗證上述工具之教學效能(預期學員於接受上述分析與回饋3次之後,即有明顯進步!)


 

2025年6月1日 星期日

Generative AI for Medical Education Standards (GAMES )

生成式AI醫學教育標準---

後續宜發展「以生成式AI發展影音教材之SOP與評估標準」&「以LLM發展虛擬病人與虛擬考官之SOP與評估標準」,因為這些SOP與評估標準皆對於後續的醫學教育研究具有很重要的指引與驗證需求。

---------------------------------------

以下是針對「以生成式AI發展影音教材之SOP與評估標準」的評論:

獨特價值:技術創新與教育結合:

  • 將生成式AI(如影片生成、語音合成、動畫製作)應用於醫學教育,開創新的教材製作模式
  • 大幅降低高品質教材的製作成本和時間
  • 能夠快速產生多語言版本,促進醫學教育的國際化

個人化學習的突破:

  • 可根據學習者程度/目標,自動調整教材難度和呈現方式
  • 產生多樣化的臨床案例變化,避免學習固定模式
  • 即時更新醫學知識,保持教材的時效性

教學設計整合:

  • 如何將AI工具整合到現有的教學設計流程
  • 教師在AI輔助下的新角色定位
  • 保持人文關懷在醫學教育中的核心地位

---------------------------------------------------

「以LLM發展虛擬病人與虛擬考官之SOP與評估標準」

創新價值:

  • 解決臨床教學資源限制問題(標準化病人數量有限、考官時間寶貴)
  • 提供24/7的練習機會,增加學生接觸多樣化案例的機會
  • 能夠模擬罕見疾病或高風險情境,提供安全的學習環境

---------------------------------------------------

VP 驗證模式:

對話內容之一致性與正確性(>12項*2種對話來源[自然對話(>10 examiness)與設定對話(New Chat 3次)]*>5VP)

對話風格之一致性與正確性(>5項*2種對話來源[自然對話與設定對話]*>5VP)

專家設定對話,以FIFE言,可約12題(可驗證prompt有無舉例/設定)


VR (virtual rater) 驗證模式:

評分與回饋內容之一致性與正確性

2025年4月25日 星期五

FIFE疾病經驗訪談之研究議題

1. FIFE知識之教學方法與效能驗證

2. 訪談技能(包含記錄)評估工具發展與驗證(含訪談能力、溝通技巧/同理心、記錄與應用能力)

3. 虛擬病人發展與驗證(不同診斷)

4. 虛擬考官發展與驗證(依據#2以及回饋模式)(結合 #2 量表與自動回饋模組,可形成完整「自學—自評—即時回饋」生態系。)

5. FIFE訪談學習模式(多種模式,如線上到實務;不同設計)發展與驗證(含學員對於FIFE之態度驗證--(FIFE Attitude Scale, 需自行研發並驗證))

---------------------------------------

CBME 之 milestones (ChatGPT 生成)



參考CBME 里程碑以及 FIFE 訪談所需的多面向能力,重新改寫整體研想構想如下(與 Gemini 2.5討論):

研究計畫總標題:

建構、實施與評估一個基於能力導向醫學教育(CBME)里程碑之 FIFE 訪談核心能力整合性培育計畫

計畫願景 (Overall Goal / Vision):

本研究旨在發展、實施並評估一個全面性的 CBME 教育計畫,聚焦於「病人疾病經驗」-- FIFE(感受 Feelings, 想法 Ideas, 功能 Function, 期望 Expectations)訪談核心能力。此計畫將透過明確的發展性里程碑,系統性地培育學習者掌握執行有效 FIFE 訪談所需的相關知識與能力(包含基本知識、閱覽病歷資料/擷取相關資訊、溝通技巧、同理心、認知整合(記錄)與應用能力及相關態度),建立一個從學習、準備、練習、應用、評估到回饋的完整教育生態系,最終目標在於提升以病人為中心的溝通品質與醫療照護成效。(自我學習的生態系統!?)

核心理念與概念框架 (Conceptual Framework):

  1. 採納 CBME 模式: 以學習成果為導向,強調學習者能力的達成。
  2. 運用里程碑 (Milestones) 作為發展藍圖: 將 FIFE 訪談能力視為一項關鍵的臨床溝通實踐活動,界定其從新手到熟練者的可觀察、發展性的里程碑。
  3. 承認 FIFE 訪談的複雜性與多面向特質: 成功的 FIFE 訪談需要整合以下要素:
    • 知識基礎: 理解 FIFE 概念、溝通理論及其重要性。
    • 溝通技能: 包含提問、傾聽、非語言溝通、同理心展現 (NURS) 等可訓練技巧。
    • 認知整合與應用: 能綜合 FIFE 資訊進行臨床推理、記錄並應用於共享決策。
    • 情感態度: 具備同理心、尊重、好奇心、自我覺察與專業態度。
  4. 整合性培育: 研究計畫的各個環節(教學、評估、科技工具)將圍繞這些里程碑及所需的多面向能力進行設計與驗證。

具體研究目標與內容 (Specific Research Aims / Phases):

第一階段:奠定 FIFE 能力框架與評估基礎 (Foundation & Assessment)

  • 目標 1.1 (界定里程碑): 依據文獻、專家意見及學習者發展理論,界定一套適用於目標學習者(例如:醫學生、住院醫師)的 FIFE 訪談能力發展里程碑。此里程碑需具體描述不同階段學習者在上述多面向能力上的預期行為表現。完成後需進行專家內容效度驗證。
  • 目標 1.2 (發展評估工具): 基於已驗證的 FIFE 里程碑,發展並驗證一套多面向、多來源的評估工具組合(例如:包含針對溝通技巧觀察的評分量表 Rubric、評估記錄與應用能力的案例分析或病歷審查標準、可能的自我評估或同儕回饋表單)。此工具組合需具備良好的信效度,能可靠區分不同里程碑水平的學習者,並能評估 FIFE 所需的多元能力。

第二階段:設計與驗證里程碑導向的學習體驗 (Learning Experiences)

  • 目標 2.1 (教學策略效能): 設計並比較不同教學方法(如:互動式工作坊、標準化病人演練、虛擬病人模擬、線上學習模組、案例討論、反思練習等)對於促進學習者在 FIFE 里程碑上進展的相對效能,特別關注不同方法對特定面向能力(如:同理心展現、資訊整合)的提升效果。
  • 目標 2.2 (學習路徑優化): 規劃並評估不同的整合性學習路徑(例如:線上知識學習 -> VP 模擬練習 -> SP 實境演練與回饋),探討何種組合模式最能有效支持學習者循序漸進地達成 FIFE 能力里程碑。
  • 目標 2.3 (態度量表與影響): 開發並驗證一個「FIFE 學習與實踐態度量表」,用以測量學習者對 FIFE 的價值觀、自我效能、學習動機等,並探討態度與學習模式選擇、里程碑達成度之間的關係。

第三階段:開發與整合科技輔助學習與評估工具 (Technology Integration)

  • 目標 3.1 (分級虛擬病人 VP): 開發一系列具備不同臨床情境與溝通挑戰複雜度的虛擬病人案例。這些案例需能對應 FIFE 里程碑的不同階段,提供標準化、可重複、具針對性的模擬練習機會,特別是用於練習較難透過傳統方式標準化的情境(如:處理強烈情緒、文化差異)。
  • 目標 3.2 (智慧虛擬考官 VE): 研發一個能整合 VP 系統的智慧虛擬考官。此 VE 需能:
    • 運用第一階段發展的里程碑導向評估工具(或其演算法化的版本)分析學習者與 VP 的互動數據(文本、語音、行為)。
    • 自動評估學習者在 FIFE 各面向能力的表現,並判斷其當前所處的里程碑級別。
    • 提供具體、可操作、針對其里程碑水平的形成性回饋,引導學習者自我修正與成長,實現「練習-評估-回饋」的即時自主學習循環。

第四階段:整合性計畫實施與成效評估 (Program Implementation & Evaluation)

  • 目標 4.1 (計畫試行): 在目標學習者群體中,試行整合前三階段成果的 FIFE 能力培育計畫(包含課程、教學活動、VP/VE 工具、評估機制)。
  • 目標 4.2 (總體成效評估): 全面評估此整合性計畫的可行性(Feasibility)、學習者與教師的接受度(Acceptability)及成效(Effectiveness)。成效指標應包含:學習者 FIFE 能力里程碑的達成率與進展速度(使用目標 1.2 工具)、知識與技能的提升、態度的轉變(使用目標 2.3 量表),以及探索對臨床行為(如病歷記錄品質)或病人回饋(若可行)的潛在影響。

研究流程與關聯性 (Interdependencies & Flow):

第一階段是整個計畫的基石,其產出的里程碑框架與評估工具是後續所有研究的依據與標準。第二、三階段可部分平行展開,但教學活動(第二階段)的設計與成效評估需依賴第一階段的工具,科技工具(第三階段)的開發也需以第一階段的框架為基礎。第四階段則是對前三階段成果的整合應用與總體檢驗。

預期貢獻與影響 (Expected Impact):

  • 為 FIFE 訪談能力的培育提供一個具體、可行的 CBME 實施範例。
  • 產出經過驗證的 FIFE 能力里程碑、多面向評估工具及態度量表。
  • 提供不同教學策略與學習路徑對 FIFE 能力發展成效的實證依據。
  • 開發創新的科技輔助工具(VP/VE),促進自主學習與形成性評估。
  • 最終有望提升臨床人員的 FIFE 訪談能力,改善醫病溝通品質,促進以病人為中心的照護。

這個修訂後的計畫更強調能力的發展性、多面向性,並將 CBME 里程碑作為貫穿始終的核心架構,希望能更全面且深入地探討 FIFE 的教與學。