二主軸:
主軸一:Development Methodology of Virtual Patients
探討 VP 如何被建構、訓練、擴充、控制與更新。
主軸二:Validation Methodology of Virtual Patients
探討 VP 如何被驗證、評估、校正、監測與維持品質。
七大主題:
1. VP generation and modeling (虛擬病人的建立與發展方法學)
重點包括:
以真實資料、synthetic data、expert-authored data 混合建模:特定臨床情境或溝通任務的專屬 VP 模型
- persona consistency、symptom completeness、dialogue diversity
- prompt-based、fine-tuning、RAG、knowledge-constrained generation 等建模策略
這主題回答的是:VP 怎麼做出來?
2. VP corpus and database infrastructure (虛擬病人資料庫與多模態語料基礎建設)
納入:
- demographic and clinical profile schema
- standardized dialogue corpus
- multimodal interaction parameters(voice, facial expression, gesture)(先收集資料。應用時,目前以逐字稿為標的,後續再擴展)
- annotation standards (規定研究團隊如何對逐字稿、對話片段、表情、語氣、臨床資訊、情緒反應等資料,進行一致化標註,避免不同標註者各自用不同標準理解資料。)
- metadata、versioning、benchmark sets(metadata:「描述資料的說明」,如逐字稿的建立日期、病例編號、語言、情境類型、標註版本、資料來源等)(Benchmark sets 是一組經過設計、整理與固定化的標準測試資料或測試任務,用來評估不同 VP 系統、不同版本,或不同方法之間的表現差異。)
這主題探究:VP 研究的「資料基礎」如何建立?這研究將決定虛擬病人資料庫是否具有 可重複性(reproducibility)、可比較性(comparability)、可追蹤性(traceability),以及後續研究發展所需的 品質控制基礎。
3. VP performance validation and quality assurance (虛擬病人表現驗證與品質確保方法學)
包含 psychometric and QA framework:
- content validity
- response accuracy (including factual accuracy, inferential accuracy, and clinically appropriate accuracy)
- style consistency (語氣、表達習慣、情緒風格、用詞方式、互動態度與敘事節奏上,是否能維持前後一致:這個 VP 是否始終像同一個人?)
- scenario fidelity
- inter-session stability
- controllability under prompt variation (當提示詞、提問方式、舉例形式或對話入口略有變化時,VP 是否仍能維持核心案例設定與預期表現,而不會被輕易帶偏:VP 的行為是否可控?還是只要 prompt 一改,角色就跑掉?)
- SOP for error detection, revision, and revalidation (建立一套標準作業流程,用來系統性地發現 VP 錯誤、進行修正,並在修正後重新驗證其品質是否達標)
這主題探究:VP 的表現是否可信、穩定、可控?
4. Virtual Interviewer and co-adaptive interaction research (虛擬訪員與人機互動引導機制之開發)
重點包括:
特定 interviewing framework(如 FIFE)之 agent design
- elicitation effectiveness(虛擬訪員是否能透過其提問方式、追問技巧與回應策略,有效引出虛擬病人原本未主動表達、但在臨床上或教育上具有重要性的資訊。)
- depth of disclosure (訪談中揭露個人感受、想法、脈絡與深層經驗的程度)
- co-adaptation between interviewer prompts and VP response depth (虛擬訪員的提問策略與虛擬病人的揭露深度之間,彼此影響、動態調整並共同演化的互動過程)
- dialogue strategy optimization (透過系統性測試與修正,持續改進虛擬訪員的提問、追問、回應與對話流程,以提升訪談成效與互動品質)
這主題探究:AI 訪員能否有效引出病人經驗,並與 VP 共同演化?
在虛擬訪員研究中,核心問題不僅在於其是否能提出問題,更在於其能否有效引出虛擬病人具臨床與教育意義之資訊(elicitation effectiveness),並促使虛擬病人揭露更深層之情緒、想法、功能影響與期待(depth of disclosure)。此外,虛擬訪員之提問形式與虛擬病人回應深度之間可能存在動態且雙向之調適歷程(co-adaptation),此一互動機制可作為後續優化對話策略(dialogue strategy optimization)之基礎,以提升虛擬訪談之自然性、深度與訓練價值。
5. Multi-agent testing framework and Virtual Rater (多重 AI 代理人測試框架與虛擬評分員之發展)
包含:
- 多重 AI 代理人
- test-interviewer GPT (依標準化訪綱執行)
- adjudicator GPT (依評分規準判定表現與給分的 AI 評審;產生評語或初步回饋)
- meta-rater GPT (監督與校正其他 AI 評審判斷品質的高層 AI 評量者)
- 驗證其評量品質
- rating rubric alignment (AI 評分結果與既定評分標準的一致程度;文字回饋是否支持所給分數)
- agreement with human experts
- feedback usefulness and calibration
這主題探究:如何以多代理人方式自動化測試與評分 VP?
6. Generalizability and model drift (外在效度)
- cross-scenario generalizability
- cross-population robustness
- longitudinal stability
- post-update drift monitoring (AI模型/系統更新後是否偏移)
7、Ethics, governance, and safety (倫理治理、安全性與公平性評估)
- privacy and consent
- bias and representational fairness (系統是否避免對特定族群產生系統性偏差,並能公平且多元地呈現不同病人群體與經驗)
- hallucination risk
- harmful or misleading responses (系統產生可能造成誤解、傷害、污名化或不當學習示範之內容的風險)
- transparency and auditability (指系統之資料、版本、規則與輸出決策過程是否足夠清楚且可追查,以支持檢核、問責與治理)
------------------------------------------------
這7項其實可形成一條完整的 VP 表現驗證邏輯:
1. 先看內容對不對、夠不夠
content validity
response accuracy
2. 再看角色表現是否一致且符合情境
style consistency
scenario fidelity
3. 再看表現是否穩定、可重複
inter-session stability
4. 再看系統是否可控、可實際使用
controllability under prompt variation
5. 最後建立持續修正與維護機制
SOP for error detection, revision, and revalidation
換句話說,這整組 framework 可濃縮為:
內容正確 → 角色一致 → 情境忠實 → 表現穩定 → 可被控制 → 可被持續維護
------------------------------------------
與 ChatGPT 討論之連結