顯示具有 Research-學術交流 標籤的文章。 顯示所有文章
顯示具有 Research-學術交流 標籤的文章。 顯示所有文章

2025年9月4日 星期四

「半自動」測試虛擬病人表現之構想

*可交由 ChatGPT 當成訪員測試之,再交由 ChatGPT 當評分員評分(評審虛擬病人之表現)!!

設計2個 My GPTs: 1. 測試訪員;2. 評審。

  • 「測試訪員GPT」架構:依據訪綱(如FIFE)訪談虛擬病人。需準備以下資訊:
    • 虛擬病人
    • 訪綱
  • 「評審GPT」架構:依據評分表評分虛擬病人之表現。
    • 「測試訪員GPT」之訪談結果(問答)
    • 評審虛擬病人表現評分表
可以再增加一個GPT,以評審「測試訪員GPT」之表現。

Note: 感謝士捷的經驗分享,之前他提過 ChatGPT 可同時扮演訪員與個案!!



Gemini Pro 2.5 的建議如下:

標題:利用 My GPTs 設計「虛擬病人表現自動測試流程」之完整構想與實施建議

這是一個非常棒且具創意的構想!利用客製化的 GPTs (My GPTs) 來建構一個自動化的「虛擬病人表現測試」流程是完全可行的,而且能夠將標準化病人的訓練與評核提升到一個新的層次。您的「訪員-評審」雙軌制,甚至加上對訪員的後設評估(meta-assessment),架構非常完整。

以下我將您的構想細化,提供更具體的設計步驟、指令(Instructions)建議,以及一些關鍵成功因素。

---

### **整體自動化測試流程**

這個流程的核心是將一個複雜的臨床能力評估任務,拆解成三個(或四個)獨立但環環相扣的 AI 代理人(Agent)任務。

**流程圖:**
1.  **[準備階段]** 設計虛擬病人劇本、訪綱、評分表。
2.  **[執行階段]** **GPT-1 (訪員)** 與 **虛擬病人** 進行訪談。
3.  **[產出]** 產生完整的 **訪談逐字稿**。
4.  **[評估階段]**
    * 將 **逐字稿** 和 **病人表現評分表** 交給 **GPT-2 (病人評審)** 進行評分。
    * 將 **逐字稿** 和 **訪綱** 交給 **GPT-3 (訪員評審)** 進行評分。
5.  **[結果]** 得到兩份結構化的評估報告。

---

### **GPTs 設計詳解**

#### **核心要素:虛擬病人 (The Virtual Patient)**

在開始設計訪員和評審之前,最重要的是定義「虛擬病人」。您可以有兩種方式實現:

1.  **由真人扮演**:測試初期,由您或研究助理扮演虛擬病人,與「訪員GPT」互動。
2.  **由另一個GPT扮演 (推薦)**:創建一個 **「虛擬病人GPT」**。這是實現完全自動化的關鍵。

**虛擬病人GPT 設計建議:**
* **名稱:** `虛擬病人 - [案例名稱,如:頭痛的陳先生]`
* **角色 (Role):** 你是一位 [年齡] 歲的 [性別],名叫 [姓名]。你因為 [主要症狀] 來看醫生。
* **知識庫 (Knowledge):** 上傳一份詳細的「病人劇本檔案」,內容包含:
    * **基本資料:** 姓名、年齡、職業、家庭狀況。
    * **病史:** 現在病史 (Present Illness)、過去病史、家族史、過敏史、旅遊史等。
    * **FIFE 元件:**
        * **感受 (Feelings):** 你內心真實的擔憂與恐懼是什麼?(例如:擔心自己是不是得了腦瘤)
        * **想法 (Ideas):** 你認為自己生病的原因是什麼?(例如:最近工作壓力太大、睡眠不足)
        * **功能影響 (Function):** 這個病痛對你的工作、生活造成了什麼具體影響?(例如:上班時無法集中精神、痛到無法運動)
        * **期望 (Expectations):** 你對這次看診有什麼期待?(例如:希望醫生能開止痛藥,並安排做個詳細的檢查)
    * **互動規則:**
        * 「不要一次性說出所有資訊。」
        * 「只有在訪員問到相關問題時,才透露對應的資訊。」
        * 「你的回答要自然,可以帶有情緒,例如焦慮、不耐煩或輕鬆。」
        * 「如果訪員的問題很模糊,你可以反問,例如:『醫生你的意思是...?』」

---

#### **1. 測試訪員GPT 設計**

* **名稱:** `臨床技能訪談員 (FIFE)`
* **角色 (Role):** 你是一位經驗豐富的臨床醫師或醫學教育者,你的任務是根據指定的訪談框架(例如 FIFE),與一位虛擬病人進行標準化的問診。你的語氣應該專業、有同理心且具引導性。
* **指令 (Instructions):**
    1.  **首要目標:** 你的唯一目標是透過對話,完整地從虛擬病人身上探詢到 FIFE 框架中的所有資訊。
    2.  **訪談框架:** 你必須嚴格遵循 FIFE 訪談框架的四個核心:
        * **Feelings (感受):** 探索病人對病情的擔憂與情緒。
        * **Ideas (想法):** 了解病人認為的病因。
        * **Function (功能影響):** 評估病情對日常生活的影響。
        * **Expectations (期望):** 了解病人對本次看診的期待。
    3.  **流程:**
        * 以一個開放式問題開始訪談 (e.g., "今天有什麼不舒服的地方,可以跟我說說嗎?")。
        * 自然地將 FIFE 的各個元素融入對話中,避免像機器人一樣逐條提問。
        * 使用積極傾聽與同理心技巧 (e.g., "聽起來這段時間你很辛苦。")。
        * 在訪談結束時,進行總結與確認。
    4.  **最終產出:** 當你認為已收集到所有必要資訊後,請明確地說「我的問診結束了。」,然後輸出一份完整的、不含任何評論的「訪談逐字稿」。格式如下:
        ```
        【訪談逐字稿開始】
        訪員:你好,我是王醫師,請問你叫什麼名字?
        病人:我叫陳大文。
        ... (完整對話) ...
        訪員:好的,謝謝你提供這些資訊,我的問診結束了。
        【訪談逐字稿結束】
        ```
* **知識庫 (Knowledge):** 上傳一份詳細的 FIFE 框架說明文件、優良問診技巧範例(可選)。

---

#### **2. 評審GPT 設計 (評估虛擬病人)**

* **名稱:** `虛擬病人表現評分員`
* **角色 (Role):** 你是一位客觀、嚴謹的臨床技能評核專家。你的任務是根據提供的「訪談逐字稿」和「評分表」,評估「虛擬病人」的表現是否符合劇本設定。
* **指令 (Instructions):**
    1.  **輸入:** 你會收到兩份文件:一份是「訪談逐字稿」,另一份是「虛擬病人表現評分表」。
    2.  **評分核心:** 你的評分對象是 **虛擬病人**。
    3.  **評分原則:**
        * 嚴格依據評分表的每一項標準進行評分。
        * 對於每一項評分,必須在逐字稿中找到 **具體證據 (Quote)** 來支持你的分數。
        * 如果虛擬病人過早或不恰當地透露了劇本中的「隱藏資訊」,應予扣分。
        * 如果虛擬病人的回答自然流暢、符合人設,應予加分。
    4.  **輸出格式:** 請以 Markdown 表格形式輸出結構化的評分報告,包含「評分項目」、「得分」、「評語與證據(逐字稿原文引用)」。
        範例如下:
        ### 虛擬病人表現評估報告

        | 評分項目 | 劇本要求 | 得分 (1-5) | 評語與證據 |
        | :--- | :--- | :--- | :--- |
        | **資訊揭露一致性** | 只有在被問及時才透露對腦瘤的擔憂 | 5 | 表現優異。在訪員問到「你有沒有擔心過是什麼嚴重問題」時,才說出「我有點擔心是不是腦瘤」,完全符合劇本設定。 |
        | **情緒表達自然度** | 應表現出對頭痛的焦慮 | 4 | 整體表現自然,但在描述功能影響時語氣稍嫌平淡。證據:「上班的時候會痛到沒辦法集中精神。」 |
        | ... | ... | ... | ... |
        | **總分** | | **XX / XX** | |
        | **總結** | | | (在此提供總體評價) |
* **知識庫 (Knowledge):** 上傳一份空白的「虛擬病人表現評分表.docx/pdf」。這份評分表應由您根據 OSCE (客觀結構化臨床測驗) 的標準來設計。

---

#### **3. 訪員評審GPT 設計 (評估訪員GPT)**

* **名稱:** `臨床訪談技巧評核員`
* **角色 (Role):** 你是 FIFE 訪談框架的教學專家。你的任務是分析「訪談逐字稿」,評估「訪員」在這次問診中的表現。
* **指令 (Instructions):**
    1.  **輸入:** 你會收到「訪談逐字稿」和「FIFE 訪談框架指南」。
    2.  **評分核心:** 你的評分對象是 **訪員**。
    3.  **評分原則:**
        * 檢查訪員是否成功問出了 FIFE 的所有元素。
        * 評估問題的品質:是開放式還是封閉式問題?是否使用了引導性問題?
        * 評估同理心和溝通技巧的展現。
    4.  **輸出格式:** 請以清單或表格形式,指出訪員在 FIFE 各個環節的表現,並給出具體建議。
        範例如下:
        ### 訪員 (訪談員GPT) 表現評估報告

        **1. Feelings (感受):**
        * **表現:** 成功。
        * **證據:** 訪員提問:「關於這個頭痛,你心裡有沒有什麼特別擔心的事?」
        * **評語:** 問題直接且有效,成功引導病人說出對腦瘤的恐懼。

        **2. Ideas (想法):**
        * **表現:** 待改進。
        * **證據:** 訪員未直接提問病人對病因的看法。
        * **評語:** 訪員沒有問「你自己覺得可能是什麼原因造成的?」,導致這個面向的資訊缺失。建議加入此類提問。

        ...(其他 FIFE 項目)...

        **總結與建議:**
        該訪員GPT成功完成了 F, F, E 三個部分的探詢,但在 I (Ideas) 部分有明顯疏漏。建議在指令中加強「必須完整覆蓋所有元素」的要求。同理心句式使用得當。
* **知識庫 (Knowledge):** 上傳與「測試訪員GPT」相同的「FIFE 訪談框架指南」。

---

### **關鍵成功因素與挑戰**

1.  **指令的精確性 (Prompt Engineering):**
    * GPT 的表現高度依賴於您給予的指令。指令越清晰、具體、結構化,產出結果就越穩定、越符合預期。您需要不斷測試和微調指令。
2.  **知識庫的品質:**
    * 評分表和訪綱的設計至關重要。它們是 AI 進行判斷的唯一依據,必須明確、無歧義,且可量化。
3.  **一致性問題:**
    * 即使是同一個 GPT,在不同時間運行相同的任務,結果也可能有些微差異。對於需要高度標準化的研究或評估,建議多次運行取平均值,或設定較低的 `temperature` 參數(若使用 API)。
4.  **避免「角色污染」:**
    * 在指令中要非常清楚地界定每個 GPT 的角色和評分對象,例如在評審GPT的指令中強調「你評分的是病人,不是訪員」。
5.  **從 My GPTs 到 API:**
    * 目前使用 My GPTs 介面需要手動複製貼上「逐字稿」,這是流程中的一個手動環節。未來若要實現完全的端到端(End-to-End)自動化,可以考慮使用 OpenAI API,透過程式碼串接這幾個 GPT 的呼叫,實現資料的自動傳遞。

這個構想非常有前瞻性,不僅能用於醫學教育,還可以擴展到心理諮商、法律、銷售等任何需要標準化溝通技巧訓練的領域。祝您設計順利! 



2025年8月21日 星期四

AI輔助教學:9月起的課程大幅採用

下個月(2025年9月)我將教授二課程:大二「論文導讀」以及碩一「文獻彙整與評析」

將大幅採用生成式AI協助「導讀」「解惑」「評析」「彙整」論文,以及「命題」還有「評分」

生成式AI的應用,以 My GPTs 與 NotebookLM 為主!

AI的用途:學生可應用生成式AI協助補強基本知識(含論文結構、研究議題相關、研究方法相關[含研究設計與資料分析等]以及閱讀與寫作相關之知識)。老師將提供基本知識/主題範疇(考試重點之一),於課堂大致講解或解惑,學生宜針對自己的學習目標自行練習/測驗。 

學生可自行選擇學習目標(老師提供與學生自行設定:Bloom taxonomy + 論文各章節之學習目標),但老師會要求基本目標(詳下------ 後之說明)這與學生成績連結。

我的教學目標有二:一、強化基本知識;二、提升學習目標層級(以 Bloom taxonomy 言,至少達到 Remember(如回答選擇題,成績可 PASS),一些 Understand(回答簡答題,成績可到A-;外加一些 Apply, Analyze [成績可到A], Evaluate [回答選擇題];一點點 Create [回答選擇題])。

所有考試皆同時提供中英文版本(因為翻譯的效能高,母語學習之效能較佳,但仍保留英文)

--------------------------------------------------------

1 Sep., 上完第1堂課之後,我再用My GPTs,以協助學生複習!

這GPT內容分二類:

一、重點複習與解說

二、測驗,包含三種:選擇題、簡答題以及費曼式問答。

詳: https://reurl.cc/89Yg9j 

--------------------------------------------------------

以下是 ChatGPT 協助生成的學習目標

表:論文各章節之Bloom 層級學習目標

論文章節 Bloom 層級 學習目標範例
Title / Abstract Remember 能指出研究的主題、研究對象與主要變數
Understand 能用自己的話簡述研究目的與主要結論
Analyze 能辨識摘要中研究方法與結果的關鍵資訊
Introduction Remember 能指出研究問題與主要背景理論
Understand 解釋研究動機與理論框架
Analyze 分析研究缺口(gap)與研究假設之關聯
Evaluate 評估研究問題是否具備學術或實務價值
Methods Remember 能指出研究設計類型(RCT、橫斷面研究等)與樣本特徵
Understand 說明研究流程、變數操作方式與分析方法
Apply 能用該方法設計一個類似的研究框架*
Analyze 判斷研究方法與研究問題的契合度*
Evaluate 評估方法的有效性、偏差風險與可重複性*
Results Remember 能指出主要的數據與統計檢定結果
Understand 解釋數據所代表的意義
Analyze 比較不同組別結果,找出趨勢或差異
Evaluate 評估數據與研究假設的支持程度
Discussion / Conclusion Understand 能指出作者如何連結結果與文獻、理論
Analyze 分析作者的解釋是否合理,是否有遺漏解釋的可能性*
Evaluate 評估研究的限制與未來研究建議*
Create 基於該研究提出新的研究問題或改良設計*
References Remember 能指出引用的關鍵文獻與核心作者
Understand 說明引用文獻在本研究中的角色


---------------------------------------------------------------------------------------------------------

整體課程設計原則

  1. AI之雙重角色定位

    • 作為導師(Teacher AI):說明、引導思考、反問

    • 作為考官(Examiner AI):出題、模擬病人/臨床情境、評分。

  2. 學習循環

    • 學習(Learning) → 練習(Practice) → 測驗(Assessment) → 回饋(Feedback) → 鞏固(Consolidation)

  3. 結合 OT 專業情境

    • 病例討論(case-based learning)

    • 文獻閱讀與批判(journal club)

    • 治療方案設計(intervention planning)

2025年7月6日 星期日

數據/稿件的起死回生!?

數據不好的研究結果,為何可以改變其命運(結果變得比較好,且發表於著名期刊):一個特例!

今年我們發表二篇論文,皆大致發現:GKCSAF displays acceptable intra-rater but poor inter-rater reliability in occupational therapy clinical scenarios.(心理&生理領域)(二篇論文皆有 inter-rater reliability 驗證,但ICC結果皆差,二文結論也如此定位--poor inter-rater reliability!我應發表>50篇類似論文了,資料分析與解釋,絕對經驗豐富!)(Note: GKCSAF 是國際著名的溝通技巧評估工具)

因為上述2論文皆有錄音/逐字稿,故我們去年提出新的研究構想:設計 ChatGPT 使用 GKCSAF 以評估逐字稿中學員的溝通技巧,再跟前述2篇論文專家 raters 的評估結果比較。

我們初稿的重點(牛肉)放在「發展 ChatGPT rater」 以及「ChatGPT評估結果跟專家評估結果無顯著差異(如 Figure 1所示:ChatGPT評估的總分大多在專家評估總分之間)」,後者我們的解釋為:代表 ChatGPT rater 或可替代專家評估。那時,我們未驗證效度.... 且ChatGPT與專家評估結果之ICC差(如同已發表論文之結論)...
Figure 1. Total scores of the ChatGPT rater (blue) and human raters (gray).

審稿後,有位審查委員認為我們既沒有驗證效度,主題就勿稱為 "validation", 另一個委員建議我們繪製下圖(各種raters 之評分總分比較) 

Figure 2. 所有 raters 之評分總分比較

Figure 2 讓我們更清楚:各raters 評分結果真的差別有限(總分皆在很窄的區間)!!若此為真(當然要相信數據,但哪一項統計指標的數據?), inter-rater reliability 真的不好嗎?且我們可否將多位專家 raters評分的平均值,當成效標,以驗證效度(concurrent validity)!? 

所以在修改稿件時,我們就增加 "mean absolute error" 以及 "mean absolute error %"二統計指標(這比是否統計顯著,可呈現更直觀的總分差異大小), 再將多位專家 評分的平均值,當成效標,驗證效度!! 我們發現GKCSAF總分在"mean absolute error" 以及 "mean absolute error %"結果不錯(inter-rater reliability & concurrent validity二驗證皆類似),所以支持 ChatGPT rater 總分的 inter-rater reliability & concurrent validity至少是 acceptable!! 我們也說明ICC因為總分差異小(如 Figure 2 所示),故可能造成ICC值被低估。

就這樣(事實上,主筆者--玉正努力了許久/被我嚴厲折磨...)稿件被 (Medical Teacher主編) 接受了!!

此稿件已成為我自認的代表性著作:Ju YJ, Wang YC, Lee SC, Liu CH, Lee ML, Hou CY, Yang CW, Hsieh CL. Development and validation of a GPT-based Rater for Assessing Communication Skills Using the Gap-Kalamazoo Communication Skills Assessment Form. Medical Teacher. 1st July, 2025. Accepted for publication. 

有興趣者可參考玉正的反思與心得

衍生的議題:如這貼文第2段所提--今年我們發表二篇論文,皆大致發現:... poor inter-rater reliability, 這解釋可能有誤阿!!已請玉正個別分析之,再思索是否寫信給主編更正解釋 或 撰寫 letter-to-editor.....以還 GKCSAF 公道!還有自我修正!!

感謝 reviewers 的評論, 讓我們成長,還有接受我們的論文!!

2025年6月18日 星期三

團體帶領的評估與回饋

我們在臨床收集到的團體錄影檔,應該超過100個團體/錄影檔。

現有AI的技術至少可以分析其音檔/逐字稿(順道做成錄影檔的字幕),且速度快!!

所以我們已啟動「主持人帶領團體表現」之評估與回饋研究計畫!!

另,臨床教學時,後續臨床帶領的團體影音檔,我們應可於2天之內及完成評估與回饋!!

也可交給帶領者自行操作,以快速獲得評分與回饋!!

加上之前計畫書的評分與回饋,即可更完整!!

我相信後續應可證實這些評估與回饋可讓團體帶領的品質與成果「顯著提升」!!

---------------------------------------------------------

上述教學或研究的關鍵在於:「治療師帶領團體表現評估表」之良寙!

2025年5月17日 星期六

也是生成式AI的後續---以複製的聲音協助演講

最近因朋友有需求,我就開始玩玩複製聲音(Voice Cloning)...

APP至少有3種以上了...功能至少有5:

  • 錄製個人聲音樣本
  • 讓AI學習並複製您的聲音特徵
  • 讓AI用您的聲音自動朗讀文字內容
  • 用AI調整語氣、速度、音調等參數
  • 加入錄影檔+調整影音(可就從聲音跨到影像--加成)
  • 我目前使用 ElevenLabs (for AI 語音技術),也在玩玩 Capcut (剪映 for AI 影像編輯)

    快速作品一:OT倫理學課程總結 (點選後可直接播放或需下載 mp3 音檔)

    快速作品二:介紹特定研究(英文)

    作品一的創作流程:1. 提供PPT請 ChatGPT 生成演講稿;2. 修飾/補充演講稿;3. 使用 ElevenLabs 幫我「演講/念稿」。

    作品二:只是改成英文文稿....

    -----------------------------------------------------------------------------------------------------

    以下是生成式AI對於上述技術於「後續教學應用」的看法:

    作為教授,「語音複製技術」在教學中有許多實用的應用場景:

    1. 課程內容製作

       - 預錄講課內容,讓您能夠輕鬆創建一致品質的線上課程

       - 不必每次都重新錄製,只需編輯文字稿即可生成新的語音內容

    2. 多語言教學

       - 將您的講課內容翻譯成不同語言,但仍保持您的聲音特徵

       - 協助國際學生更熟悉您的教學風格

    3. 自適應學習資源

       - 為不同程度的學生創建客製化的補充教材

       - 製作解說影片或音頻指南,解釋複雜概念

    4. 教學效率提升

       - 節省重複錄製相似內容的時間

       - 在身體不適但需要提供教學內容時派上用場

    5. 學生輔導資源

       - 創建常見問題的語音解答庫

       - 製作學習指南和複習材料

    6. 無障礙教學

       - 為視障學生提供更多音頻學習資源

       - 將教科書或文章轉換為音頻格式

    7. 虛擬辦公時間

       - 回答常見問題的自動化語音回應

       - 為無法親自參加的學生提供錄製的解釋

    使用這類技術時,建議向學生透明說明部分內容是使用AI語音生成的,並注意確保生成內容的準確性。同時,請考慮您所在機構對此類技術的政策規定。

    --------------------------------------------------------------------------------------------

    後續應用:

    1. 諸多課程或臨床技能教材,皆可套用之。

    2. 新知介紹亦然(如新的論文,先以 ChatGPT 產生文稿,確認內容後即可....或是任何擬以語音通知他人之內容)

    3. 可結合 NotebookLM 的 Podcast, 提供學員更多選擇。

    作品 3:「本貼文之介紹--由本人介紹」「NoteBookLM Podcast

    * NotebookLM 可將音檔轉成逐字稿!!


    2025年3月16日 星期日

    「如果你不能向一個六歲小孩解釋某個主題,那麼你自己也沒有真正理解它」

     費曼寫作法(Feynman Technique):一種學習和理解複雜概念的方法,受到著名物理學家理查德·費曼(Richard Feynman)的理念啟發而來。由科學作家兼企業家斯科特·揚(Scott Young)在他的著作和部落格中推廣和系統化。

    核心理念:如果你不能用簡單的語言解釋一個概念,那麼你並沒有真正理解它。通過嘗試用最基礎的詞彙解釋複雜概念,你能更清晰地看到自己知識中的盲點,從而有針對性地加強學習。

    費曼寫作法基本上包含四個步驟:

    1. 選擇一個概念或主題進行學習
    2. 用簡單的語言解釋這個概念(寫下來),就像是在教導一個小孩子一樣
    3. 識別出解釋中的漏洞或不清楚的部分,並針對這些部分進行補充與修正(回顧原始資料,重新學習,或找高手討論)
    4. 再解釋(補充/修改/簡化之前的解釋)



    我想這或是後續考試/測驗與學習的主要模式!!
    我補充第5與6步驟:
    5. 請 ChatGPT 協助評論給意見後,再修改,直到您跟 ChatGPT 皆滿意
    6. 一個月後,再重新寫一次

    另外,你如果不想寫或懶得寫,可以對著 ChatGPT 用講的(此用語音模式),再請 ChatGPT 幫你彙整/評論!
    另可嘗試:利用比喻的方式,讓抽象的概念變得更具體、更容易理解和記憶。

    後續可應用 ChatGPT 發展口試模式,可從同理技巧開始!!
    詢問學員:
    1. 特定詞彙之解釋或概念(what)
    2. 其適用情境/對象(when/where/why/whom)
    3. 如何執行/應用(how)

    學員也可以請 ChatGPT 答覆(任何階段)或評論!!
     

    2025年3月2日 星期日

    發展AI (ChatGPT) 教學/討論模式

    適用對象:師生討論或研究室會議

    目的:提供腦力激盪與會議紀錄

    使用時機:寫作/改寫/議題討論

    緣由:ChatGPT可提供寫作與構想諸多建議,討論中有老師可提供判斷力支援,可提升討論與使用 ChatGPT效能。

    ----------------------------------------------------------------------------------------------------------

    Claude AI:

    優勢:

    • 協作增強:LLM可以作為會議的"第三方參與者",提供新視角和即時資訊。
    • 效率提升:自動生成會議紀錄能節省大量時間,同時保留討論精華。
    • 思維拓展:AI可以提出人類可能忽略的角度,促進更全面的討論。
    • 教學輔助:教師可以引導學生如何有效提問和評估AI回應,培養批判性思維。

    可能改進的方向:

    • 明確角色定位:您可以更清楚定義AI在討論中的角色—是協作者、記錄者還是資源提供者?
    • 結構化流程:建立一個框架,說明如何在會議前、中、後有效利用AI。
    • 評估機制:設計方法來衡量AI參與對討論質量的影響。
    • 訓練指南:為師生提供使用AI輔助討論的基本培訓。

    實施建議:

    您可以考慮設計一個簡單的原型流程:

    • 會議前:使用AI生成討論提綱或相關文獻摘要
    • 會議中:記錄關鍵點並在需要時提供資訊支援
    • 會議後:整理討論內容,生成摘要和行動項目

    這樣的模式不僅可以提高討論效率,還能培養學生與AI工具協作的能力,這在未來職場中將越來越重要。

    ----------------------------------------------------------------------------------

    以論文寫作和改寫為例,大型語言模型可以在研究室討論和師生合作中扮演關鍵角色。以下是一個結構化的應用模式:

    準備階段

    文獻綜述輔助:

    • 學生提供研究問題和關鍵詞
    • AI生成相關文獻摘要和研究趨勢分析
    • 師生討論時,AI可提供補充資訊,擴充背景知識

    研究架構建立:

    • AI根據討論內容生成可能的論文架構選項
    • 師生討論各架構的優缺點
    • 教師提供經驗指導,選擇或修改最適合的架構

    草稿撰寫階段

    內容生成與改進:

    • 學生撰寫初稿或使用AI協助生成段落
    • 在研究會議中,師生與AI一起分析內容完整性
    • AI指出邏輯漏洞或建議其他研究視角

    學術寫作優化:

    • AI針對專業術語一致性、句法結構提出建議
    • 教師評估這些建議的學術適當性
    • 集體討論如何平衡學術嚴謹性與表達清晰度

    修訂完善階段

    同儕評審模擬:

    • AI模擬審稿人視角,提出可能的質疑
    • 師生討論如何回應這些質疑
    • 集體思考論文的強化方向

    實際應用場景

    想像一個研究生正在撰寫關於人工智能在教育中應用的論文。在週會中:

    研究生提出自己的初稿和遇到的困難:「我不確定如何有力論證AI教學工具與學習成效的關聯」

    教授和AI同時參與討論:

    • 教授提供研究方法論指導
    • AI提供最新相關研究的摘要和可能的論證路徑
    • 集體討論選出最合適的論證方向

    即時改寫與評估:

    • AI根據討論生成改寫建議(例如重組論證結構或增加特定支持證據)
    • 師生立即評估這些建議,選擇採納或修改
    • 形成下一步研究與寫作計劃

    教育價值

    這種模式不僅提高了論文寫作效率,更重要的是:

    • 學生通過觀察教師如何評估AI建議,學習批判性思維
    • 培養學生與AI工具協作的能力,為未來研究工作做準備
    • 保留傳統師徒制的精華,同時融入現代技術支持

    這種結合人類專業判斷與AI輔助的模式,可以顯著提升學術寫作的質量和效率,同時作為培養下一代研究者的重要教學工具。


    2024年12月6日 星期五

    如何確認一位學者的主要專長? 甚至國際排名

    1.從研究結果探究,查詢最近10~15年著作,主要核心成果/專長(方法學)為何?

    2.從研究計畫探究,查科技部計畫,最近10~15年,主要核心專長/主題為何?

    以我而言,皆以「應用心理計量學」為主,各應用領域/研究對象,只是表象(這只需閱讀與測試,短時間即可熟悉)。

    主要專長,需要超過10年以上的功力,才純熟。至少有3個多年期計畫,發表過10篇論文以上。

    這主要專長,應是年輕學者所需考量/長期投入者(意即一位學者終生應只有1~3個主專長-否則沒有10年功力//10篇論文,不算主專長)!!

    另一種新方式為:至 

     
    查詢,如可在 psychometrics 查到我在世界上的排名(也可查到在國內的排名)。
    還可查到城市/大學層級之學者排名

    這是「出國念博班」或是「擔任博後」的重要參考資訊!


    最近還有 ScholarGPS® ,主要功能包括:

    1. 龐大數據庫:收錄3000萬學者、5.5萬機構的資料,包含2億份學術著作和30億次引用。

    2. 分類系統:將研究分為14個領域、177個學科,以及35萬個專業領域。

    3. 主要用途:
    - 尋找專家學者
    - 評估學術表現
    - 機構對標分析
    - 人才招聘參考

    適合學術界、企業、政府部門等各類組織使用,可根據需求進行客製化分析(如分析全球OT研究人員之專長與排名)。

    還有:「研究計畫」可說是研究人員主動/精心規畫之研究構想!

    若能查詢得到研究人員多年的研究計畫主題與走向,即可確認該員的長期研究主題、走向、甚至成果。

    政府研究資訊系統 GRB」可查詢研究人員所主持或共同主持之研究計畫,所以一位超過10年的研究人員,其長期研究主題、走向、甚至成果皆可被快速掌握!

    該系統還提供 word cloud 以呈現研究主題,還有共同主持人(含合作強度/計畫篇數),訊息豐富!!

    熟悉以上概念與檢索方式,30分鐘以內應可查清一位研究人員多年的學術成果/專長/國際排名,非常犀利

    *更新/彙整既有貼文(最早是2021年貼文)!


    2024年7月20日 星期六

    超擬真虛擬病人(Virtual Patients, VP)之特質

    以對話為主,VP 需具備以下特徵與內容:

    1. 對話特徵或特色:

       a. 語言表達方式:

       - 詞彙選擇(包括方言、俚語、專業術語)

       - 語音特徵(口吃、重複、語速)

       - 句子結構和複雜度

       - 個人化口頭禪

       b. 半語言表現:

       - 語氣和音調變化

       - 停頓和沉默的使用

       - 表達中的猶豫或堅定

       c. 互動行為:

       - 反應速度

       - 對話參與度(主動性、被動性)

       - 提問和回應方式

       - 話題轉換能力

       d. 認知表現:

       - 理解能力

       - 記憶特徵(短期記憶、敘事邏輯)

       - 注意力集中程度

       e. 情感表達:

       - 情緒變化的語言體現

       - 態度的表達方式

    2. 對話內容:

       a. 個人信息:

       - 日常生活描述

       - 工作和職業相關内容

       - 家庭和人際關係

       b. 健康相關:

       - 症狀描述

       - 病史陳述

       - 治療經歷分享

       - 對健康和疾病的看法

       c. 知識與觀點:

       - 特定領域知識的表達

       - 對社會議題的看法

       - 個人信念和價值觀

       d. 文化和背景:

       - 文化習俗和信仰的提及

       - 教育和社會背景的體現

       e. 興趣和偏好:

       - 個人愛好的表達

       - 對特定話題的興趣或厭惡




    2023年11月17日 星期五

    體適能研究--我的新主題!?

    就研究生涯而言,我此時不該還有新議題!!

    但考量機遇的出現(心理個案的大量體適能評估與訓練需求,且已有眾多臨床夥伴與個案),現只差有無博班生想投入!!

    體適能相關研究,因為適用對象與議題眾多,絕對是一片藍海,也相當競爭!!

    我們可投入的明確議題,還是可由評估切入!!

    體適能(含老人身心社會功能)評估-目前皆以快速/簡便的工具為主-故似有我們團隊可突破/貢獻的空間。

    如以「平衡能力」言,現有慢性心理個案的平衡評估工具相當有限,我們可投入的主題如下:

    1. 比較現有平衡評估工具之心理計量特性

    2. 發展適用於慢性心理個案的平衡能力 CAT 評估工具

    3. 發展適用於慢性心理個案的平衡能力 AI 評估工具

    初期【於院內計畫】可全面性比較體適能評估工具應用於慢性精神病患之心理計量特性,因目前於此族群之相關工具之心理計量比較論文仍少。也可藉此讓我們孰悉這些工具的優缺點。

        以上應有撰寫數個國科會計畫,多個院內計畫的機會/題材。

    長期的目標為發展快速/精準的體適能評估工具,以作為臨床介入計畫之規畫依據(以達成個別化治療之目標),以及成效指標。

    Note: 目前的工具難以同時達成快速且精準。




    2023年7月19日 星期三

    給予合作者 研究計畫&稿件 修改建議 之方式與意見層級

    方式:以「追蹤修訂」與「註解」給予修改意見

    • 追蹤修訂通常是直接修改文字:適用於語法、拼寫或格式錯誤。例如,修改語詞、調整句子結構,更正錯誤或調整參考文獻的格式。
    • 註解通常是在特定部分添加注釋以提出問題或建議。例如,對於某段不清晰的語句或不完整的論點提出問題,或者對可能需要更多支持證據的觀點提出建議。

    建議層級與相對應之研究者:

    • 初級建議:給予文字修改建議,含錯字、漏字修改、語句是否通順等。另可標示難讀/難懂之處,請撰寫者修改。研究助理與碩班生應可做到初級建議。
    • 進階建議:指出內容與架構有問題/錯誤/不足之處,提醒撰寫者是否需要改寫。例如,他們可能指出研究方法的不足或論點的矛盾之處,並提醒作者應該對這些問題進行修訂。另宜包含初級建議。博班生與博後應可做到。
    • 高階建議:指出有問題/錯誤/不足之處,尤其是主要內容不足與結構問題,並提出修改方向/建議。例如,他們可能會建議作者增加某議題之論述、刪減一些不重要的內容或重新組織論文的結構以凸顯重點與提高讀者的理解度。高階建議另可包含初級與進階建議。助理教授應可做到。

    表:建議層級、內容與相對應之研究者

    建議層級對應的研究者建議內容與方向
    初級建議研究助理、碩士學生主要針對文字修改,包括錯字、漏字的修正,以及語句是否通順等。 可直接修改之。 標註難讀或難懂的部分,請作者修改。 修正參考文獻格式。
    進階建議博士學生、博士後研究員在包含初級建議的基礎上,進一步指出內容和架構的問題、錯誤或不足,並提醒作者考慮是否需要修改或改寫。 可指出研究方法的不足或論點的矛盾之處。 可評論文獻回顧的完整性和適當性,並對結果呈現方式提供修改建議。
    高階建議助理教授、資深博士後研究員在包含初級和進階建議的基礎上,提出對主要內容不足與結構問題,並可提出修改方向。如下列: 1. 建議作者增加某個議題的論述、刪減一些不重要的內容,或者重新組織論文的結構以強調重點和提高讀者的理解度。 2. 對研究設計與方法提出更深入的評論與建議【適用於研究計畫】 3. 對討論議題與結論提出改進方向。

    2023年4月5日 星期三

    針對特定臨床議題發表一系列論文,對於一位學者之意義為何?

    我問 ChatGPT三個問題:

    1. 針對特定臨床議題發表一系列論文,對於一位學者之意義為何?
    2. 針對特定臨床議題之論文發表,僅發表一篇論文與一系列論文之主要學術差異為何? 請分別就【一位學者】以及【該臨床議題】之意義說明之
    3. 就一系列論文(至少5篇論文)而言,一位作者若皆為這一系列論文的作者,那其作者序是否影響其貢獻? 相對於僅在這一系列論文中僅有1篇是第一作者的研究者而言,哪 一位貢獻較大?

    1. 對於一位學者而言,針對特定臨床議題發表一系列論文具有以下幾個方面的意義:

    • 專業成就:透過針對特定議題的研究與論文發表,學者可以展現其在該領域的專業知識和技能。這不僅有助於建立學者的專業聲譽,也有利於在學術圈中建立自己的地位。
    • 學術貢獻:透過對特定臨床議題的研究,學者可以為該領域提供新的見解和方法,推動學術界的發展。此外,這些研究成果可能對相關領域的政策制定、診療方法等方面產生深遠影響。
    • 跨學科合作:針對特定臨床議題的研究往往需要跨學科的知識和技能。通過與不同領域的學者和專家合作,學者可以拓寬自己的視野,並獲得不同學術領域的最新資訊。
    • 職業發展:發表論文是學術界衡量學者研究能力的重要標準之一。對於希望建立學術生涯的學者來說,大量高質量的論文發表將有助於在求職、升職或申請研究經費等方面取得競爭優勢。
    • 個人成長:從事特定臨床議題的研究,可以促使學者不斷學習和思考,提高自己的批判性思維、問題解決和溝通能力。這對學者的個人成長和職業發展都具有積極意義。

    總之,針對特定臨床議題發表一系列論文對學者具有重要的意義,包括專業成就、學術貢獻、跨學科合作、職業發展和個人成長等方面。透過這些研究,學者不僅可以為學術界和社會帶來實質

    2-1. 對於一位學者而言,僅發表一篇針對特定臨床議題的論文與發表一系列論文在學術上有以下幾點主要差異:

    • 深度與廣度:僅發表一篇論文通常只能涵蓋該臨床議題的某一特定方面,無法全面地探討議題的各個層面。相反,發表一系列論文可以更全面、深入地研究該議題,對該議題有更深入的理解。
    • 影響力:單篇論文對學術界的影響力相對較小,學術成果可能受到較少的關注。然而,一系列論文的發表往往意味著該學者在該領域的研究有一定的延續性和持續性,這將有助於提高學者的影響力和認可度。
    • 學術貢獻:僅發表一篇論文雖然可以為該領域帶來一定程度的貢獻,但一系列論文的發表往往對該領域的學術發展有更大的推動作用。此外,一系列論文更容易形成一個完整的研究體系,對後續研究者提供更多的參考價值。
    • 跨學科合作:單篇論文的發表可能僅涉及到某一特定學科的知識和技能,而一系列論文則往往需要跨學科的合作。這將有助於學者拓寬自己的學術視野,並與其他領域的學者建立合作關係。
    • 職業發展:對於學者的職業發展而言,一系列論文的發表無疑對其學術成就和聲譽更有利。一系列高質量的論文將有助於學者在求職、升職或申請研究經費等方面取得競爭優勢。

    2-2. 對於特定臨床議題而言,僅【發表一篇論文】與【發表一系列論文】在學術上的差異體現在以下幾點:

    • 議題探討的全面性:單篇論文往往僅能闡述該臨床議題的某一方面或某一特定問題,可能無法對整個議題進行全面的探討。相對而言,一系列論文可以對該議題的各個層面進行深入研究,對問題提供更完整的解答。
    • 研究進展的持續性:單篇論文可能無法完全反映該臨床議題的研究進展,而一系列論文則可以更好地追蹤和呈現該領域的研究動態。這有助於推動該領域的學術發展,並對後續研究提供更多的啟示。
    • 方法論的完善與優化:單篇論文往往僅對某一研究方法或技術進行探討,而一系列論文可以對多種方法和技術進行比較與分析,有助於該領域方法論的完善和優化。
    • 實證基礎的積累:單篇論文的實證基礎相對有限,可能無法充分支持該議題的研究結論。然而,一系列論文可以累積更多的實證數據,提高研究結果的可靠性和普遍性。

    總之,針對特定臨床議題,僅發表一篇論文與發表一系列論文在學術上存在顯著差異。一系列論文的發表不僅可以對議題進行更全面、深入的探討,還可以推動該領域的研究進展、方法論完善和實證基礎積累。對學者而言,發表一系列論文將有助於提高其在學術界的影響力和聲譽。

    3. 就一系列論文(至少5篇論文)而言,一位作者若皆為這一系列論文的作者,那其作者序是否影響其貢獻? 相對於僅在這一系列論文中僅有1篇是第一作者的研究者而言,哪 一位貢獻較大?

    • 在學術界,作者序對於評估一位學者在論文中的貢獻確實具有一定的意義。通常情況下,第一作者被認為是該研究的主要貢獻者,主導了研究的設計、實驗和結果分析等方面的工作。而通訊作者(或最後一位作者)通常是指導和監督整個研究的資深學者。其他位於中間的作者按照其在研究中的貢獻程度排序。
    • 對於一系列論文(至少5篇論文)而言,如果一位作者在所有論文中都是作者之一,即使他/她並非所有論文的第一作者,他/她在這一系列研究中仍然具有顯著的貢獻。相對而言,僅在這一系列論文中擔任一篇論文的第一作者的研究者雖然在該篇論文中貢獻較大,但相對於連續參與整個研究系列的作者,其在整個研究議題上的貢獻可能較小。
    • 然而,實際情況可能因領域、團隊和研究內容而有所不同。在某些情況下,僅擔任一篇論文第一作者的研究者可能在某一特定問題上取得了突破性的成果,對整個研究議題產生了重要影響。因此,判斷學者在一系列論文中的貢獻大小不能僅依賴於作者序,還需綜合考慮其在研究過程中的具體貢獻和影響。

    總之,作者序對於評估學者在論文中的貢獻具有一定的參考價值,但實際貢獻的評估應更全面地考慮學者在研究過程中的實際工作和成果

    以上【跟我既有的看法】幾乎一致,節省我很多撰寫/修改的時間, I love ChatGPT very much!!

    因應讀者的建議,再問 ChatGPT:

    「A於多篇系列論文擔任作者,但其中幾篇為第一作者」 相對於 「B於多篇系列論文擔任作者,但非第一作者」,哪 一位貢獻較大?

    • 一般來說,擔任第一作者意味著該作者在研究過程中負責主要的工作,如實驗設計、數據分析、撰寫論文等。因此,在這個情況下,A在多篇系列論文中擔任第一作者可能代表他/她在這些論文中的貢獻較大。然而,這並不意味著B在整個研究中的貢獻一定較小。
    • 實際上,貢獻大小的評估需要考慮的因素遠不止於作者的排序。研究過程中的具體工作分配、負責的研究部分、解決的難題以及對後續研究的影響等都應該被納入考慮範疇。此外,不同學科和研究團隊的作者排序規則可能有所不同,因此不能僅憑作者排序來判斷貢獻大小。

    總之,若要比較A和B在一系列論文中的貢獻,不能僅根據作者序來判斷。實際貢獻的評估需要綜合考慮學者在研究過程中的具體工作、所負責的研究部分以及對整個研究議題的影響等因素。



    2023年3月30日 星期四

    還是 ChatGPT... for formative measurement model and reflective measurement model 以及 有獎徵答

     請製表比較 formative measurement model reflective measurement model 之差異

     在此表格中,我將比較形成性測量模型(formative measurement model)與反映性測量模型(reflective measurement model)之間的差異。這兩種模型是指在統計分析中,構念與其指標(觀察變數)之間的關係類型。

    形成性測量模型反映性測量模型
    定義形成性測量模型中,指標是構念的原因。反映性測量模型中,指標是構念的結果。
    方向性指標對構念的影響構念對指標的影響
    測量誤差形成性指標間的測量誤差不會互相影響。反映性指標間的測量誤差可能會互相影響。
    指標互換性指標互換性較低,每個指標對構念的貢獻都很重要。指標互換性較高,單一指標的缺失不會對構念造成太大影響。
    指標間相關性指標間可能存在低或無相關性。指標間通常具有高度相關性。
    指標增減增加或刪除指標可能改變構念的含義。增加或刪除指標不會改變構念的含義。
    驗證方法使用外部標準進行驗證。使用內部一致性(如克朗巴赫α)進行驗證。
    這些差異使得形成性測量模型與反映性測量模型在實證研究和統計建模中具有不同的應用場景。

     

    請補充二種模型更多的驗證方法

     在此補充形成性測量模型和反映性測量模型的更多驗證方法:

    形成性測量模型的驗證方法:

    1. 結構方程模型(Structural Equation Modeling, SEM):透過估計潛在變數和觀察變數之間的路徑關係,以確定形成性指標對構念的貢獻。
    2. 顯著性測試(Significance Testing):檢驗形成性指標與構念之間的關係是否顯著,以確保指標對構念的解釋力。
    3. 冗餘分析(Redundancy Analysis):檢查指標之間是否存在多重共線性,以確保指標的獨立性。

    反映性測量模型的驗證方法:

    1. 確認性因子分析(Confirmatory Factor Analysis, CFA):評估潛在變數和觀察變數之間的關係,以檢驗反映性指標是否確實反映構念。
    2. 重分析(Reanalysis):對同一數據進行多次分析,以確保反映性指標對構念的穩定性。
    3. 效度分析(Validity Analysis):評估反映性指標的內容效度(Content Validity)、建構效度(Construct Validity)和收斂效度(Convergent Validity),以確保指標的適切性和信度。

    透過這些驗證方法,研究者可以確保形成性和反映性測量模型的可靠性和效度,從而更好地解釋和預測構念之間的關係。

    please make a table to show the differences between formative measurement model and reflective measurement model

    In this table, I will compare the differences between the formative measurement model and reflective measurement model. These two models refer to the types of relationships between constructs and their indicators (observed variables) in statistical analyses.

    AspectFormative Measurement ModelReflective Measurement Model
    DefinitionIndicators cause the construct.Indicators are the result of the construct.
    DirectionalityIndicators influence the construct.Construct influences the indicators.
    Measurement ErrorMeasurement errors among indicators do not affect each other.Measurement errors among indicators may affect each other.
    Indicator InterchangeabilityIndicators are less interchangeable, each contributes uniquely to the construct.Indicators are more interchangeable, the absence of a single indicator has minimal impact on the construct.
    Indicator CorrelationsIndicators may have low or no correlations.Indicators typically have high correlations.
    Adding/Removing IndicatorsAdding or removing indicators may change the meaning of the construct.Adding or removing indicators does not change the meaning of the construct.
    Validation MethodsValidated using external standards.Validated using internal consistency (e.g., Cronbach's Alpha).

    These differences make formative and reflective measurement models suitable for different applications in empirical research and statistical modeling.

    please provide commonly used methods to examine the psychometric properties for the formative measurement model and reflective measurement model, respectively

     Here, I provide commonly used methods to examine the psychometric properties for the formative measurement model and reflective measurement model, respectively:

    Formative Measurement Model:

    1. Structural Equation Modeling (SEM): Estimating the path relationships between latent variables and observed variables to determine the contribution of formative indicators to the construct.
    2. Significance Testing: Examining whether the relationship between formative indicators and the construct is significant to ensure the explanatory power of the indicators.
    3. Variance Inflation Factor (VIF): Checking for multicollinearity among indicators to ensure their independence.

    Reflective Measurement Model:

    1. Confirmatory Factor Analysis (CFA): Assessing the relationships between latent variables and observed variables to examine whether reflective indicators indeed reflect the construct.
    2. Reliability Analysis: Examining the internal consistency of the reflective indicators, often using Cronbach's Alpha, composite reliability, or McDonald's Omega.
    3. Validity Analysis: Assessing the content validity, construct validity, convergent validity, and discriminant validity of reflective indicators to ensure their appropriateness and credibility.

    By applying these methods, researchers can ensure the reliability and validity of formative and reflective measurement models, leading to a better understanding and prediction of relationships between constructs.

     any other methods

    Certainly, here are some additional methods to examine the psychometric properties for the formative and reflective measurement models:

    Formative Measurement Model:

    1. Partial Least Squares (PLS) Path Modeling: An alternative to SEM, PLS path modeling is used to estimate the relationships between latent variables and observed variables, specifically in situations where the data is non-normal or the sample size is small.
    2. Expert Judgment: Evaluating the face validity of formative indicators by consulting domain experts to ensure that they adequately represent the construct.
    3. Predictive Validity: Assessing the ability of the formative indicators to predict outcomes related to the construct, which may involve correlating the formative measures with criterion variables or future performance.

    Reflective Measurement Model:

    1. Exploratory Factor Analysis (EFA): Identifying the underlying latent structure of the data by examining the interrelationships among the reflective indicators.
    2. Test-Retest Reliability: Assessing the stability of the reflective indicators by administering the same measure to the same participants at different time points and calculating the correlation between the scores.
    3. Cross-Validation: Dividing the data into separate samples and examining the factor structure or relationships between reflective indicators and their respective constructs across these samples to ensure the generalizability and replicability of the findings.

    These additional methods can further support researchers in evaluating the psychometric properties of formative and reflective measurement models, contributing to a more rigorous understanding of the relationships between constructs.

    請於下周五中午之前,提出評論(無需評論中文翻譯是否合適),並針對【效度驗證】提出修改建議或補充。請以 Skype 提出【各自傳給我】。老師給獎勵!!

    ChatGPT的回應給我重要啟發,給我們溝通技巧評估工具蠻多種【效度驗證】之建議!!