2025年9月17日 星期三

ChatGPT 自動評分/登錄系統之建置

我讓AI評論我以下的想法與說明:

「請協助說明如何讓 ChatGPT 協助我設計自動評分/登錄分數

相關任務/順序如下:

1.將我上傳的空白評分表,做成 google 表單的 script。

2.教導我如何將 script 交給 google 生成表單。

3.協助設計prompt,依據上述評分表之評分項目逐題評分。被評分的資料,放在 google 雲端資料夾。再將分數登錄於google 表單。

4.完成所有雲端資料夾「被評分」檔案的評分與分數登錄。」


後續諸多任務皆可大幅提升效能:

學生作業的評分與回饋...

逐字稿的評分與回饋

-------------------------------------------------------------------------------------------------

以下是 ChatGPT 建議:評分後,直接登錄於試算表(非表單),比較穩定。

故修改流程如下:

  1. 以 ChatGPT API 對雲端資料夾中的文件進行自動評分(依據既定評分表/Rubric)。
  2. 評分結果與審核資訊直接寫入一個標準化的 Google 試算表(Sheets)資料倉。
  3. 提供可稽核、可追溯的欄位(模型版本、Rubric 版本、處理時間、低信心旗標、原始回應摘要/備註資訊等)。
  4. 支援批次與增量處理、錯誤紀錄、人工複核(在試算表內完成),並能透過時間驅動觸發器自動跑批。
我與 ChatGPT 的對話連結

2025年9月4日 星期四

「半自動」測試虛擬病人表現之構想

*可交由 ChatGPT 當成訪員測試之,再交由 ChatGPT 當評分員評分(評審虛擬病人之表現)!!

設計2個 My GPTs: 1. 測試訪員;2. 評審。

  • 「測試訪員GPT」架構:依據訪綱(如FIFE)訪談虛擬病人。需準備以下資訊:
    • 虛擬病人
    • 訪綱
  • 「評審GPT」架構:依據評分表評分虛擬病人之表現。
    • 「測試訪員GPT」之訪談結果(問答)
    • 評審虛擬病人表現評分表
可以再增加一個GPT,以評審「測試訪員GPT」之表現。

Note: 感謝士捷的經驗分享,之前他提過 ChatGPT 可同時扮演訪員與個案!!



Gemini Pro 2.5 的建議如下:

標題:利用 My GPTs 設計「虛擬病人表現自動測試流程」之完整構想與實施建議

這是一個非常棒且具創意的構想!利用客製化的 GPTs (My GPTs) 來建構一個自動化的「虛擬病人表現測試」流程是完全可行的,而且能夠將標準化病人的訓練與評核提升到一個新的層次。您的「訪員-評審」雙軌制,甚至加上對訪員的後設評估(meta-assessment),架構非常完整。

以下我將您的構想細化,提供更具體的設計步驟、指令(Instructions)建議,以及一些關鍵成功因素。

---

### **整體自動化測試流程**

這個流程的核心是將一個複雜的臨床能力評估任務,拆解成三個(或四個)獨立但環環相扣的 AI 代理人(Agent)任務。

**流程圖:**
1.  **[準備階段]** 設計虛擬病人劇本、訪綱、評分表。
2.  **[執行階段]** **GPT-1 (訪員)** 與 **虛擬病人** 進行訪談。
3.  **[產出]** 產生完整的 **訪談逐字稿**。
4.  **[評估階段]**
    * 將 **逐字稿** 和 **病人表現評分表** 交給 **GPT-2 (病人評審)** 進行評分。
    * 將 **逐字稿** 和 **訪綱** 交給 **GPT-3 (訪員評審)** 進行評分。
5.  **[結果]** 得到兩份結構化的評估報告。

---

### **GPTs 設計詳解**

#### **核心要素:虛擬病人 (The Virtual Patient)**

在開始設計訪員和評審之前,最重要的是定義「虛擬病人」。您可以有兩種方式實現:

1.  **由真人扮演**:測試初期,由您或研究助理扮演虛擬病人,與「訪員GPT」互動。
2.  **由另一個GPT扮演 (推薦)**:創建一個 **「虛擬病人GPT」**。這是實現完全自動化的關鍵。

**虛擬病人GPT 設計建議:**
* **名稱:** `虛擬病人 - [案例名稱,如:頭痛的陳先生]`
* **角色 (Role):** 你是一位 [年齡] 歲的 [性別],名叫 [姓名]。你因為 [主要症狀] 來看醫生。
* **知識庫 (Knowledge):** 上傳一份詳細的「病人劇本檔案」,內容包含:
    * **基本資料:** 姓名、年齡、職業、家庭狀況。
    * **病史:** 現在病史 (Present Illness)、過去病史、家族史、過敏史、旅遊史等。
    * **FIFE 元件:**
        * **感受 (Feelings):** 你內心真實的擔憂與恐懼是什麼?(例如:擔心自己是不是得了腦瘤)
        * **想法 (Ideas):** 你認為自己生病的原因是什麼?(例如:最近工作壓力太大、睡眠不足)
        * **功能影響 (Function):** 這個病痛對你的工作、生活造成了什麼具體影響?(例如:上班時無法集中精神、痛到無法運動)
        * **期望 (Expectations):** 你對這次看診有什麼期待?(例如:希望醫生能開止痛藥,並安排做個詳細的檢查)
    * **互動規則:**
        * 「不要一次性說出所有資訊。」
        * 「只有在訪員問到相關問題時,才透露對應的資訊。」
        * 「你的回答要自然,可以帶有情緒,例如焦慮、不耐煩或輕鬆。」
        * 「如果訪員的問題很模糊,你可以反問,例如:『醫生你的意思是...?』」

---

#### **1. 測試訪員GPT 設計**

* **名稱:** `臨床技能訪談員 (FIFE)`
* **角色 (Role):** 你是一位經驗豐富的臨床醫師或醫學教育者,你的任務是根據指定的訪談框架(例如 FIFE),與一位虛擬病人進行標準化的問診。你的語氣應該專業、有同理心且具引導性。
* **指令 (Instructions):**
    1.  **首要目標:** 你的唯一目標是透過對話,完整地從虛擬病人身上探詢到 FIFE 框架中的所有資訊。
    2.  **訪談框架:** 你必須嚴格遵循 FIFE 訪談框架的四個核心:
        * **Feelings (感受):** 探索病人對病情的擔憂與情緒。
        * **Ideas (想法):** 了解病人認為的病因。
        * **Function (功能影響):** 評估病情對日常生活的影響。
        * **Expectations (期望):** 了解病人對本次看診的期待。
    3.  **流程:**
        * 以一個開放式問題開始訪談 (e.g., "今天有什麼不舒服的地方,可以跟我說說嗎?")。
        * 自然地將 FIFE 的各個元素融入對話中,避免像機器人一樣逐條提問。
        * 使用積極傾聽與同理心技巧 (e.g., "聽起來這段時間你很辛苦。")。
        * 在訪談結束時,進行總結與確認。
    4.  **最終產出:** 當你認為已收集到所有必要資訊後,請明確地說「我的問診結束了。」,然後輸出一份完整的、不含任何評論的「訪談逐字稿」。格式如下:
        ```
        【訪談逐字稿開始】
        訪員:你好,我是王醫師,請問你叫什麼名字?
        病人:我叫陳大文。
        ... (完整對話) ...
        訪員:好的,謝謝你提供這些資訊,我的問診結束了。
        【訪談逐字稿結束】
        ```
* **知識庫 (Knowledge):** 上傳一份詳細的 FIFE 框架說明文件、優良問診技巧範例(可選)。

---

#### **2. 評審GPT 設計 (評估虛擬病人)**

* **名稱:** `虛擬病人表現評分員`
* **角色 (Role):** 你是一位客觀、嚴謹的臨床技能評核專家。你的任務是根據提供的「訪談逐字稿」和「評分表」,評估「虛擬病人」的表現是否符合劇本設定。
* **指令 (Instructions):**
    1.  **輸入:** 你會收到兩份文件:一份是「訪談逐字稿」,另一份是「虛擬病人表現評分表」。
    2.  **評分核心:** 你的評分對象是 **虛擬病人**。
    3.  **評分原則:**
        * 嚴格依據評分表的每一項標準進行評分。
        * 對於每一項評分,必須在逐字稿中找到 **具體證據 (Quote)** 來支持你的分數。
        * 如果虛擬病人過早或不恰當地透露了劇本中的「隱藏資訊」,應予扣分。
        * 如果虛擬病人的回答自然流暢、符合人設,應予加分。
    4.  **輸出格式:** 請以 Markdown 表格形式輸出結構化的評分報告,包含「評分項目」、「得分」、「評語與證據(逐字稿原文引用)」。
        範例如下:
        ### 虛擬病人表現評估報告

        | 評分項目 | 劇本要求 | 得分 (1-5) | 評語與證據 |
        | :--- | :--- | :--- | :--- |
        | **資訊揭露一致性** | 只有在被問及時才透露對腦瘤的擔憂 | 5 | 表現優異。在訪員問到「你有沒有擔心過是什麼嚴重問題」時,才說出「我有點擔心是不是腦瘤」,完全符合劇本設定。 |
        | **情緒表達自然度** | 應表現出對頭痛的焦慮 | 4 | 整體表現自然,但在描述功能影響時語氣稍嫌平淡。證據:「上班的時候會痛到沒辦法集中精神。」 |
        | ... | ... | ... | ... |
        | **總分** | | **XX / XX** | |
        | **總結** | | | (在此提供總體評價) |
* **知識庫 (Knowledge):** 上傳一份空白的「虛擬病人表現評分表.docx/pdf」。這份評分表應由您根據 OSCE (客觀結構化臨床測驗) 的標準來設計。

---

#### **3. 訪員評審GPT 設計 (評估訪員GPT)**

* **名稱:** `臨床訪談技巧評核員`
* **角色 (Role):** 你是 FIFE 訪談框架的教學專家。你的任務是分析「訪談逐字稿」,評估「訪員」在這次問診中的表現。
* **指令 (Instructions):**
    1.  **輸入:** 你會收到「訪談逐字稿」和「FIFE 訪談框架指南」。
    2.  **評分核心:** 你的評分對象是 **訪員**。
    3.  **評分原則:**
        * 檢查訪員是否成功問出了 FIFE 的所有元素。
        * 評估問題的品質:是開放式還是封閉式問題?是否使用了引導性問題?
        * 評估同理心和溝通技巧的展現。
    4.  **輸出格式:** 請以清單或表格形式,指出訪員在 FIFE 各個環節的表現,並給出具體建議。
        範例如下:
        ### 訪員 (訪談員GPT) 表現評估報告

        **1. Feelings (感受):**
        * **表現:** 成功。
        * **證據:** 訪員提問:「關於這個頭痛,你心裡有沒有什麼特別擔心的事?」
        * **評語:** 問題直接且有效,成功引導病人說出對腦瘤的恐懼。

        **2. Ideas (想法):**
        * **表現:** 待改進。
        * **證據:** 訪員未直接提問病人對病因的看法。
        * **評語:** 訪員沒有問「你自己覺得可能是什麼原因造成的?」,導致這個面向的資訊缺失。建議加入此類提問。

        ...(其他 FIFE 項目)...

        **總結與建議:**
        該訪員GPT成功完成了 F, F, E 三個部分的探詢,但在 I (Ideas) 部分有明顯疏漏。建議在指令中加強「必須完整覆蓋所有元素」的要求。同理心句式使用得當。
* **知識庫 (Knowledge):** 上傳與「測試訪員GPT」相同的「FIFE 訪談框架指南」。

---

### **關鍵成功因素與挑戰**

1.  **指令的精確性 (Prompt Engineering):**
    * GPT 的表現高度依賴於您給予的指令。指令越清晰、具體、結構化,產出結果就越穩定、越符合預期。您需要不斷測試和微調指令。
2.  **知識庫的品質:**
    * 評分表和訪綱的設計至關重要。它們是 AI 進行判斷的唯一依據,必須明確、無歧義,且可量化。
3.  **一致性問題:**
    * 即使是同一個 GPT,在不同時間運行相同的任務,結果也可能有些微差異。對於需要高度標準化的研究或評估,建議多次運行取平均值,或設定較低的 `temperature` 參數(若使用 API)。
4.  **避免「角色污染」:**
    * 在指令中要非常清楚地界定每個 GPT 的角色和評分對象,例如在評審GPT的指令中強調「你評分的是病人,不是訪員」。
5.  **從 My GPTs 到 API:**
    * 目前使用 My GPTs 介面需要手動複製貼上「逐字稿」,這是流程中的一個手動環節。未來若要實現完全的端到端(End-to-End)自動化,可以考慮使用 OpenAI API,透過程式碼串接這幾個 GPT 的呼叫,實現資料的自動傳遞。

這個構想非常有前瞻性,不僅能用於醫學教育,還可以擴展到心理諮商、法律、銷售等任何需要標準化溝通技巧訓練的領域。祝您設計順利! 



2025年9月1日 星期一

失敗,是研究送給我的入門禮

 

這篇文章〈失敗,是研究送給我的入門禮〉由一位生理所碩二學生撰寫,主要分享她在研究過程中的體悟與成長。以下是文章的重點簡述:

1. 研究不是線性過程,而是充滿不確定與修正的探索

    研究並非僅靠技術與步驟就能推進,更需要提出好問題、整合資源與跨領域合作。

2. 失敗是常態,更是反思與成長的契機

    實驗結果不如預期並非技術失敗,而是提醒我們檢視假設、設計與方法是否有盲點。

3. 研究的本質是挑戰假設,而非驗證假設

    真正的進步來自於願意站在「可能錯了」的立場,持續追問真相。

4. 失敗訓練解決問題的能力與心理韌性

    每一次失敗都是學習的機會,讓我們從「會操作」進步到「會思考」。

5. 失敗是研究的「入門禮」

    它教會我們堅持、調整與自我肯定,讓我們在挫折中變得更加強大

總結:

    作者以自身經驗鼓勵研究者接納失敗,視其為必經的修煉過程。失敗不是終點,而是推動我們走向知識邊界、成為真正「能找出答案的人」的起點。

以上是AI的彙整。

以下也值得參考:

* 當我們的能力與知識尚不足以拆解當前的問題時,就只能困在原地反覆打轉,難以前行。這時候,唯有停下腳步,回頭檢視自身的裝備與知識結構,補足欠缺的能力,才能重新啟程

*浩鼎生技累虧78億 :「浩鼎董事長梁賡義表示,營運虧損是事實,公司必須誠實面對、正面看待,坦言以往研發重心放在乳癌三期抗癌新藥,如雞蛋放在同個籃子裡,大眾期待很高,如今研發結果卻不如預期;浩鼎董事會決議減資彌補虧損,就是宣示誠實面對,不僅重新調整步伐與方向,財務也必須跟著調整。」以上源自聯合報。

梁賡義院士是生統專家!


2025年8月26日 星期二

「本校114年學術著作傑出獎」--令人謙卑

醫學院有5名額(全校30位),獎勵30萬元。

得獎者3年內不能再申請。

我這輩子應該都沒機會... 只能謙卑/繼續努力!!

這辦法今年 (2025年) 才通過!我覺得是為一些傑出學者加薪/留住人才!!

但此辦法排除「特聘教授」...

2025年8月21日 星期四

AI輔助教學:9月起的課程大幅採用

下個月(2025年9月)我將教授二課程:大二「論文導讀」以及碩一「文獻彙整與評析」

將大幅採用生成式AI協助「導讀」「解惑」「評析」「彙整」論文,以及「命題」還有「評分」

生成式AI的應用,以 My GPTs 與 NotebookLM 為主!

AI的用途:學生可應用生成式AI協助補強基本知識(含論文結構、研究議題相關、研究方法相關[含研究設計與資料分析等]以及閱讀與寫作相關之知識)。老師將提供基本知識/主題範疇(考試重點之一),於課堂大致講解或解惑,學生宜針對自己的學習目標自行練習/測驗。 

學生可自行選擇學習目標(老師提供與學生自行設定:Bloom taxonomy + 論文各章節之學習目標),但老師會要求基本目標(詳下------ 後之說明)這與學生成績連結。

我的教學目標有二:一、強化基本知識;二、提升學習目標層級(以 Bloom taxonomy 言,至少達到 Remember(如回答選擇題,成績可 PASS),一些 Understand(回答簡答題,成績可到A-;外加一些 Apply, Analyze [成績可到A], Evaluate [回答選擇題];一點點 Create [回答選擇題])。

所有考試皆同時提供中英文版本(因為翻譯的效能高,母語學習之效能較佳,但仍保留英文)

--------------------------------------------------------

1 Sep., 上完第1堂課之後,我再用My GPTs,以協助學生複習!

這GPT內容分二類:

一、重點複習與解說

二、測驗,包含三種:選擇題、簡答題以及費曼式問答。

詳: https://reurl.cc/89Yg9j 

--------------------------------------------------------

以下是 ChatGPT 協助生成的學習目標

表:論文各章節之Bloom 層級學習目標

論文章節 Bloom 層級 學習目標範例
Title / Abstract Remember 能指出研究的主題、研究對象與主要變數
Understand 能用自己的話簡述研究目的與主要結論
Analyze 能辨識摘要中研究方法與結果的關鍵資訊
Introduction Remember 能指出研究問題與主要背景理論
Understand 解釋研究動機與理論框架
Analyze 分析研究缺口(gap)與研究假設之關聯
Evaluate 評估研究問題是否具備學術或實務價值
Methods Remember 能指出研究設計類型(RCT、橫斷面研究等)與樣本特徵
Understand 說明研究流程、變數操作方式與分析方法
Apply 能用該方法設計一個類似的研究框架*
Analyze 判斷研究方法與研究問題的契合度*
Evaluate 評估方法的有效性、偏差風險與可重複性*
Results Remember 能指出主要的數據與統計檢定結果
Understand 解釋數據所代表的意義
Analyze 比較不同組別結果,找出趨勢或差異
Evaluate 評估數據與研究假設的支持程度
Discussion / Conclusion Understand 能指出作者如何連結結果與文獻、理論
Analyze 分析作者的解釋是否合理,是否有遺漏解釋的可能性*
Evaluate 評估研究的限制與未來研究建議*
Create 基於該研究提出新的研究問題或改良設計*
References Remember 能指出引用的關鍵文獻與核心作者
Understand 說明引用文獻在本研究中的角色


---------------------------------------------------------------------------------------------------------

整體課程設計原則

  1. AI之雙重角色定位

    • 作為導師(Teacher AI):說明、引導思考、反問

    • 作為考官(Examiner AI):出題、模擬病人/臨床情境、評分。

  2. 學習循環

    • 學習(Learning) → 練習(Practice) → 測驗(Assessment) → 回饋(Feedback) → 鞏固(Consolidation)

  3. 結合 OT 專業情境

    • 病例討論(case-based learning)

    • 文獻閱讀與批判(journal club)

    • 治療方案設計(intervention planning)

2025年8月18日 星期一

生成式AI協助研究之層面

Khalifa, Mohamed, and Mona Albadawy. "Using artificial intelligence in academic writing and research: An essential productivity tool." Computer Methods and Programs in Biomedicine Update 5 (2024): 100145. 東穎(我兒子)提供的文獻 

AI helps academic writing and research: 

1) facilitating idea generation and research design, 我常用於研究計畫

2) improving content and structuring, 研究計畫 + 論文

3) supporting literature review and synthesis, 研究計畫

4) enhancing data management and analysis, 還沒用過

5) supporting editing, review, and publishing, 論文(這幫我節省很多英文編修費) and 

6) assisting in communication, outreach, and ethical compliance. 對外溝通


圖:6 層面與簡易說明(由上述論文擷取)

功能上:AI可協助「補充基本知識」,協助我們快速吸收/補強新知(如詢問特定詞彙/概念;文獻或主題彙整;甚至評論文獻);可協助除搜尋文獻,也可輸出 Endnote 可輸入的格式,以利後續引用。

AI幫忙的時機,可在研究的不同階段,含「從無到有」、「有想法後再跟AI討論」、或「最後確認/修改」。

但關鍵在於:使用者的基本知識/能力(含判斷力),意即「基本知識/能力」將決定您於吸收新知與研究的效能!!若基本知識/能力不足,那就好好補強,這生成式AI絕對可以協助!!甚至可以提升「知識之層級」,請參考我跟 ChtaGPT 的相關對話


2025年8月10日 星期日

或許我們,至少是我,皆在協助生成式AI升級!?

講直接一點是進行測試與除錯

還要花一點錢(加入會員)

當然回饋也不少,至少知識獲取與工作效率提高許多

那我們的價值何在?提升競爭力/成就感?

年輕人就很辛苦,10年後的年輕人,如何面對生成式AI?還有除錯的能力嗎?他們的存在價值/成就何在?

-------------------------------------------------------------------------------------------------

以下是我跟 GPT 5 交流後的觀點:

我們是在幫 AI 升級,還是在幫自己升級?

或許你沒想過,每次與生成式 AI 對話,你不只是使用者,更像它的測試員與除錯員。

我們花錢訂閱、花時間輸入指令,AI 的確因此更懂人類。但回頭想——我們的價值何在?

對我而言,答案是:幫自己升級。

AI 讓我們知識獲取更快、工作效率更高,但真正決定未來競爭力的,不是 AI,而是我們能不能駕馭它。

十年後的年輕人,AI 一定更強,但也更容易讓人們失去「除錯」與「判斷」的能力。

要不被取代,就要在這三個基礎能力上提前布局:

  1. 批判性思考:敢於懷疑 AI 的答案,能驗證真偽與適用性。
  2. 情境整合力:把 AI 的資訊轉化成符合實際需求的可行方案。
  3. 創造與跨域能力:將 AI 當作合作者,激發出它單獨無法產生的價值。

AI 會升級,但人類也必須升級

因為真正的差距,不是人類 vs AI,而是會駕馭 AI 的人 vs 不會駕馭 AI 的人。