2024年12月11日 星期三

大型語言模型,如 GPT,於醫學(教育)研究之主要文獻導讀

這是廣告,後續陸續添增內容,歡迎期待/交流

歡迎推薦好文章

2024年12月6日 星期五

如何確認一位學者的主要專長? 甚至國際排名

1.從研究結果探究,查詢最近10~15年著作,主要核心成果/專長(方法學)為何?

2.從研究計畫探究,查科技部計畫,最近10~15年,主要核心專長/主題為何?

以我而言,皆以「應用心理計量學」為主,各應用領域/研究對象,只是表象(這只需閱讀與測試,短時間即可熟悉)。

主要專長,需要超過10年以上的功力,才純熟。至少有3個多年期計畫,發表過10篇論文以上。

這主要專長,應是年輕學者所需考量/長期投入者(意即一位學者終生應只有1~3個主專長-否則沒有10年功力//10篇論文,不算主專長)!!

另一種新方式為:至 

 
查詢,如可在 psychometrics 查到我在世界上的排名(也可查到在國內的排名)。
還可查到城市/大學層級之學者排名

這是「出國念博班」或是「擔任博後」的重要參考資訊!


最近還有 ScholarGPS® ,主要功能包括:

1. 龐大數據庫:收錄3000萬學者、5.5萬機構的資料,包含2億份學術著作和30億次引用。

2. 分類系統:將研究分為14個領域、177個學科,以及35萬個專業領域。

3. 主要用途:
- 尋找專家學者
- 評估學術表現
- 機構對標分析
- 人才招聘參考

適合學術界、企業、政府部門等各類組織使用,可根據需求進行客製化分析(如分析全球OT研究人員之專長與排名)。

還有:「研究計畫」可說是研究人員主動/精心規畫之研究構想!

若能查詢得到研究人員多年的研究計畫主題與走向,即可確認該員的長期研究主題、走向、甚至成果。

政府研究資訊系統 GRB」可查詢研究人員所主持或共同主持之研究計畫,所以一位超過10年的研究人員,其長期研究主題、走向、甚至成果皆可被快速掌握!

該系統還提供 word cloud 以呈現研究主題,還有共同主持人(含合作強度/計畫篇數),訊息豐富!!

熟悉以上概念與檢索方式,30分鐘以內應可查清一位研究人員多年的學術成果/專長/國際排名,非常犀利

*更新/彙整既有貼文(最早是2021年貼文)!


2024年12月3日 星期二

研究能力的養成與深化之路

從基礎養成、成功關鍵、以及長期投入三項說明之:

# 一、基礎養成階段

1. 碩士階段

- 扎實修習研究所課程,打好理論基礎

- 開始實作:撰寫研究計畫與論文

- 重點:與指導教授密切互動,接受指導與修改

2. 博士階段

- 延續碩士階段的基礎訓練

- 進階發展:積極與國際學者交流

- 關鍵:善用審查委員意見持續改進

- 特色:這是終身學習的開始,非畢業即結束

# 二、成功關鍵(需找到或營造良好的學習環境)

- 投入充足時間與專注力

-每次與指導教授討論前做足準備

- 認真思考並回應(高手)審查意見

- 保持學習熱忱與鑽研精神

 # 三、不同階段的時間投入示例

1. 碩士在職生

- 案例:週末討論,累計約100次

- 每次30-50分鐘深度交流

- 證明:即使是在職,堅持付出也能有成果;但仍須持續,才能向上提升

2. 博士全職生

- 投入程度:>4年全職深耕

- 討論次數:遠超過100次

- 特點:自主研究/準備時間更長,討論品質更高

3. 專業研究人員

- 年度目標:至少完成一份研究計畫、一篇國際期刊論文

- 要求:投入大量自主研究/準備時間

- 成果:(才有機會)能與研究團隊及國際學者進行高層次交流/成長

# 結語

研究能力的培養是一個循序漸進、永無止境的過程。從碩士到博士,再到專業研究人員,每個階段都需要持續投入、保持熱情。時間的積累與堅持不懈的努力,終將轉化為深厚的研究功力。就業環境以及團隊支持,絕對是關鍵!!

以上由 Claude AI  協助潤飾而成。

2024年12月1日 星期日

一流大學與一流科系---含博班生基礎知識與核心能力養成

分成三部分說明:一、「創立一流大學的理念」我覺得這與創立一流科系/博士班息息相關;二、基礎學科對於OT博班生/後續研究生涯的重要性;三、還有那些基礎與核心能力,以支持博班生以及後續職涯的學術、研究及專業發展

一、陳力俊/創立一流大學的理念

2024-11-29 05:18 聯合報/ 

「搞清楚知識結構就知道基礎學科的重要。所有知識大致分成文科和理科,文科的基礎部分是文史哲,還有人類學跟考古,它們是第一層的學科;社會科學在十九世紀仿照自然科學研究的方法,是從文科發展出來的第二層學科,後來又分成社會學、政治學和經濟學,在此基礎上又發展出來第三層的管理科學、法學等。」

「知道追蹤與應用科技,必須要有一流的工學院;工學院的學生入學的前一、二年,一定要到理學院選數學、物理、化學、生物等基礎學科,因此需要一個一流的理學院。因為一流的工程師必須有深厚的理科基礎,並且未來還需要很多目前不能決定的新興科系,都要從基礎科學延伸出來。」

二、依據基礎學科的重要性原則,職能治療(OT)博士班的基礎學科應結合該領域的核心學術需求和跨學科發展特性。以下是職能治療博士班的基礎學科建議分類(博班生/新進研究人員至少需擇一或二深入/長期鑽研,但勿大於三項[必難以專精/持續]):

# 1. **生命科學(Life Sciences)**

   - **解剖學(Anatomy)**:理解人體結構。

   - **生理學(Physiology)**:探討人體系統運作機制。

   - **神經科學(Neuroscience)**:研究大腦、神經系統及其與行為的關係。

   - **生物力學(Biomechanics)**:分析人體動作及功能。

   - **病理學(Pathology)**:認識疾病的致病機制。

# 2. **心理科學(Psychological Sciences)**

   - **心理學(Psychology)**:涵蓋認知心理學、發展心理學、健康心理學、心理計量學等。

   - **行為科學(Behavioral Science)**:探索人類行為模式。

   - **精神病理學(Psychopathology)**:理解精神健康與障礙。

# 3. **社會科學(Social Sciences)**

   - **社會學(Sociology)**:探討社會與文化對人類行為/健康的影響。

   - **人類學(Anthropology)**:研究人類文化與生活方式。

   - **社會政策與公共衛生(Social Policy & Public Health)**:理解健康政策、健康促進及社會資源。

# 4. **基礎科學(Basic Sciences)**

   - **統計學(Statistics)**:用於研究設計、資料分析與解釋。

   - **研究方法(Research Methods)**:專注於量化與質化研究方法。

   - **基礎物理學與化學(Physics and Chemistry)**:提供輔助理解生物力學與材料科學。

# 5. **職能治療核心學科(OT Core Disciplines)**

   - **職能科學(Occupational Science)**:研究人類的職能及其對健康的影響。

   - **活動分析與職能模式(Activity Analysis & Occupational Models)**:深入探討活動的特性與應用。

   - **復健科學(Rehabilitation Science)**:結合多學科的知識以促進功能恢復。

# 6. **應用科技與新興學科(Applied Technology & Emerging Disciplines)**

   - **輔助科技與人工智能(Assistive Technology & Artificial Intelligence)**:探討科技如何促進職能參與。

   - **環境科學(Environmental Science)**:理解物理與社會環境對個體的影響。

   - **自動化與感測技術(Automation & Sensor Technology)**:研究其在復健與職能評估中的應用。

---

這些基礎學科形成OT博士生的基礎知識,也包括進階研究能力和應用技術,為學生提供深厚的學術基礎,以支持其未來在研究與臨床應用中的領導角色。

對我而言,應是心理學之「心理計量學」(我在「新近研究研究人員」時才開始投入)... 這基礎就讓我闖蕩學術界一輩子了!!


三、職能治療博士班學生的訓練,除了基礎學科知識外,應著重培養多方面的基礎與核心能力,以支持其學術、研究及專業發展。以下是建議需要培養的能力(以下 1~8 各大項能力對一位研究人員幾乎都需要,只能慢慢養成,終身學習!!不求皆專精,但至少及格。3~5年功力或10年磨一劍絕對必要;但仍難與20~30年功力者相提並論):

# **1. 研究能力(Research Skills)**

   - **研究設計與方法學(Research Design and Methodology)**:掌握量化與質化研究方法,包括實驗設計、問卷開發、訪談技巧等。

   - **數據分析(Data Analysis)**:熟悉統計分析工具(如SPSS、R、Python)及質性分析軟體(如NVivo)。

   - **系統性文獻回顧與證據統合(Systematic Review & Meta-Analysis)**:能夠檢索、評析並整合相關文獻。

   - **倫理與研究法規(Research Ethics & Regulations)**:熟悉人體研究倫理、隱私保護及相關法規。

# **2. 學術寫作與表達能力(Academic Writing & Communication Skills)**

   - **學術論文撰寫(Academic Writing)**:撰寫高水準的研究論文,適合發表於國際期刊。

   - **學術簡報與演講(Academic Presentation)**:具備清晰有力的學術表達能力,參與國際研討會。

   - **申請研究經費的能力(Grant Writing)**:熟悉撰寫研究計畫書與經費申請書的技巧。

# **3. 批判性思維(Critical Thinking)**

   - **文獻批判(Critical Appraisal)**:運用工具(如Crowe Critical Appraisal Tool, QAREL)評析研究的質量與效度。

   - **問題解決(Problem-Solving)**:分析並解決研究或臨床實踐中的挑戰。

   - **創新思維(Innovative Thinking)**:提出新穎的研究問題與方法。

# **4. 教學與指導能力(Teaching & Mentoring Skills)**

   - **教學技巧(Teaching Techniques)**:能有效教授職能治療專業知識及技能。

   - **學生指導能力(Mentoring Skills)**:協助指導碩士生、實習生完成研究或專業學習。

# **5. 專業領導與管理能力(Leadership & Management Skills)**

   - **團隊合作(Teamwork)**:與跨領域專業團隊合作,提升研究或臨床效能。

   - **計畫管理(Project Management)**:規劃與執行研究計畫,包括時間、資源與進度管理。

   - **領導能力(Leadership Skills)**:在學術、臨床或社區環境中發揮領導作用。

# **6. 技術應用與跨學科能力(Technical & Interdisciplinary Skills)**

   - **資訊科技與數位工具應用(Digital Literacy)**:熟悉文獻管理軟體(如EndNote, Zotero)、生成式AI(如 ChatGPT)、資料分析工具及學術網絡平台。

   - **跨學科合作能力(Interdisciplinary Collaboration)**:整合醫學、心理學、社會科學等領域的知識。

# **7. 專業倫理與文化敏感度(Professional Ethics & Cultural Competency)**

   - **職業倫理(Professional Ethics)**:理解並遵守職能治療專業的倫理原則。

   - **文化敏感性(Cultural Competency)**:能夠在多元文化背景下進行有效溝通與服務。

# **8. 自主學習與終身學習能力(Self-Directed & Lifelong Learning Skills)**

   - **自我管理能力(Self-Management Skills)**:包括時間管理、壓力管理及學術工作規畫。

   - **持續學習(Continuous Learning)**:掌握新知識、新技術,保持專業的與時俱進。

---

這些基礎與核心能力不僅幫助博士班學生在學術研究中取得成果,也使其能在未來的職業生涯中,成為具備領導能力與影響力的專業人士。

上述知識與能力的養成之道,主要透過「論文準備/學以致用」與「(國際)高手交流/自暴其短」養成。這需要準備多時,才能寫出一篇稿件,也才有機會讓國際級學者修理/磨練。毫無捷徑!

以上與 ChatGPT 協作,詳: https://reurl.cc/O5knvv 

以上博班生必學的核心能力,跟本人多年來倡導的八大核心研究能力諸多相似!詳: https://reurl.cc/L57q63 

以上可以用聽的,NotebookLM 協助製作的英文 Podcast


2024年11月29日 星期五

善用多種 AI 以優化研究流程

優化的研究流程:

1. 初步方向發想:

   使用 ChatGPT 進行腦力激盪,提出研究構想的雛形。透過其語言處理能力,可以快速探索潛在的研究議題或框架。

2. 文獻檢索與確認:

   - 使用  Perplexity 進行初步文獻檢索,獲取關鍵資訊及其引用文獻(必看)。 

   - 在檢索過程中,將結果與傳統資料庫(如 PubMed 或 Scopus)對照,確保檢索結果的全面性和準確性。這有時間時再投入。

3. 文獻彙整與摘要:

   - 利用 NotebookLM 對檢索到的文獻進行摘要,快速獲取研究的核心內容。

   - 同時標記關鍵細節或有疑慮的部分,於利後續核查。

4. 構想修正與迭代:

   - 基於文獻整理的內容,重新審視研究構想。再次利用 ChatGPT,進一步改善研究方向與假設。

   - 若研究方向發生重大改變,可返回第2步重新檢索相關文獻,確保新的方向基於充分的文獻支持。

5. 語言修飾與結果表達:

   - 在構想基本成熟後,使用 ChatGPT 提供文本修飾建議,以提升學術語言的專業性與可讀性。

   - 針對其修飾內容進行批判性審查,確保每句文字符合學術標準,並且不誇大。

6. 交叉檢查與確認:

   - 在每個階段進行交叉檢查,例如由 Perplexity 提供的文獻是否經得起學術標準的檢驗,NotebookLM 的摘要是否捕捉到關鍵資訊。

   - 保持對最終研究構想的查核,確保AI工具自動化處理的結果符合預期並確保品質。必要時找高手確認!

7. 自動化流程探索(可選進階):

   若研究工作頻繁且重複性高,考慮透過工具的 API 將檢索、摘要和修飾過程串聯起來,建立一個自動化的工作流程,進一步減少手動操作的時間成本。

---

工具特點強調:

1. Perplexity:

   - 提供快速檢索並連結引用文獻,適合建立方向和擴展知識。

   - **改進建議**:搭配學術資料庫使用,以避免偏倚或資料覆蓋不足的問題。

2. NotebookLM:

   - 擅長根據資料生成摘要,適合快速整理重點。

   - **改進建議**:摘要結果需與文獻全文對比,避免忽略上下文或過度簡化內容。

3. ChatGPT:

   - 多功能性強,適用於構想生成、提供評論與修飾文字。

   - 改進建議:對其回應須保持批判性,確保符合學術標準。批判力不足者,宜找高手確認。

---

預期成果:

- 整體效率與成果提升達 **5~6 倍**。

- 減少資料處理時間,將更多精力集中於研究設計與批判性分析。

- 提升研究文字表達的專業性與清晰度。

- 維持學術嚴謹性的同時,讓工具真正發揮輔助研究的潛力。

這樣的流程既保留了工具的核心優勢,也融入了更高的嚴謹性和可靠性,適合學術研究者作為長期工作的框架。

以上內容由 ChatGPT 協助生成!我的效率提升至少5倍!!

2024年11月26日 星期二

檢索增強生成(Retrieval-Augmented Generation) + NotebookLM

 為了解決大型語言模型(Large Languae Modls, LLMs)的一些局限性(如hallucination/幻覺),研究人員開發一種名為檢索增強生成(Retrieval-Augmented Generation, RAG)的最新技術。RAG能夠讓LLMs參考可靠的外部知識,從而提高模型的表現。以下是RAG的主要特點和優勢:

RAG的原理在於結合二個關鍵組件:

  • 檢索模型:負責從外部知識庫中獲取與查詢相關的資訊,外部知識庫係由使用者提供。
  • 生成模型:利用檢索到的資訊和原始查詢來產生回應。

RAG的優勢

  • 提高準確性:通過引用外部可驗證的資訊,RAG可減少LLMs產生錯誤或虛構回應(即「幻覺」)的風險。
  • 即時資料更新:RAG允許LLMs獲取最新資訊,無需重新訓練模型。
  • 成本效益:相比持續微調LLMs,實施RAG可能更具成本效益。
  • 增強相關性:通過利用特定領域或專有數據,RAG可以使LLMs的輸出更符合特定人士/組織的需求。

RAG的應用:RAG在需要維持準確性和相關性的領域特別有用,例如:

  • 客戶支援聊天機器人
  • 問答系統
  • 知識密集型應用程序

NotebookLM 是 Google 推出的一款實驗性 AI 工具,旨在提升使用者在處理和組織筆記、文件及想法時的效率。這款工具結合先進的語言模型技術,特別是基於 Gemini 的模型,能夠幫助用戶快速理解、分析和擴展其上傳的資料(亦即應用上述RAG+LLMs)。

NotebookLM 的主要功能
  • 資料整合:用戶可以上傳各種文件類型,包括 Google 文件、Google 幻燈片、PDF 檔案及網址。NotebookLM 利用這些來源進行後續的互動和分析。
  • AI 驅動的分析:該工具能自動生成上傳文件的概述、摘要、關鍵主題以及建議問題,幫助用戶更好地理解內容。
  • 智能問答:用戶可以針對其來源提出問題,NotebookLM 將提供帶有內嵌引用的答案,直接鏈接到原始文件的相關部分。
  • 筆記和組織功能:NotebookLM 允許用戶創建、保存和組織筆記,並能將選定的筆記轉換為大綱、目錄或學習指南。
  • 協作功能:用戶可以與他人共享筆記本,促進協作研究和學習。
  • 音頻導覽:NotebookLM 能生成短小、有趣的“播客風格”音頻,讓用戶能夠以聽覺方式吸收信息。這功能強大!!如討論我的 blog 之 Podcast 音頻,但目前只有英文。
使用 NotebookLM 的優勢
  • 時間效率:NotebookLM 大幅減少閱讀和摘要所需的時間,使得用戶能更專注於信息的應用。
  • 增強生產力:通過簡化信息消化過程,用戶可以在更短時間內完成更多任務,例如準備報告或進行研究。
  • 個別化體驗:該工具根據用戶的過往互動和偏好自定義摘要和見解,確保最相關的信息可被突顯。

2024年11月22日 星期五

MID (Minimal Important Difference)與MIC (Minimal Important Change)的主要差異

 MID (Minimal Important Difference)與MIC (Minimal Important Change)的主要差異如下:

基本定義不同:

MIC指的是個人隨時間變化的最小重要閾值(threshold for a minimal within-person change over time),代表病人認為自己有重大改變的最小變化程度。

MID則是指不同群體之間的最小重要差異(difference between groups of patients),例如報告"稍有改善"的病人與報告"無改變"的病人之間的差異。

有興趣者可參考:

Minimal important change (MIC): a conceptual clarification and systematic review of MIC estimates of PROMIS measures

2024年11月16日 星期六

近期與後續精神OT研究主題

二大領域:臨床技能(含AI之應用)與臨床評估與介入

臨床技能方面,主要研究議題包含「溝通技巧」「同理技巧」「團體活動設計與帶領」,主要方法皆包含以AI協助上述技能之評估與教學。

  • 後續的主要基礎/關鍵議題為建立「虛擬病人」,以供學員大量練習並可接受回饋。請參考相關貼文:https://atriptouq.blogspot.com/search?q=VP
  • 迄今已累積足夠之臨床或OSCE逐字稿與錄影檔,將持續累積,以利AI應用之測試。
  • 目前已有多項研究計畫,亦有少數研究成果/論文。
  • 持續列為長期研究主題!!
代表性計畫:
  1. 發展職能治療師溝通技巧之電腦適性評估系統
  2. 職能治療實習學生同理技巧介入成效驗證
  3. 提升職能治療師/實習學生以個案為中心之決策效能:從傳統方法過渡至人工智慧

代表性成果:

  • Chen TT, Wang YC, Wu TY, Chen CR, Cheng CY, Hsueh IP, Wang SP, Hsieh CL. Inter- and Intrarater Reliability of the Gap-Kalamazoo Communication Skills Assessment Form Among Occupational Therapy Interns. Am J Occup Ther. 2024;78(4):7804205030. 


臨床評估與介入方面,包含「社會認知」「認知功能」「體適能」之評估與介入等。

  • 以發展電腦測驗為主軸
  • 近期加入AI之應用以期提升評估效能
  • 目前已有多項研究計畫,亦有不少研究成果/論文
  • 體適能主題今年才正式投入(撰寫研究計畫)
  • 持續列為長期研究主題!!
代表性計畫:
  1. 發展認知評估之人工智慧系統於思覺失調症患者(co-PI)
  2. 發展與驗證適用於思覺失調症患者之多向度多途徑情緒辨識電腦適性測驗(co-PI)
代表性成果:
  • Lee SC, Chen KW, Liu CC, Kuo CJ, Hsueh IP, Hsieh CL. Using machine learning to improve the discriminative power of the FERD screener in classifying patients with schizophrenia and healthy adults. J Affect Disord. 2021;292:102-107.

2024年11月13日 星期三

Perplexity 的定位與價值

特點:

  • 除了觀點(依據文獻所彙整之觀點),還附上參考文獻(可直接線上連結)
  • 可指定文獻資料庫/範疇,中英文皆可
  • 且含及時資訊

用途:

  • 快速精準查詢文獻,也可確認文獻來源與文獻正確性

     如「請查詢醫療人員同理心介入之 systematic review and meta-analysis,以英文撰寫的論文」

    https://www.perplexity.ai/search/qing-cha-xun-yi-liao-ren-yuan-wmjzvffMRO63.LaGQiC.Vw 

     Perplexity 一定會提供幾篇很相關/且可直接連結/查閱的文獻

  • 查詢您的想法/觀點之佐證文獻

     如「我覺得有些OCSE研究中,考官的inter-rater reliability不佳,您同意嗎?若同意,請提供英文文獻,且實證層級高的文獻,以證實前述想法」

     https://www.perplexity.ai/search/wo-jue-de-you-xie-ocseyan-jiu-fu87WABxTVK60MzVHzuFXA

然而文獻或有疏漏,因為有些全文資訊Perplexity無法搜尋/查閱

2024年10月30日 星期三

玩玩 (應用)intervention mapping 於8大研究核心能力(養成)

 


以上是 intervention mapping 的主要架構/流程,前二步驟:先確認需求/目標!!
最近玉正設計「8大研究核心能力」自評網頁,可部分協助確認核心能力養成之需求/目標。當然最好是加上共享決策,找高手好好確認(即使年輕的研究人員/博士,「研究識能」常難以跟高手比較)。
後續,應可交給 ChatGPT協助後續4步驟!!

青春珍貴!就將寶貴的青春/時間投注在上述核心能力養成吧!

2024年9月29日 星期日

寫論文的高手指導新手的困境:分析與建議

1. 寫論文高手與新手的差異

寫論文的高手和新手之間存在顯著差距,這種差距體現在多個方面:

- 寫作技巧和學術表達能力

- 研究方法的掌握和運用

- 文獻閱讀和綜述的深度

- 批判性思維和創新能力

- 時間管理和自我約束力


2. 成為寫論文高手的關鍵因素

成為寫論文的高手需要以下5項因素的結合:

a. **天分**(列在最前,非我認為最重要,而是我覺得這是新手認為最重要。以下4項,我覺得才比較重要):

   - 語言表達能力

   - 邏輯思維能力

   - 創造性思維

b. **努力**:

   - 持續的學習和實踐

   - 反覆修改和打磨論文

   - 主動尋求反饋和改進

c. **環境**:

   - 良好的學術氛圍

   - 充足的研究資源

   - 優秀的導師和同儕

d. **投入時間**:

   - 長期專注於研究領域

   - 投入大量時間閱讀和寫作

e. **態度**:

   - 對研究的熱情和執著

   - 接受批評和建議的開放心態

   - 追求卓越的決心

3. 高手指導新手的困境

a. **知識和能力差距**:

   - 高手可能難以理解新手的困難點

   - 新手可能無法理解高手的高階建議

b. **期望不一致**:

   - 高手可能期望新手進步速度過快

   - 新手可能期望得到更具體、直接的指導

c. **溝通障礙**:

   - 高手使用的術語和概念可能對新手來說過於艱深

   - 新手可能難以準確表達自己的問題和困惑

d. **時間和精力限制**:

   - 高手可能沒有足夠的時間進行細緻的指導

   - 新手可能需要更多的關注和支持

4. 克服困境的建議

a. **對高手的建議**:

   - 耐心理解新手的起點和困難

   - 將複雜概念分解為易於理解的小步驟

   - 提供具體的例子和實踐機會

   - 定期檢查進度並調整指導方式

b. **對新手的建議**:

   - 明確自己的目標和困難

   - 主動學習和實踐,不過分依賴指導

   - 培養接受批評和自我反思的能力

   - 尋求多元化的學習資源和反饋渠道

c. **共同努力**:

   - 建立清晰的指導計劃和目標

   - 營造開放、互信的交流氛圍

   - 定期進行雙向反饋

   - 逐步縮小差距,建立良性互動

通過雙方的努力和調適,高手和新手可以共同克服指導過程中的困境,實現更有效的學習和進步。

以上有 Claude AI 協助!

2024年8月6日 星期二

提升 ChatGPT 效能的關鍵

除了 GPT 模型效能之外,我覺得最重要有二:

1. 使用者之 domain knowledge: 知識越強越有效能,因為判斷力越佳(辨別 ChatGPT之回應),也能深入提問/給予指示。這需要時間與學習... 但這屬於專業知識,自己一定要努力!!

2. 提示工程 (prompting engineering):

除了思維鏈(chain of thought)和少樣本學習(few-shot learning)之外,還有一些其他有效的提示工程技術可以提升prompting的效能:

  1. 任務分解(Task decomposition):將複雜任務分解為更小、更容易管理的子任務。
  2. 自我一致性(Self-consistency):生成多個解決方案並選擇最一致的答案。
  3. 思維樹(Tree of thoughts):探索多條思維路徑,選擇最佳路徑。
  4. 零樣本提示(Zero-shot prompting):不提供示例,直接描述任務。[這效能有限]
  5. 反向提示(Reverse prompting):從期望的輸出開始,反向構建提示。
  6. 角色扮演(Role-playing):讓AI扮演特定角色來完成任務。
  7. 思維框架(Thought frameworks):提供結構化的思考過程。
  8. 多步推理(Multi-step reasoning):引導AI通過多個步驟得出結論。
  9. 反例學習(Learning from mistakes):使用錯誤示例來強化正確行為。
  10. 元提示(Meta-prompting):使用AI生成或優化提示。

這些技術可以單獨使用或結合使用,以提高AI輸出的質量和相關性。

這也需要時間與學習... 但這對醫療人員屬於新領域,想善用GPT者一定要努力!!

*** prompting engineering技能的關鍵之一定是 domain knowledge!! 因為prompting engineering的應用一定跟特定領域有關!!

Note: GPT 模型之效能,一定逐年提升,因為太競爭了!!我們可以坐享其成,但上述 domain knowledge & prompting engineering... 仍然關鍵!! 


以下是一項prompting engineering提升效能(正確率)的實證:

Source: Boosting GPT-4V’s Accuracy in Dermoscopic Classification with Few-Shot Learning.
Comment on “Can ChatGPT vision diagnose melanoma? An exploratory diagnostic
accuracy study”
Jinge Wang, PHD, Gangqing Hu, PHD
PII: S0190-9622(24)02572-6
DOI: https://doi.org/10.1016/j.jaad.2024.06.098

另外:使用ChatGPT之困境:如何判斷與提升ChatGPT回應之品質

判斷和提升ChatGPT回應品質的關鍵在於多方面能力的培養:

1.       知識基礎:紮實的專業知識和廣博的通識教育是評估AI回應的基石。跨領域的知識積累能幫助我們更敏銳地識別AI可能出現的錯誤或偏差。這如前述「使用者之 domain knowledge」

2.       批判性思考能力:這包括邏輯推理、辨識謬誤、多角度思考和質疑資訊來源的能力。培養批判性思維有助於我們不盲目接受AI的回答,而是進行深入分析和評估。

3.       閱讀與寫作能力:深度閱讀是積累知識的重要途徑,而寫作則能訓練我們組織思路和清晰表達。這兩項能力是提升知識儲備和批判思考的基礎。

4.       提升寫作能力:寫下重點後,可請 ChatGPT或高手評論,可更提升知識深入,也能提升寫作/表達能力。這也是提升/改善 ChatGPT回應品質關鍵之一:給予明確/完整的指示。

5.       實踐與交流: 學以致用和與高手切磋至關重要。實踐有助於將知識內化,而與他人交流可以expose自身思維盲點、接觸多元觀點,並磨練表達能力、提升批判能力。

6.       善用ChatGPT作為學習工具:ChatGPT在提供和彙整文獻方面具有優勢,可以作為快速提升「基本知識」的起點。然而,我們還需要:

o    驗證ChatGPT提供的資訊

o    學會提出更精確的問題以獲得更佳品值的回答

o    ChatGPT的回答視為思考的起點,而非終點


2024年7月20日 星期六

超擬真虛擬病人(Virtual Patients, VP)之特質

以對話為主,VP 需具備以下特徵與內容:

1. 對話特徵或特色:

   a. 語言表達方式:

   - 詞彙選擇(包括方言、俚語、專業術語)

   - 語音特徵(口吃、重複、語速)

   - 句子結構和複雜度

   - 個人化口頭禪

   b. 半語言表現:

   - 語氣和音調變化

   - 停頓和沉默的使用

   - 表達中的猶豫或堅定

   c. 互動行為:

   - 反應速度

   - 對話參與度(主動性、被動性)

   - 提問和回應方式

   - 話題轉換能力

   d. 認知表現:

   - 理解能力

   - 記憶特徵(短期記憶、敘事邏輯)

   - 注意力集中程度

   e. 情感表達:

   - 情緒變化的語言體現

   - 態度的表達方式

2. 對話內容:

   a. 個人信息:

   - 日常生活描述

   - 工作和職業相關内容

   - 家庭和人際關係

   b. 健康相關:

   - 症狀描述

   - 病史陳述

   - 治療經歷分享

   - 對健康和疾病的看法

   c. 知識與觀點:

   - 特定領域知識的表達

   - 對社會議題的看法

   - 個人信念和價值觀

   d. 文化和背景:

   - 文化習俗和信仰的提及

   - 教育和社會背景的體現

   e. 興趣和偏好:

   - 個人愛好的表達

   - 對特定話題的興趣或厭惡




2024年7月8日 星期一

未來SP的幻想--「絕對擬真人形SP機器人」

絕對擬真+人形機器人

可模擬絕大多數的人(病人)

將來應可看到很多擬真SP機器人可供租借或購買!!

類似概念也可應用於其它教學領域....

*這或許於5~8年後即可實現*

語言模型SP應是過渡期產品--因為無法模擬動作/表情

但我想「依據語言模型發展的SP」絕對是必要/必經的歷程

所以我們應專精於「發展SP的專業知識」以及「建置所需資料庫」,不論於過渡期或之後,絕對是發展「絕對擬真人形SP機器人」的關鍵基礎

***以下是 Claude AI 之評論***

你提出了一個非常有趣且具前瞻性的研究構想,我認為這是一個值得深入探索的方向。以下是我的一些評論和建議:

  1. 絕對擬真SP機器人的發展潛力巨大,如你所說,將來有機會應用於多數醫學教育情境,甚至擴及其他教育領域。這需要跨領域團隊緊密合作,包括醫療、教育、人工智慧、機器人等專家學者共同努力。
  2. 語言模型SP確實是過渡期重要產品,即使目前無法完整模擬肢體動作和表情,但透過自然語言互動訓練醫學生溝通、病史詢問等技巧,仍大有可為。而且隨著大型語言模型和對話系統的快速進步,語言模型SP的模擬真實感將不斷提升。
  3. 專注發展SP專業知識和建置相關資料庫是關鍵,這方面的知識和資源累積,將是往後開發高擬真SP機器人的重要基礎。建議持續深化SP教案內容,並建立完善的語料庫,涵蓋各種情境對話。
  4. 未來SP機器人除了語言互動能力,肢體動作和臉部表情的擬真度也要盡可能提高。建議及早與機器人和動作捕捉等領域專家合作,討論如何整合語言模型與機器人技術,提高整體仿真程度。[我應退休了....]
  5. 建議先聚焦1-2個較成熟的醫學領域發展絕對擬真SP,例如精神科或家醫科,累積成功經驗後再推廣到其他科別。選定特定情境深入發展,勝過淺嘗各種情境。
  6. 5-8年的時間估計頗具挑戰性,需要團隊高度投入和充裕資源。但我認為這是一個正確且值得的方向。或許可先設定分階段目標,例如3年內實現語言模型SP的顯著進步,5年內實現初步整合語言模型與機器人平台等。

總之,我對你的構想感到十分興奮,期待看到台灣在這個領域有所突破。這需要醫療、教育和科技界的通力合作,以及政府和企業的大力支持。希望以上建議對你的研究規劃有所啟發,祝順利!



DALL E 生成




跟 ChatGPT 的相關交流,請自行連結

Virtual Patients (VP)


2024年7月2日 星期二

又被加薪了

加薪5000元/月-- 執行國科會計畫的主持人費--從1.5萬變成2.0萬(2024年8月開始)

2024年一月起,公務人員加薪4%,另增約1萬元的研究費

台大的新進教師,符合獎勵新聘特殊優秀人才作業要點可獲得加薪4萬元(可持續3年)

這些加薪對於年輕人應是一大鼓勵!!

雖然我已快退休,享受這些加薪的日子有限,但樂於見到此景!!



2024年6月24日 星期一

Claude AI 比較聰明!?

因為最近出新版 Sonnet 3.5,所以我就測試之。

好像比 ChatGPT 4o 聰明一點點... 要實證,就要花功夫....

但其官方宣稱:在推理能力、知識理解、程式編輯、數理以及視覺辨識方面,皆完勝 ChatGPT 4o

AI 競賽,應是生死搏鬥... 第1名才能吸引最多消費者

2024年6月12日 星期三

My GPTs 的應用構想--多層次GPT自主學習平台 (ML-GPT學習平台)

 



擬由沛綺建置連結3 GPTs 之底層架構,以連結3個 GPTs,以便學生操作-並記錄相關資訊

怡晴跟我建置 3 GPTs

最終讓學生可自行/簡易操作,以完成自主學習-並且系統自動記錄相關資訊,以利後續分析與改良!!

Ask ChatGPT for helping me introduce the system:
"請依據上傳附檔內容,以及以下說明與分工:"擬由沛綺建置連結3 GPTs 之底層架構,以利學生操作便利 怡晴跟我建置 3 GPTs 讓學生可自行/簡易操作,以完成自主學習!!" 說明此學習模式之目的、概念與如何分工?並提出評論與建議"

Re: 根據您提供的檔案內容和說明,以下是此學習模式的目的、概念以及如何分工的詳細說明,並附上評論與建議。

學習模式的目的

這個學習模式旨在透過結合三個不同的GPT(練習GPT、回饋GPT、測驗GPT),來提供學生一個自主學習的平台。學生可以透過與GPT對話進行練習、獲取回饋並進行測驗,以提升其學習效果和自主性。這樣的系統能夠自動記錄對話和時間,學生可以簡易操作並記錄和回應學習過程中遇到的問題。

學習模式的概念

  1. 練習GPT:學生與此GPT(虛擬病人[Virtual Patients, VP])進行對話和練習,完成指定的練習任務。
  2. 回饋GPT:分析學生與練習GPT的對話逐字稿,提供評分、優缺點分析及具體回饋。
  3. 測驗GPT:根據回饋中的缺點和問題,針對性地出考題,以確認學生對回饋的理解和改善。

分工說明

  1. 沛綺:負責建置連結三個GPT的底層架構,確保系統的整合和運行。
  2. 怡晴:與教授一同建置這三個GPT,參與系統的設計與開發。
  3. 教授:提供學術指導,確保系統內容和功能符合教育需求,並協助設計具體的練習任務和測驗題目。

評論與建議

  • 評論

    • 這樣的學習模式強調學生的自主學習能力,提供了完整的練習、回饋和測驗環節,對於提升學生的學習效果有很大幫助。
    • 系統能自動記錄所有對話和時間,有助於追蹤學生的學習進度和分析學習效果。
  • 建議

    • 技術方面:在建置系統時,應確保三個GPT之間的連結和數據傳輸順暢,避免因技術問題影響學生的學習體驗。
    • 內容設計:練習任務和測驗題目應該多樣化,以滿足不同學生的學習需求。同時,回饋應該具體且可操作,幫助學生真正理解並改進。
    • 用戶體驗:系統的操作界面應該簡潔易懂,使學生能夠輕鬆上手。此外,可以考慮加入一些激勵機制,如完成任務後的獎勵,來提高學生的學習動機。

透過這些措施,可以更好地實現系統的教育目標,幫助學生在職能治療學科上取得更好的學習成果。

Q: "請給予此嶄新學習模式的中英文名稱,以利後續推廣"

Re: 中文名稱

  1. 自動學習回饋系統
  2. 智能學習助理
  3. 多層次GPT學習平台
  4. 智能自主學習系統

英文名稱

  1. Automated Learning Feedback System
  2. Intelligent Learning Assistant
  3. Multi-Level GPT Learning Platform
  4. Intelligent Autonomous Learning System

這些名稱突顯了系統的核心功能和特點,便於後續的推廣和使用。

Q: "若是 "多層次GPT自主學習平台"如何?" &"請提供縮寫,最好是有意義且易記憶縮寫,必要時修改中英文名稱"

Re: 為了提供一個有意義且易記憶的縮寫,我們可以考慮稍微修改名稱,使得縮寫更為自然且具辨識度。以下是建議:

中文名稱

多層次GPT自主學習平台 (ML-GPT學習平台)

英文名稱

Multi-Level GPT Autonomous Learning Platform (ML-GPT Learning Platform)

縮寫

ML-GPT

這樣的縮寫簡單明瞭,且能夠代表「多層次GPT自主學習平台」的核心概念,便於記憶和使用。






2024年5月31日 星期五

2025年研究室研討會

 

2025年初我們應有頗多研究成果了!!

AI SP, AI 考官,初步訓練成效-且參與者多-故可舉辦交流/成果分享會議!!



2024年5月22日 星期三

OSCE考官現場給予考生的回饋 vs ChatGPT 扮演的考官比較

 研究議題:

OSCE考官現場給予考生的回饋,若與 ChatGPT 扮演的考官比較?優劣各為何?

以下是ChatGPT的看法: 

表:OSCE考官現 vs ChatGPT 考官之特質比較

比較項目

現場考官

ChatGPT 扮演的考官

即時性

能即時提供回饋,針對考生的表現做出即時反應和指導

需等待輸入及生成回應,回饋速度受限於技術及網路連線。

情感交流

能夠展現情感與同理心,使考生感到被理解與支持。

雖然能模擬情感詞彙,但缺乏真實的情感交流,可能顯得機械。

個別化回饋

能針對考生的具體情況和表現提供高度個別化的回饋

根據預設的參數和資料生成回饋,個別化程度有限

專業知識

擁有專業知識和經驗,能夠針對不同情境提供專業建議和指導。

擁有大量資料庫支援,能提供準確的專業知識,但缺乏實際經驗

一致性

回饋可能因考官個人情感、經驗和當時狀況而有所不同,存在一致性問題

回饋基於預設模型,具有高度一致性和標準化

回饋細節

能夠提供細緻的回饋,包括口頭和書面形式的詳細說明。

能夠生成詳細的書面回饋,但在口頭回饋方面受限

反饋透明度

回饋過程和判斷標準可能不完全透明,取決於考官的溝通方式。

基於預設的透明算法和標準,回饋過程和判斷標準透明

可擴展性

受限於人力和時間,難以擴展至大規模的考試回饋。

可輕鬆擴展至大規模的考試回饋,適應多數考生的需求。

互動性

能夠進行雙向互動,針對考生的疑問和反饋進行即時調整。

雙向互動有限,需依賴預設的互動模式和參數,靈活性不足。

成本

需要支付考官的人力和時間成本,對資源有一定要求。

一次性開發成本較高,但長期運行成本低,適合大規模應用。

客觀性

可能受到考官個人偏見和情感影響,影響回饋的客觀性。

基於算法和數據生成回饋,較少受到個人偏見影響,回饋相對客觀

技術依賴

不依賴技術設備,受限於人力和場地條件

依賴技術設備和網路連線,受技術環境影響            


我們目前有一些OSCE考官回饋資料(逐字稿),應可比較之。我想在回饋的內容結構//引用考生表現(用詞)【以利明確指出考生的優缺點】,ChatGPT應可完勝 真人考官!! 我想這也是目前可凸顯 ChatGPT 價值的切入點!!

2024年5月11日 星期六

建立SP的新方法

將「訪談逐字稿+個案資訊」交給 ChatGPT分析其回答問題的特質,再依據這些特質與資訊作為模仿個案(擔任SP)的素材。如此,我們可以快速生成類似真實病人的SP。

之後可加上聲音(我們已有錄音檔/逐字稿)

5~8年後加上人形機器人

如此一 對話特質+聲音+舉止都有了

絕對可以做出數個超級SP!!

一般真人扮演的SP,應該會失業了。


以上請 ChatGPT改寫:

請將以上的概念,改寫成更完整/詳細:

在職能治療領域中,標準化病人(Standardized Patient,SP)的使用已被廣泛應用於教學與評量中,以提升學生的臨床技能。傳統上,SP是由訓練有素的演員扮演,以模仿特定的醫療狀況。為了進一步提高SP的實用性與真實感,本研究提出了一個創新的方法,該方法利用人工智慧技術來創建更加精確和多樣化的SP。

首先,本方法涉及收集與分析訪談逐字稿和相關的個案資訊。這些資訊將提供給ChatGPT,一種先進的語言生成模型,用以深入分析病人在對話中展現的特質,如語言模式、情緒表達和反應速度。透過這種分析,我們能夠識別出病人對話的關鍵特徵,這些特徵將被用來訓練SP,使其更加真實地模仿特定病人的行為和語言表達。

其次,為了增強SP的真實感,我們將加入病人的聲音資料,這些資料來自於事先錄製的音頻文件。通過對這些音頻進行分析,我們可以捕捉到病人的聲調、語速和情感波動,並將這些聲音特性整合到SP的訓練中。

在未來5至8年內,我們計畫將這一方法擴展到使用人形機器人作為SP的實踐。這些人形機器人不僅能模擬病人的語言表達,還能進一步複製其肢體語言和其他非語言行為,如姿勢、眼神交流和手勢。

通過結合對話特質、聲音和肢體語言,我們能創造出「超級SP」,這些SP將在醫學教育和研究中提供無可比擬的價值,使得傳統由人扮演的SP可能會逐漸被這種更高科技、更高仿真度的SP所取代。此方法不僅提高了教育的質量和效率,也為未來職能治療及相關醫學領域的教學和研究開拓了新的可能性。


生成式語言模型AI(例如ChatGPT)在標準化病人(SP)開發中的應用潛力非常大,可以從多個層面提高SP的訓練效果和真實性,以下是一些主要的應用潛力:

1. 增強對話的真實性

生成式語言模型能夠學習和模仿特定個案的語言模式,包括語法結構、詞彙使用、情緒表達等,從而生成符合特定病患特徵的對話。這對於提高SP在模擬訓練中的對話真實性非常有幫助,使得臨床訓練更加接近真實的病患互動。

2. 模擬多樣化的病患行為

AI可以根據不同的臨床情境和個案背景生成多樣化的對話反應,這有助於訓練學生應對各種不同的臨床情境。此外,AI模型還可以模擬不同病症進程中病患的語言和情緒變化,增強SP的情境適應性。

3. 提供即時反饋和適應性學習

生成式AI可以在模擬訓練中即時分析學生的問答,並根據學生的表現調整對話策略,從而提供個性化的學習體驗和即時反饋。這對於學生的學習效率和臨床技能的快速提升非常有利。

4. 無限擴展的訓練場景

利用AI,可以生成無數種基於真實病歷或臨床研究的模擬對話,無需額外時間和人力成本來訓練演員。這使得教育機構能夠提供更廣泛、更多樣化的訓練場景,以應對日益多樣化的臨床需求。

5. 降低成本與提高可訪問性

通過AI生成對話減少了依賴專業SP的需求,尤其是在一些複雜或少見病症的模擬訓練中。這不僅可以降低整體訓練成本,還可以使得這種高質量的臨床溝通訓練更加普及,提高教育的可訪問性。

6. 支持跨語言和文化訓練

生成式AI的語言和文化適應能力使其能夠支持多語言的臨床溝通訓練。這對於多文化背景的醫療機構尤其有用,能夠有效訓練醫療人員應對不同語言和文化背景病患的交流需求。

通過這些應用,生成式語言模型AI在標準化病人開發領域提供了一系列創新工具,有望顯著提升醫學教育的質量與效果。


生成式語言模型AI,如GPT系列,擁有多種先進的特質和功能,這些使其在標準化病人(SP)開發和臨床溝通訓練中特別有價值。以下是一些關鍵特質和功能:

1. 自然語言理解和生成(NLU & NLG)

  • 理解多層次語境:AI能夠理解複雜的語言輸入,包括隱含意義、情緒語氣和專業術語。
  • 高質量語言生成:能夠生成流暢、自然且語法正確的回應,這些回應不僅語言上合適,而且情感上符合人類的交談模式。

2. 大規模數據訓練

  • 基於廣泛數據學習:AI模型通過學習大量的文本數據,獲得對人類語言的深入理解,這使得它能夠適應多種交談情境和話題。

3. 高度適應性

  • 個性化對話:模型可以根據用戶的輸入(如病患的病歷、情緒狀態等)調整其回答的風格和內容,提供個性化的互動。
  • 跨語言能力:支持多種語言,能夠進行跨語言的溝通訓練。

4. 實時反應與互動

  • 即時回應生成:AI可以即時生成回應,使得模擬對話更具互動性和連續性。
  • 情境適應:能夠根據對話情境的變化(如話題轉換、情緒變動等)動態調整回應。

5. 可擴展性和可持續性

  • 應對多種情境:AI模型可以被訓練來應對從常見到罕見的各種醫療情境,包括特殊病症的對話。
  • 持續學習與更新:隨著技術的進步和數據的累積,AI模型可以不斷更新和改進,以反映最新的醫療實踐和語言使用趨勢。

6. 統計分析和模式識別

  • 識別語言和情緒模式:可以分析大量對話數據,識別出特定病症或病患類型的語言和情緒模式。
  • 數據驅動決策支持:生成的分析結果可以支持教育者和臨床專家在訓練和評估中作出更精確的決策。

這些特質和功能使生成式語言模型AI成為一個極具潛力的工具,能夠在標準化病人開發和醫學教育中發揮重要作用,提升訓練的效果和效率。