顯示具有 Thoughts-心得 標籤的文章。 顯示所有文章
顯示具有 Thoughts-心得 標籤的文章。 顯示所有文章

2025年7月6日 星期日

數據/稿件的起死回生!?

數據不好的研究結果,為何可以改變其命運(結果變得比較好,且發表於著名期刊):一個特例!

今年我們發表二篇論文,皆大致發現:GKCSAF displays acceptable intra-rater but poor inter-rater reliability in occupational therapy clinical scenarios.(心理&生理領域)(二篇論文皆有 inter-rater reliability 驗證,但ICC結果皆差,二文結論也如此定位--poor inter-rater reliability!我應發表>50篇類似論文了,資料分析與解釋,絕對經驗豐富!)(Note: GKCSAF 是國際著名的溝通技巧評估工具)

因為上述2論文皆有錄音/逐字稿,故我們去年提出新的研究構想:設計 ChatGPT 使用 GKCSAF 以評估逐字稿中學員的溝通技巧,再跟前述2篇論文專家 raters 的評估結果比較。

我們初稿的重點(牛肉)放在「發展 ChatGPT rater」 以及「ChatGPT評估結果跟專家評估結果無顯著差異(如 Figure 1所示:ChatGPT評估的總分大多在專家評估總分之間)」,後者我們的解釋為:代表 ChatGPT rater 或可替代專家評估。那時,我們未驗證效度.... 且ChatGPT與專家評估結果之ICC差(如同已發表論文之結論)...
Figure 1. Total scores of the ChatGPT rater (blue) and human raters (gray).

審稿後,有位審查委員認為我們既沒有驗證效度,主題就勿稱為 "validation", 另一個委員建議我們繪製下圖(各種raters 之評分總分比較) 

Figure 2. 所有 raters 之評分總分比較

Figure 2 讓我們更清楚:各raters 評分結果真的差別有限(總分皆在很窄的區間)!!若此為真(當然要相信數據,但哪一項統計指標的數據?), inter-rater reliability 真的不好嗎?且我們可否將多位專家 raters評分的平均值,當成效標,以驗證效度(concurrent validity)!? 

所以在修改稿件時,我們就增加 "mean absolute error" 以及 "mean absolute error %"二統計指標(這比是否統計顯著,可呈現更直觀的總分差異大小), 再將多位專家 評分的平均值,當成效標,驗證效度!! 我們發現GKCSAF總分在"mean absolute error" 以及 "mean absolute error %"結果不錯(inter-rater reliability & concurrent validity二驗證皆類似),所以支持 ChatGPT rater 總分的 inter-rater reliability & concurrent validity至少是 acceptable!! 我們也說明ICC因為總分差異小(如 Figure 2 所示),故可能造成ICC值被低估。

就這樣(事實上,主筆者--玉正努力了許久/被我嚴厲折磨...)稿件被 (Medical Teacher主編) 接受了!!

此稿件已成為我自認的代表性著作:Ju YJ, Wang YC, Lee SC, Liu CH, Lee ML, Hou CY, Yang CW, Hsieh CL. Development and validation of a GPT-based Rater for Assessing Communication Skills Using the Gap-Kalamazoo Communication Skills Assessment Form. Medical Teacher. 1st July, 2025. Accepted for publication. 

有興趣者可參考玉正的反思與心得

衍生的議題:如這貼文第2段所提--今年我們發表二篇論文,皆大致發現:... poor inter-rater reliability, 這解釋可能有誤阿!!已請玉正個別分析之,再思索是否寫信給主編更正解釋 或 撰寫 letter-to-editor.....以還 GKCSAF 公道!還有自我修正!!

感謝 reviewers 的評論, 讓我們成長,還有接受我們的論文!!

2023年7月15日 星期六

人才、專業 + 資料

人才、專業 + 資料 + 團隊 = 專業持續向上提升,也是臨床OT科室建立特色的關鍵!!

人才培訓的重點包含本職學能+研發能力+溝通能力,除了獎勵/評等辦法,另一關鍵為邀請國內師資遠距教學,可大幅提升師資廣度與可行性。

研發的關鍵,除了上述人才培訓的重點,關鍵在於「資料庫」的建置

  • 就「教學醫院」言,資料庫有二種:1. 臨床評估/治療(病歷)資料庫;2.「UGY與PGY之教學(影音)資料庫」
  • 臨床評估/治療(病歷)資料庫,主要是例行評估工具需使用國際知名評估工具,定期評估/記錄、並輸入介入目標、介入內容等於(電子)病歷紀錄,即可自動形成臨床評估/治療(病歷)資料庫。最可行的方式為列入UGY與PGY教學,由學生/員定期執行之,再由臨床教師督導之,以提升品質。【另一關鍵為呈報健保申報的OT資料,如何逐步更改為國際知名評估工具】【Note: 目前國內臨床OT科室之病歷/健保申報資料幾乎皆非國際知名評估工具之數據,故資料品質有限,殊為可惜!】
  • UGY與PGY之教學(影音)資料庫之建置辦法,宜包含回饋與評分辦法,一併列入教學/訓練內容。有關錄影對象與次數,可以立意抽樣錄影即可。如每個月錄影一次各種評估、介入、作業、報告等。錄影後需找資深教師觀看/評分,列出優缺點,再給予學員深度回饋。
團隊的組成,宜包含臨床與研究人員,定期討論、分工/分享、相互支援。

臨床人員主負責建置與維護資料庫以及責教學;研究人員協助規畫,協助教學、準備研究計畫、分析資料、與發表研究成果。

以下是 ChatGPT 協助說明與 plugin 的繪圖--

提示:您是一位教學醫院的資深研究人員,你想說明教學醫院之教學資源可轉化為研究資源,概念如下:教學資源 = 研究數據 = 研究資源 = 研究題材 = 研究成果

請簡要說明之,皆須與UGY與PGY教學相關。/Language: traditional Chinese

ChatGPT:

在教學醫院中,教學資源可以被轉化為研究資源,這是一個循環的過程,以下是詳細的解釋:

教學資源:這包括了UGY(Undergraduate Year,本科生【Note: 實習學生】)和PGY(Postgraduate Year,研究生【Note: 畢業後學員】)的教學資源,如課程內容、教學材料、實驗設備、臨床實習等。【Note:臨床實習之訪談、評估與介入等】

研究數據:這些教學資源可以產生大量的數據,例如學生的學習成效、教學方法的效果、臨床實習的結果等。這些數據可以被用來進行研究。

研究資源:這些研究數據就是研究資源,研究人員可以利用這些資源來進行各種研究,例如教學方法的改進、學生學習成效的提升等。

研究題材:這些研究可以產生各種研究題材,例如如何改進教學方法、如何提升學生的學習成效等。

研究成果:這些研究題材最終會產生研究成果,這些成果可以被用來改進教學資源,從而形成一個循環。

這就是教學資源如何被轉化為研究資源的過程。在這個過程中,UGY和PGY的教學都扮演了重要的角色。



提示:您是一位醫學院教授,請協助說明以下概念:人才、專業 + 資料 = 持續向上提升!!

人才培訓的重點包含本職學能+研發能力+溝通能力

研發的關鍵,除了上述的人才培訓,關鍵在資料庫的建置

就教學醫院言,資料庫有二種:1.臨床評估/治療資料庫;2.教學(影音)資料庫

GPT:  這個概念的核心是將人才、專業知識和資料結合,以實現持續的提升和進步。讓我們來詳細解釋一下:

人才:這是任何組織的基石。在醫學院的背景下,人才可能包括醫生、護士、研究人員、行政人員等。這些人才需要具備專業知識和技能,並且需要持續學習和進步。人才培訓的重點包括本職學能(例如,醫學知識和技能)、研發能力(例如,進行醫學研究的能力)和溝通能力(例如,與病人和同事有效溝通的能力)。

專業知識:這是人才能夠有效工作的基礎。在醫學院的背景下,專業知識可能包括醫學理論、臨床技能、研究方法等。專業知識需要透過教育和培訓來獲得,並且需要透過持續的學習和實踐來維持和提升。

資料:這是決策和改進的基礎。在醫學院的背景下,資料可能來自兩種主要的資料庫:臨床評估/治療資料庫(包含病人的醫療記錄和治療結果)和教學資料庫(包含教學資源,如講座錄影、教科書、研究文章等)。這些資料可以用來評估和改進臨床實踐,也可以用來教育和培訓人才。

當我們將人才、專業知識和資料結合起來,我們就可以實現持續的提升和進步。人才可以使用專業知識和資料來改進他們的實踐,專業知識可以幫助人才更好地理解和使用資料,而資料則可以幫助我們評估和改進我們的人才和專業知識。這是一個持續的循環,可以帶來持續的提升和進步。

以下是 Bard 的說明【新輔具】:

以下是關於「人才、專業 + 資料 = 持續向上提升」的概念說明:

人才是任何組織的關鍵資產,優秀的人才能夠為組織帶來創新、效率和競爭力。專業是人才的基礎,優秀的專業知識能夠讓人才在其領域做出卓越的貢獻。資料是人才的工具,優秀的資料能夠幫助人才做出更好的決策、解決更複雜的問題和取得更大的成就。

在醫療領域,人才培訓的重點包含本職學能、研發能力和溝通能力。本職學能是指醫護人員所需的基礎知識和技能,例如解剖生理、病理學、藥理學等。研發能力是指醫護人員能夠不斷學習新知識、新技術,並將其應用於臨床工作。溝通能力是指醫護人員能夠與患者、家屬和其他醫護人員有效溝通,並建立良好的關係。

在醫療領域,資料庫的建置是研發的關鍵。臨床評估/治療資料庫可以幫助醫護人員更好地了解患者的病情,並制定更有效的治療方案。教學(影音)資料庫可以幫助醫護人員學習新知識、新技術,並提高臨床技能。

總而言之,人才、專業 + 資料 = 持續向上提升。在醫療領域,優秀的人才、專業和資料能夠幫助醫護人員提供更好的醫療服務,提高患者的健康水平。

以下是一些關於資料庫的具體示例:

臨床評估/治療資料庫:可以存儲患者的病歷、檢查結果、治療方案等信息,幫助醫護人員更好地了解患者的病情,並制定更有效的治療方案。

教學(影音)資料庫:可以存儲醫護人員的講座、手術錄像、病案解析等信息,幫助醫護人員學習新知識、新技術,並提高臨床技能。

資料庫的建置和應用可以幫助醫護人員提高工作效率、降低成本、改善醫療質量。


2023年5月8日 星期一

投入研究的動機、決心、毅力或興趣

該文提到的「全英高教」... 是指要招收國際學生...
讓我較有同感之處主要是:「我認為臺灣學生的學習動機都相當薄弱...」

我就翻一下我的 blog posts...
Sep. 10, 2016 分享的內容如下(粉綠標示為今日加上的):

【我想】一般學生對學術研究的瞭解,就是很辛苦,需要讀很多論文,將來也不一定可以找到好工作,所以怎麼會有興趣或動機?? 即使剛開始 有一些興趣或動機,也很容易因為挫折、瓶頸、知難而退,之後打死也不幹了。。。。

剛畢業的學生如此,臨床人員亦然。這些夥伴之中,即使是研究所學生,要有【長期】動機做研究,【持續】費力培養8大核心能力,或持續發表論文的機率很低。所以我們可以看到很多碩士畢業之後不再做研究,遑論發表論文了。找我應徵博後工作的博士們,竟有高達一半之博士,已發表之期刊論文數量竟然<=1... 這樣的陽春博士很難找到學術研究工作,若畢業幾年後,仍無突破,大概這輩子就沒機會了

我年輕時,因為想不到更好的OT出路,所以去念研究所。工作之後想升等,很快就知道關鍵在論文【也是算慢才知道】,因此我是受到【需求】的驅力,讓我努力投入研究
後來嘗到研究的樂趣,倒吃甘蔗,樂在其中,就更投入,又待在良好的【環境】,【良性循環】就產生了!!這時就【樂此不疲】【動機強烈且持續】

那樂趣【從何】或【何時】到來 !? 簡言之,【需有成就才有真實的樂趣】,意即從頭到尾【從構想、設計、執行、分析、撰稿與投稿】苦幹實幹完成一篇論文,就會有成就感,多幾篇之後樂趣/興趣就來了。這從頭到尾一路走來當然辛苦,若有團隊加持,你會少苦一些,但仍然很苦,因為本身功力不足,不易突破。這時【決心】與【毅力】就扮演關鍵的腳色。

所以僅憑【動機】或【需求】不足以持久,更難以樂在其中。

決心與毅力、持續努力,加上良好的團隊與環境才是關鍵!!

2023年4月24日 星期一

ChatGPT(或生成式AI)的功能與價值實現之關鍵 -- 使用者的心態與功力

有關ChatGPT的功能,其所掌握的【知識廣度】以及【反應速度與完整性】,已非絕大多數人類可比擬。

就【知識的含金量】言,從她已高分通過美國醫師與律師的執照考,這顯示她已打敗諸多受過高等教育者。還不接受,我就無言了。

若心態上接受,善用她的關鍵就在於使用者的功力,因為使用者是給予提問與訊息的關鍵,甚至判斷【其回應】與【給予的提示】是否合適/需要(如何)修改。

使用者的功力主要在二面向:一、給予提示/訊息的明確程度與深度【這牽涉知識的廣度與含金量】;二、判斷ChatGPT回應是否正確與合適,以及修改提示【這牽涉批判力與調適能力】。

Enjoy using ChatGPT for the following.....




April 22,  2023 學系研討會之部分PPT


2023年2月15日 星期三

2/10研討會補充之八 -- 畢業後繼續教育之重要性、需求與現況

重要性無庸置疑。

尤其是如果畢業時是23歲,於60+歲退休,那就是【畢業後繼續教育】必須提供這40年所需

換句話說,大學4年所學,斷然不夠畢業後所需。

雖說有PGY,繼續教育課程,但這些課程的【系統性】、【含金量】如何? 直言之,大多數只是簽名/拿學分!!故畢業後很難獲得系統/深入之知識。

雖說臨床人員皆有豐富實務經驗,且可持續累積。然而臨床情境封閉,臨床人員只面對病人/家屬,欠缺專家現場/多次指導(正),這樣的經驗累積,效益相當有限,臨床技能很快就到達天花板。故畢業後臨床技能經大量、快速累積經驗後,即達瓶頸。應該不到一年,就很難再突破。除非輪調,但只是【更】快速到達另一個天花板。

另一項關鍵是臨床人員的【成就/學習動機】以及【學習能力與毅力】。這關鍵也影響【現況】,臨床人員是否呈現強烈的成就/學習動機,是否給予學會/全聯會足夠的壓力,以規劃系統/深入的課程。

還有學習環境與團隊,有無高手長期指導!

以上代表整體專業人員之素質、貢獻與成就,甚至薪水!!

2023年2月12日 星期日

2/10研討會補充內容之五 -- AI 的功能與願景

1. AI是後續任何專家必備/強大的工具(代表知識庫【含實證】與處理速度)

    若還有疑惑者,請以英文玩玩 OpenAI (試問 OpenAI 專業問題,並跟一般畢業生比較或跟臨床10年之臨床專家比較)【使用英文的主因是英文資料庫的廣度與深度最佳】

Q for OpenAI (Feb. 12, 2023): What are the differences between ability, capability, actual performance, and perceived difficulty of activities of daily living?

  • Ability: Ability refers to an individual's potential to perform an activity or task. It is determined by an individual's physical and mental capabilities and is not necessarily related to actual performance.
  • Actual Performance: Actual performance refers to how an individual actually performs a task or activity. This is based on the individual's current level of ability, motivation, and any environmental or situational factors that may influence the outcome.
  • Perceived Difficulty: Perceived difficulty refers to how difficult an individual believes a task or activity to be. This is based on the individual's experience, beliefs, and expectations, and can vary greatly from person to person.

2. 專業涵蓋領域越廣/個案歧異性越大,AI能提升之效能越佳,因為只有AI才能快速有效率地處理龐大的訊息量,甚至做出決策指引

3. 達成上述的關鍵在於相關專業知識 (dimain knowledge)、(追蹤)資料庫以及良好的評估工具【給予AI標準答案,以訓練AI】

另2021學系研討會舉辦AI概念與應用研討會(相關資料/videos皆可觀看)




2/10研討會補充內容之四 -- 專家=概念、工具與技術之專精程度

以ADL言,

誰的ADL概念/知識掌握最佳,解釋最清楚? 亦請留意--概念/知識皆會演進,並非一成不變。專家甚至會打破舊有的概念,提出新的觀點。

  • 你對ADL概念/知識掌握多少?解釋多清楚?就代表你在ADL的專家等級!

誰有最佳的工具,代表誰能將概念/知識量化! 最強的專家必定具備最佳的工具,以將相關概念/知識具體/真切呈現,以利臨床決策或呈現療效。

  • 你的ADL評估工具有多全面/精準?效能如何?就代表你在ADL的專家等級!

誰對個案ADL改變影響最大,且能持續突破效能(改變/時效/$$),也代表在ADL的專家等級

  • 關鍵因素:概念/知識 + 評估工具 + 實證 + 研究=專家等級,但前2者絕對是關鍵!
以Visual Function言,

  1. 誰的Visual Function概念/知識掌握最佳? 甚至誰有解釋/主導權,誰就是世界級專家!!
  2. 誰的 Visual Function 評估工具最全面/精準?最有效能?
  3. 掌握上述2者,就越接近改變 visual function! 

我很高興參與 "the Visual Function Battery for Children with Special Needs" 之發展與驗證,後續仍有諸多需要改善/向上提升之處,繼續努力!!

2022年11月25日 星期五

同理技巧/成效階層之相關研究題材

以同理成效言,較可能是單向度,故階層/層級應較明顯

以同理技巧言,較可能是多向度,故階層/層級應較不明顯,或是某些技巧之層級較明顯(或是某些技巧屬於同一層級)

目前我們已開始執行病人感受「同理成效」收案,相關研究主題如下:

  1. 每位治療師需(我們需收集)多少位個案之同理成效反應,即可獲致穩定的治療師之同理成效(代表治療師的同理能力/成效)
  2. 同理成效(項目)是否為單向度
  3. 同理成效之層級可粗分幾級
  4. 治療師 vs 實習學生之同理成效(層級)差異

我們年底之前,若可收集到50位病人資料,或可初步驗證之(請怡晴於2023年年初協助確認/通知我)。2023年的研討會可分享初步結果。

另,我們已有諸多「學生自覺」、「專家評估」以及「個案感受」之「同理技巧」收案,相關研究主題如下:

  1. 哪些同理技巧 (項目)是單向度
  2. 各同理技巧之層級可粗分幾級
  3. 治療師 vs 實習學生之同理技巧差異
  4. 哪些同理技巧較能反應同理成效?
  5. 哪些同理技巧是「目前」提升實習學生同理技巧/成效之瓶頸
Note: 1. 同理技巧/成效之分級,有利於設計同理教材以及反應受試者之同理能力/階層。然而,較高階之同理階層(如支持病人或病人覺得獲得支持)很少出現於臨床互動(現有資料很少發現 )。故我們必須確認/提升實習學生(或臨床治療師)之同理層級,並針對其瓶頸提供特定之教學/示範/交流,始有可能出現/達成較高階之同理階層,亦才有可能驗證同理技巧/成效階層。
因此同理階層相關之理論/工具/教學成效才可能相互驗證/支持。
2. 上述相關概念/研究主題應可應用於「溝通技巧/成效」。

2021年9月26日 星期日

政策對OT發展之影響

這是醫療社會學的議題之一

政策/法令,可從上而下,其影響既深且遠。這是政策或政治/管理,迷人之處。

然而,政策/法令/政治皆是眾人之事... 利益團體眾多(各種專業團體、民間團體、政府官員以及民意代表),各憑本事,難有共識。

前幾年,政府推對居家照護,「OT所」如雨後春筍開張,但好景不常,影響諸多OT的工作與收入...

去年吧,PT/OT想修改法令,私下用力經營,看似水到渠成,但引起其它醫學會的抵制,最後被擱置...

就OT群體而言,我們的集體力量如何?

就政府官員而言,他們參考誰的意見?

有少數OT擔任衛生主管機關之官員,這些OT官員又如何決策?

2021年2月5日 星期五

面對瓶頸/問題--成長/突破的關鍵之一

一般人並不太願意面對自己的不足或找人檢視... 至少是蠻尷尬的

最近我帶著研究生觀看他們的報告錄影檔案

一起討論【如何提升PPT與演講方式】

10分鐘的演講,大概需要1小時的討論!!

一切進入慢動作模式//反覆觀看/聆聽/交流!!

這些檢視與交流,可以達成下述功能

1. 改良 PPT 內容與設計

2. 提升對內容/知識的理解層次(甚至改善相關內容之表達模式)

3. 改善演講方式/效能

意即--知識與功力,在【慢動作檢視下】研究生的問題一覽無遺.... 我只需提出合適的建議,他們就可以【相當程度地】成長!!

不看錄影檔/討論,大概都不知道還有這麼多可以改善/成長空間!!

願者上鉤,歡迎報名!!

Note: 一般人並不太願意面對自己的不足或找人檢視... 至少是蠻尷尬的【這就跟臨床技能評估與教學 所遭遇的困境一般-- 醫療人員甚或學生,找一堆理由,不願/不想被錄影/檢視】

能不能向上提升... 態度 (積極面對問題) 、方法 & 努力  應是關鍵 !! 否則就是停滯或慢吞吞。

2021年1月4日 星期一

寫不寫 科技部計畫 的幾個如果....

「如果沒有寫計畫就拿到經費,我不會像現在一樣珍惜每一塊錢」

「如果我沒有計畫被當經驗,我將不知研究室幾近斷炊的痛苦,更不會提醒自己要謹慎小心地審別人的計畫」

「當然,寫了計畫才更能沉澱思緒,釐清研究方向,進而設計有創意的實驗。」

可改成「如果沒好好寫計畫,我就無法沉澱思緒,釐清研究方向,進而設計有創意的實驗」

詳原著:趕計畫,有感!

我再加幾個如果....

「如果沒好好寫計畫,我就難以更新最新文獻/進展,就不會知道天高地厚」

「如果沒好好寫計畫,我就難以擴展視野,更不會作夢/擘劃後續發展藍圖」

「如果沒好好寫計畫,我就難以磨練自己的筆刀,就會生鏽//接著腐爛」

「如果沒好好寫計畫,我就難以提供研究生良好的學習/成長環境」

「如果沒好好寫計畫,或許我的人生就回歸平淡.... 變成黑白」

寫在今年參與約10項科技部畫計畫之後...

感謝所有主持人/共同主持人,研究生還有助理(被我逼著給意見...在短時間之內)

「如果我沒有想要好好寫計畫,某位助理就領不到6000元獎勵了」

「如果我沒有想要好好寫計畫,某位助理就不會被我壓榨,我們就看不到美美的插圖了」


... 待續

2020年8月8日 星期六

寫計畫寫得有點虛脫了....

這一個半月,寫了5個計畫... 不是大計畫,但還是費力氣....

士捷協助寫另外3個計畫... 我給簡單意見

今日基本上都完工了,氣力也幾乎放盡...


我退休前可寫的計畫(有些計畫像在作夢),基本上已經有限(白日夢有限了)

最大的計畫/賭注應該是AI相關計畫...

尤其溝通/同理心研究(這是部分AI的前趨研究,以累積經驗與資料),已動員/投入諸多人力.... 成果仍在虛無飄渺中

有點像 COVID-19 快篩/治療/疫苗等計畫---全世界已動員/投入諸多人力/資金【這是顯學//又緊急】.... 但成果仍在虛無飄渺中。且大多數的研究結果,應該都是失敗,僅有極少數才會派得上用場!!【WHO表示,全球目前約165種疫苗處於試驗階段,其中26種已進入臨床試驗,6種已進入3期臨床試驗階段。2020/08/07】

這是研究的特質--充滿不確定性//大多失敗收場... 但是可以學習/成長許多!!尤其對於最新知識之掌握//新領域的探究皆充滿探險與滿心期待

虛脫了,就好好到球場流汗... 

之後,還有一些稿件待協助(博班生/博後/還有學校老師-合作者,至少5~8稿件),還好沒有截止日期,各自努力,再交流/合作

我還有一些學術研討會摘要/海報需準備(約5~8稿件)9月中旬截稿

科技部計畫的期末報告需準備(約3~5件)10月底

助理/研究生待拉拔(約5~8個,他們幸福嗎?),有些比較急,好好聊,其它就各自努力

資料待探索(USA的資料庫,一定好好運用!今年建立的新合作關係,須把握!!)

教科書需更新(4個章節)

科技部計畫(至少5~8個)年底之前,需好好努力!!

這半年的研究休假 可以很充實!!事實上,多年來一直很充實/踏實,我還在成長/發展中


2020年7月11日 星期六

無聊就創作吧

年紀大了。。。家人不在旁
暑假又沒課。。。
自由的時間頗多。。。孤獨/無聊的時間也跟著多了

時間若是最有價值/力量者,那如何運用?
如何打發無聊//孤獨時間,將之轉換成價值與力量,甚至知識/成就?? 這便是我這邁向孤獨老人必經之考驗【或自我提升之鍛鍊】。。。

** 那就想想未來的研究計畫。。。想想撰寫中的稿件。。。這些比較像作夢或創作,畫畫大餅,或許可以實現!!

八月就有多個小計畫必須申請。。那就及早準備。。開始創作吧!!

發展 【AI 短版測驗】是我目前的主要研究方向之一(其價值除了節省時間,也可獲致跟原版幾乎一致的分數,也就是能做到類似 CAT的快速精準的境界!!且是獲致原分數,使用者容易解釋分數之意義,故可跟長版交互使用)
如短版生活品質測驗、短版認知功能測驗、短版兒童發展測驗....

另一主題為【以AI發展較精準之工具】: AI 的長處之一是可預測標準答案(如長版分數),之後我想應用於提升精準度!如認知工具常需要多次測試始能獲得較精準(低誤差)之分數... 也就是讓AI預測//輸出較精準之分數。

發展同理心評估工具:包含專家評估、醫療人員(學生)自評以及個案評估。雖然目前已有不少同理心評估工具,但很少評估「同理行為/回應」之工具,若有也是繁瑣/難行。

還有一些「進行中計畫」之延伸,如認知工具、情緒辨識、溝通評估工具、社會知覺等。。。

to be continued....

2018年11月30日 星期五

團隊成員可以競爭,但不能翻臉

團隊成員競爭難免,尤其可能共事(待在同領域)20~30年

搶教職,搶資源,搶學生,搶論文作者排名。。。都是競爭,尤其資源/機會有限時

如何營造「良性競爭」並避免紛爭,甚至撕破臉。否則同室操戈,親痛仇快,可說終身遺憾(少了朋友/多了敵人)。

避免翻臉的方法之一,就是「絕不」刻意/主動傷害團隊成員,絕不出惡言,少評論他人
無心之過,就及早釐清或道歉。受委屈/傷害者,可及早找老師釐清。

競爭是必然的,贏者謙卑,輸者坦然,皆須繼續努力!
學術之路,既寬闊且長遠!! 也需要團隊成員相互扶持,一起茁壯!!

建構團隊很難,長期合作也難,但這皆是學術路途中之必經考驗。

路遙知馬力,日久見人心!
還是要積極/把握良機/人才/爭取資源,但無須因競爭而傷他人/毀長遠。

原 post 於 Aug. 8, 2017,Nov. 30, 2018 修改
有感於高雄市長「君子之爭」。。。

2017年8月20日 星期日

閱讀與評析論文 對於 臨床與學術生涯 之意義

閱讀學術論文是 up-to-date 的關鍵
但論文越來越多,甚至內容/研究設計/資料分析,皆越來越複雜
評析/消化論文之能力,益形重要

評析論文的基礎在於 研究設計/資料分析/解讀能力,這是碩博班才有的訓練
若要有足夠的功力,則須具備多次論文發表的實戰經驗

若無充分的實戰經驗,就跟隔鞋搔癢一般,難以評析入裡

論文發表過程一定須閱讀/評論多篇論文,也會被審查委員評論。
評析功力在此磨練與切磋之後,自然日益提升!!

閱讀與評析  對於  臨床與學術生涯  皆是  向上提升  的關鍵!!
閱讀與評析的境界提升與瓶頸突破,除了依靠碩博班系統訓練奠定基礎,執行研究/發表論文是主要關鍵!!











2017年8月6日 星期日

稿件審查意見回應 vs 如何跟指導教授學習 要點/原則一致

我回應稿件審查意見 ,第一要點是:充分瞭解其意見/評論為何!!對意見/評論的第1感受一定是苦澀的,但我們一定要避免情緒反應,因為這只會讓我們沮喪,甚至影響判斷力與學習能力。

若審查意見有道理,或某種情況之下會成立(這常出現),或我考慮不周(這也常出現)。這很簡單:接受/改寫。

若無道理,甚至錯誤。這也很簡單,跟審查委員講清楚概念/緣由,再加上幾篇文獻。文章也改寫一下,以免讀者也有同樣困惑。

判斷審查意見有無道理,或何時可能成立,多年來的訓練,我的判斷力與日俱增。論述能力亦隨著持續撰稿/改稿/撰寫 blog 而漸增。所以回應稿件審查意見,效率頗高!! 功力還在持續提升之中!!

多數學生卡關在,難以接受審查者的道理(或何時成立),也無力講清概念。這時需跟指導教授好好交流,究竟審查委員的道理何在!!

切記:
1. 無須因為他人的評論而感到沮喪,因為這是我們進步/提升的契機。有道理就接受,增廣見聞,功力就提升。沒道理,就好好講,表達能力隨之提升!
2. 一定要避免情緒反應,因為這只會讓你沮喪,甚至影響判斷力與學習能力。
3. 感謝給你評論的人,他們費時費力給你意見。


2017年7月16日 星期日

論文越來越多,難度越來越高

圖 1: Search PubMed "quality of life[majr] AND 1980[DP]"
我1994年開始當老師,1995年PubMed 蒐錄論文中僅有7百多篇論文之主題與QOL相關,20年後,竟有將近 7千篇!!

最近5~10年論文數量增加的速度,令人震撼!!
數量增加,難度/方法學的複雜程度亦隨之攀升。。。
一般人,如何跟得上!?

圖 2: Search PubMed "meta-analysis [TI] AND 1980[DP]"

1995 年才只有300篇,2015年竟有36倍的 meta-analysis 論文
一般人可以不看meta-analysis 論文嗎?

以上是準備9月授課的部分內容,讓碩一研究生震撼一下!!
我們如何跟得上時代的進步!??

2017年5月15日 星期一

decisional conflict & regret

decisional conflict 可說是  面對不同決策選項時  內心掙扎/衝突的狀態

這幾乎是人生重大事件 decision making 過程中,必經之歷程

以念研究所為例,要不要念碩/博班?要出國還是在國內念?要找那位指導教授?要選擇那項研究議題?要跟那些人合作?要採用那種研究設計?要採用那種資料分析方法?要寫中文或英文論文?要不要申請科技部千里馬計畫?

理論上,相關知識不足、努力不足、溝通能力不佳、沒有高手支持等 都會造成 regret!

但知識、努力與外在支持 vs decisional conflict vs regret 都是線性相關嗎?
還有幾個重要變項如 attitude, timing, context 皆可能是中介變項

我的學生常經歷 decisional conflict 甚至 regret
me too!

我能如何幫助他們?又能幫助多少??

Note: 1. 以上是這幾天閱讀 SDM 相關文獻(主要是 decisional conflict)之心得。
2. 再舉一個 decisional conflict 的例子: 你想當 不滿足的蘇格拉底,還是滿足的豬 ?
3. 論文如果念懂,除了增長專業知識,還可概化,應用於相關領域。

2017年5月14日 星期日

OT 教師退休潮來臨:臺大研究生的大好良機

中山醫學大學有老師即將退休,高醫有老師已預約2~3年後退休
NTU OT老師,最慢於5~6年後,也將引爆退休潮(張、曾、薛、林、潘、黃、謝)
也就是約6年後,到我最遲屆齡退休的日期(2023~2030年2月1日),這期間,平均每年皆有一名屆齡退休老師!

屆時臺大博班畢業生能夠搶到多少位置!?
這也代表臺大博班之辦學成效。
若從這2年義大與亞大OT新聘老師之結果而言,可謂成效良好。

我們的優勢在於「研究成果」,劣勢在於「國際經驗」。
所以,除了鞏固優勢,須減少劣勢影響(加強英文、參加國際研討會、參與科技部千里馬計畫或博後。。。)
另外「在地優勢」也是關鍵之一,但這能載舟亦能覆舟!
好好準備,就會掌握到好的工作環境,一輩子!!

我還有3次半年期研究休假,一定好好規劃/掌握!!
目前考量是:澳洲 (2019/20)、歐洲(2023/24)以及美國(2027/28)
look forward!!

2017年4月16日 星期日

心理計量驗證之研究旅程

目前寫至20回 Sep, 2022
第一回: 沒有回頭路*

 回到1992年,我的博論需要先發展一份問卷,以收集論文主要變項之資料。

如果設計不出來,我沒有資料,一定畢不了業。。。

然而,基本上我心中懷疑: 問卷科學嗎? 客觀嗎? 資料 (數據) 有說服力嗎?

這種想法應該跟很多人 (學者) 心中的想法一樣: 問卷是不可靠的、每個人解讀不同(不同人填寫的結果難以比較),也就是因人而異。所以當時的看法是:問卷較不客觀、較不科學!

但無論如何,我要畢業,只能埋頭設計之。。。沒有回頭路,誰想博論中途更換主題。*

我當時參考的文獻不太多,也很難找,因為主題很台 (偏頗)*,國外很少人研究。另外,可以問的人也不多,因為我是念【人類與社會學系】,我的指導教授之專長是【社會流行病學】。我周邊可謂沒有真正心理計量專家。

另外,更嚴重的是,事實上,我當時也不知到【心理計量】,還沒看過 psychometric(s)這個字。

後來竟然,3年多一點就畢業了。。。1994年還順利找到【我自認為】【全世界最好的工作】: 臺灣大學教師,雖然是從【助教】起聘。* 所以加上碩士不到一年完成,4年就完成碩博士學位。*可謂神速。

當時主要的問卷設計方法就是多想一些題目,再找個案測試。。。
後來的資料分析,以專家判斷題目之面向,再以 Cronbach's alpha 刪除題目。。。還好所剩題目足夠,就有資料可以進行後續分析了。
這都是我指導教授教我的。。

Note:
1. 希望能夠每週寫一回【故事】。。。
2. 當時是自己訂題目,再找指導教授確認是否可行與指導。
3.民國83年時,NTU 的【助教】是教師缺,可以升等為講師。。。至教授。就看自己的努力。所以  當時 我已佔有【自認】【全世界最好的工作】之職缺。
4. 這是很快的速度,但功力如何?後續潛力如何?還未定案。
5. 我深知博論中途換主題的痛苦,但有些時候,如果遠方真的看不到光線,也需要硬著頭皮好好跟指導教授談一談。這蠻無奈的,但誰能保證結果呢??





第二回: 個人迷失或集體迷失??

第一個迷失:療效驗證最優先/重要!?*
我第一個國科會計畫 (現更名為科技部) 是 postural control 訓練的療效驗證,RCT設計喔!!
民國1995年8月開時執行。
然而當時因為經費有限(只有 35萬),聘不起助理,且是一年期計畫 (當初也寫不出多年期計畫),我的時間也有限。。。結果就可想而知了。。樣本數太少,草草結案了。

我後續還有做過一個ADL療效驗證,但還是因為【經費人力】受限,只能執行 repeated assessments 研究設計,也就是放棄RCT設計了。 後來結果還可以,也有投稿。但被拒絕二次之後,就成為我這一輩子,極少數永遠躺在家裡的稿件了。

第一個國科會計畫 對我後續研究的主要影響有二:
一、為了尋找【可令人信服】的評估工具,就找了PT老師,拜託她幫忙,用她的平衡儀器驗證。讓我發深省 Is there a myth? 詳第二個迷失。
二、RCT需要足夠的資源 (含人力、經費、臨床資源還有時間),否則難以完成。*

第二個迷失: 儀器比臨床量表科學、精確,也受到信賴!?
開始使用 PT老師的儀器後,約病人更麻煩了,因為除了須配合個案的時間,也需要配合儀器的時間。另外儀器也會生病(故障)以及維修。。。很麻煩!!

另外,要教導中風病人接受儀器測試,也是一番工程,除了要保障安全,還須要教導個案做出預訂的動作。。。從儀器校正、安頓個案、教導個案動作、練習、測試、必要時休息一下。。 的確,我能得到一大堆數據。。還需要花一些功夫才能取得數據。。但結果可靠/有效嗎?

上述這些經歷,還有花費一些研究經費在這平衡儀器上,我得到很重要的啟示: 儀器不好用,結果也不太可靠。

後來還因此,前前後後,進行過三個研究,以比較儀器與臨床量表之心理計量特性,結果證實,儀器所得結果未比量表可靠!!甚至有些儀器所得的指標非常不穩定(不可靠)。

有興趣者,詳下列3篇論文。
1. Chen CH, Lin SF, Yu WH, Lin JH, Chen HL, Hsieh CL. Comparison of the Test-retest Reliability of the Balance Computerized Adaptive Test and a Computerized Posturography Instrument in Patients with Stroke.Arch Phys Med Rehabil. 2014:95:1477-83.
2. 吳宗憲,戴翊,謝清麟,陳嘉炘,李素,林昭宏。比較中風病人上肢動作量表及運動學分析之再測信度。物理治療。2010;35:292-9.
3. Chien CW, Hu MH, Tang PF, Sheu CF, Hsieh CL. A comparison of psychometric properties of the Smart Balance Master system and the Postural Assessment Scale for stroke in people who have had mild stroke. Arch Phys Med Rehabil. 2007;88:374-80.
以上論文都讓儀器擁有(護)者相當難以接受,但他們都同意內容,也是共同作者(二篇英文文獻都有儀器擁有(護)者)!!
2007年發表那篇,也就是我第一個國科會計畫使用的平衡儀器,迄今(Apr. 4, 2021) 查詢 Google scholar 已被引用116次!
其中2篇英文論文都發表在讀者眾多的 Arch Phys Med Rehabil!! 這論文系列,也是我自認為這一輩子的代表作之一!!

Note:
1. 這裡先開個頭,之後再細講。
2. 後來發現只要需要收集臨床資料,不論何種研究設計,都蠻耗費資源的!





第三回: 傳統、無感 或 無力更新??

許多臨床評估工具 (如巴氏量表、姿態控制、Brunnstrom staging) 我們一用就是三、五十年
甚至未來一二十年。。。可以預期: 還會繼續使用。。。這些是主要的評估工具,水準都這樣了。其它工具的水準/品質,還須多言嗎?

這些工具真的這麼好,後續也沒有更好的,可以取而代之??

事實上,並非如此,這些工具並不好。皆可謂粗略、不完整。也有更好的評估工具已問世。

可以取代巴氏量表的 Functional Independence Measure 早已問世*
Berg Balance Scale & PASS 皆比【姿態控制】更精準
可取代 Brunnstrom staging 的工具更是好幾個

上述三項臨床評估工具,除了巴氏量表具備心理計量(品質指標)實證,【姿態控制】以及Brunnstrom staging 之心理計量特性並不好!!

然而,為何台灣的 OT/PT 復健科醫師還在繼續使用這些上一世紀的評估工具??而且還無感,不知何時會汰換更新。

要取得 iPhone 新世代的手機,等個3個月或半年,我們都覺得【等很久】

所以關鍵在於,臨床人員【期待】新世代的評估工具嗎? 還是我們固守傳統評估工具,還要繼續傳承下去。。。


Note: 我約10幾年前曾調查發現: 國內臨床治療師甚少使標準化、具備心理計量實證之評估工具。一二十年都過去了,臨床人員使用的評估工具之水平依然。。。
OT其它領域亦然,有興趣者,詳下方文獻。
謝清麟,黃小玲,廖端蓉。國內醫學中心職能治療部門對中風病患評估量表的使用狀況與建議。職能治療學會雜誌。1999;17:60-6。
吳希文,王勝輝,李秉家,謝清麟,李柏森。國內公立療養院職能治療部門對精神分裂病患評估量表的使用狀況及心理計量特性探討。台灣職能治療研究與實務雜誌。2010;6:25-36。
陳玉蘭,姜富美,謝清麟,黃瑋恬,吳佩瑾,傅中珮。職能治療部門對泛自閉症障礙兒童之標準化評估工具使用狀況。臺灣職能治療研究與實務雜誌。2011;7:87-96。

*還有我們團隊發展的 ADL 電腦適性測驗,還有BI 補充量表(BI-SS)都已發表了,但誰用!?



第四回:  工欲善其事:  評估工具的用途 暨 現有迷思

評估工具的用途舉其大者:
1. 掌握個案特性/病情
2. 執行臨床推理之依據
3. 設定治療計畫
4. 預測預後
5. 呈現療效/變化

然而 因為我們目前的工具不良,即使花時間評量,也難以達成上述目的。
舉例而言,我們常用 LOTCA 評估個案之認知功能,然而該工具之心理計量特性不佳,且建構(向度)與眾不同難以跟其他專業溝通,且有文化差異。。。如何能達成上述功能??
褚氏 ADL & 注意力測驗亦有類似問題。

現有工具的缺失,也造成臨床評估只是聊具一格,徒具形式。
所以有人倡議以【臨床觀察/經驗】取代評估工具之不足。。。但【這是迷失之一】
就評估而言,【臨床觀察/經驗】這本就是【最初級】的評估,但因【臨床觀察/經驗】欠缺明確架構與紀錄,所以難以取代目前評估工具之不足,且也造成專業人員之間,因為【臨床觀察/經驗之差異】難以溝通。遑論跟其他專業之交流。簡言之,這是上世紀因陋就簡的做法,也造成臨床人員的嚴重瓶頸。

目前的工具不良,也造成難以推動【實證醫學】及【個別化治療】,因為實證有效之治療模式一定有其適用對象與時機,必須先做好評估【以標準化評估工具施測】,才能媒合有實證的治療模式。

實證醫學是當今的顯學,然而我們因為基礎不足,而去追逐潮流【這可謂迷失之二】,焉有可能?? 舉例而言,不論OT介入之目標在於 ADL 或 motor, 關鍵之一在於個案的 認知功能,然而我們的認知功能評估工具相當不理想,那如何調整治療模式以及找到最佳的對象?? 如何執行個別化治療??

請再參考【評估與治療何者優先】,2011年的 post。


第五回: 幸運之旅~已20年,可再走至少 15年

20年來主要投入評估工具驗證與發展
投入此主題的原因,詳【為何要投入「評估工具」之驗證與發展 January 23, 2014】
大概已發表100篇相關主題的國內外論文
被引用次數超過100次者,迄今 13 篇論文【依據 Google 學術搜尋,Jun. 2, 2018】 
這在國內復健領域,應該很少有超越者
而且上述論文是【基礎研究】且【演進緩慢】,所以這些論文會長期被引用。

一路走來,從古典測驗理論到現代測驗理論還有電腦適性測驗,從淺到深,加上應用廣度(不同面向、客觀與主觀概念、不同診斷),路途更為寬廣!!

有諸多貴人【高手】提攜 (如薛老師、姚老師、許老師、3位王老師等),確認我的方向、強化我的實力、開創研究主題與成果!! 讓幸運之旅的內涵更為豐富!!

後續旅程的方向基本上已定調,詳:【後續研究議題 March 9, 2014】,就看是否有緣人,詳:【 10年教授之回顧與展望 November 25, 2013】



第六回: 學以致用、突破瓶頸

我樂於投入研究,關鍵的因素是【學術研究】提供方法,【臺大】提供環境(主要包含充裕的研究時間,還有全力投入的研究生、博後還有助理),讓我可以學以致用,且可以做我想做的事。

這是非常幸福的工作與環境

我可以規劃中長程 (10年以上) 計畫,也可以逐步看到成果
這些計畫應是針對目前臨床關鍵的瓶頸(詳其它 posts),逐一應用當今最好/可行的方法突破之
這些瓶頸需要「方法」「人才」「時間」還有一些機運,才能突破。

這就回到我的座右銘
Slow and steady wins the game!


評估工具/心理計量研究 也是【實用導向】,評估工具之實用功能,如何以心理計量特性具體呈現? 這也是思考與解釋心理計量研究與數據之思考重點。




第七回: 模仿--研究的起步

我先找到幾篇 model papers(通常是知名學者發表在很好期刊的論文,加上自己的判斷力)也看到應用於中風病患之評估工具的不足,再考量自己是否做得到。
也就是運用/模仿 model papers 的研究方法,以解決中風病患評估工具的問題,再持續發表數篇類似論文,以累積成果與經驗,甚至深入該領域。
如 1. 早期驗證評估工具之 inter-rater reliability & responsiveness
2.  近期的 test-retest reliability & individual-level responsiveness
3. 類似評估工具的心理計量特性比較
4. IRT 的應用 & CAT 的發展亦然

所以,不只「起步」的時候,「模仿/大量練習」是我進入/深入特定領域的必經歷程!


多執行幾項類似的研究讓我更熟練,多寫幾篇類似方法的論文讓我遇到更多/更深入的審查意見與高手切磋,也就讓我的功力更強!

我具備功力之後,應用同樣的方法學,檢視【小兒】及【心理】領域,看到更多的研究議題(亟待改善的評估工具與臨床效能)。我跟合作夥伴於【小兒】及【心理】領域皆已發表至少10篇論文,未來還會更多!!

簡言之,我模仿學習 model papers 之研究方法、大量練習、再擴展應用領域。以提升/強化功力,並創造成果!




第 八 回: 跟 Rasch analysis 之邂逅

西元 1993 or 1994,我去聽大學同學賴金雪之演講 (OT學會舉辦的再教育課程)
那是我第一次聽到 Rasch analysis,唯一的印象是功能強大(sample free, test free...),令人難以置信。相關原理與細節,當時應該都沒聽懂。

因為那時 Rasch analysis 的文獻不多【絕非主流,如圖所示】,所以看到相關論文【實際應用】的機會也極低【當時資料檢索需要去圖書館,且檢索效能低落】

因為不孰悉,也無相關資料/題材可應用,所以我並未立即採用之【也可說是我的賴同學當時並沒有說服我】。

我那時期 [1994~2002] 僅採用古典測驗理論發表論文,就升上教授了(升教授的4篇主要論文,其中3篇已被引用超過330次,另1篇92次【June, 2018, Google Scholar】。那3篇是我生涯發表論文中,多年以來一直被引用最多次數的前3名論文)

後來 2002 年,曾美惠老師邀請【王文中老師 (當時國內極少數的 Rasch 專家) 蒞臨學系演講,才開啟我正式進入 Rasch/IRT/CAT之大門。所以王教授就成為我研究生涯中的貴人之一!!

這也可以說王老師 (right person) 出現的時機 (right time) 對。因為王老師精熟 Rasch analysis, 很快地就可以讓我瞭解 Rasch analysis、解除我對 Rasch analysis 的諸多疑慮,也讓我看到 Rasch analysis 在臨床評估工具的價值。另外我手上已有多份評估工具超過300位個案的資料,可以立即執行 Rasch analysis. 所以我們很快就可以進入實質合作的階段,而且王老師的寫作強/效率高,我們很快就完成很好的稿件!!

Rasch model 於醫療領域之應用_Final
連結上述檔案,闡述本人以Rasch model 於醫療領域評估工具之實務應用(含題材選擇、資料分析、結果呈現及解讀、論文撰寫與發表歷程)與讀者分享,我們使用的Rasch相關統計軟體以 WINSTEP 或 CONQUEST為主。這些分享除了感念王文中教授的指導,亦期待讀者能應用Rasch model 於各自領域,以驗證、改良或發展評估工具,以期提升臨床專業與學術應用效能。
圖: 各年代論文 textwords 提到 Rasch 之論文篇數 [PubMed]
Note: 我對此圖數據的解釋是:
我聽 金雪演講講時,每個月不到 1篇論文摘要提到 Rasch
2014約每天1篇,20年差距30倍。



第 九 回: 一個 domain 的評估工具,可有多少研究議題/成果??


Balance and ADL 二 domains 評估工具,是我寫最多論文者,以 balance 為例

一、心理計量驗證與比較(PASS & BBS 二評估工具為主)
1. Mao HF, Hsueh IP, Tang PF, Sheu CF, Hsieh CL. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 2002;33:1022-1027.
2. Chien CW, Hu MH, Tang PF, Sheu CF, Hsieh CL. A comparison of psychometric properties of the smart balance master system and the postural assessment scale for stroke in people who have had mild stroke. Arch Phys Med Rehabil. 2007;88:374-380.
3. Huang YJ, Lin GH, Lee SC, Chen YM, Huang SL, Hsieh CL. Group- and Individual-Level Responsiveness of the 3-Point Berg Balance Scale and 3-Point Postural Assessment Scale for Stroke Patients. Arch Phys Med Rehabil. 2018;99:529-533.
4. Chen YM, Huang YJ, Huang CY, Lin GH, Liaw LJ, Lee SC, Hsieh CL. Test-retest reliability and minimal detectable change of two simplified 3-point balance measures in patients with stroke. Eur J Phys Rehabil Med. 2017;53:719-724.

二、發展簡版評估工具 (簡化 PASS & BBS 二評估工具為主)
1. Wang CH, Hsueh IP, Sheu CF, Yao G, Hsieh CL. Psychometric properties of 2 simplified 3-level balance scales used for patients with stroke. Phys Ther. 2004;84:430-438.
2. Wang CH, Hsueh IP, Sheu CF, Hsieh CL. Discriminative, predictive, and evaluative properties of a trunk control measure in patients with stroke. Phys Ther. 2005;85:887-894.
3. Chou CY, Chien CW, Hsueh IP, Sheu CF, Wang CH, Hsieh CL. Developing a short form of the berg balance scale for people with stroke. Phys Ther. 2006;86:195-204.
4. Chien CW, Lin JH, Wang CH, Hsueh IP, Sheu CF, Hsieh CL. Developing a short form of the postural assessment scale for people with stroke. Neurorehabil Neural Repair. 2007;21:81-90.
5. Liaw LJ, Hsieh CL, Hsu MJ, Chen HM, Lin JH, Lo SK. Test-retest reproducibility of two short-form balance measures used in individuals with stroke. Int J Rehabil Res. 2012;35:256-262.
6. Hsueh IP, Chen KL, Chou YT, Wang YH, Hsieh CL. Individual-level responsiveness of the original and short-form postural assessment scale for stroke patients. Phys Ther. 2013;93:1377-1382.
7. Chen KL, Chou YT, Yu WH, Chen CT, Shih CL, Hsieh CL. A prospective study of the responsiveness of the original and the short form Berg Balance Scale in people with stroke. Clin Rehabil. 2015;29:468-76.

三、發展CAT以及題庫之短版

1. Hsueh IP, Chen JH, Wang CH, Chen CT, Sheu CF, Wang WC, et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Phys Ther. 2010;90:1336-1344.
2. Hou WH, Chen JH, Wang YH, Wang CH, Lin JH, Hsueh IP, et al. Development of a set of functional hierarchical balance short forms for patients with stroke. Arch Phys Med Rehabil. 2011;92:1119-1125.
3. Yu WH, Hsueh IP, Hou WH, Wang YH, Hsieh CL. A comparison of responsiveness and predictive validity of two balance measures in patients with stroke. J Rehabil Med. 2012;44:176-180.
4. Chen CH, Lin SF, Yu WH, Lin JH, Chen HL, Hsieh CL. Comparison of the test-retest reliability of the balance computerized adaptive test and a computerized posturography instrument in patients with stroke. Arch Phys Med Rehabil. 2014;95:1477-1483.
5. Yu WH, Chen KL, Chou YT, Hsueh IP, Hsieh CL. Responsiveness and predictive validity of the hierarchical balance short forms in people with stroke. Phys Ther. 2013;93:798-808.
6. Yu WH, Chen KL, Huang SL, Lu WS, Lee SC, Hsieh CL. Intrarater and Interrater Reliability of the Hierarchical Balance Short Forms in Patients With Stroke. Arch Phys Med Rehabil. 2016;97(12):2137-2145.
7. Lin GH, Huang YJ, Lee YC, Lee SC, Chou CY, Hsieh CL. Development of a Computerized Adaptive Testing System for Assessing 5 Functions in Patients with Stroke: A Simulation and Validation Study. Arch Phys Med Rehabil. 2019;100:899-907.

四、發展AI短版
         2021年已發表 Fugl-Meyer AI 短版,BBS的AI短版稿件應可於2021年完成與發表(Note: 於July 2022被Q1期刊接受刊登)。並可比較各種短版與原本之心理計量特性差異。 (March 2021, 新增內容) 

以上之論文數量與品質,都還不錯,大多發表於著名期刊。

若加上其它類型論文,那就更可觀了
Hsieh CL, Sheu CF, Hsueh IP, Wang CH. Trunk control as an early predictor of comprehensive activities of daily living function in stroke patients. Stroke. 2002;33:2626-2630.

每個研究議題皆有其獨特的學術價值或臨床意義,才有【賣點】或【牛肉】。
研究議題之間亦有脈絡可循,就像拼圖,可以彙整成完整的圖案。
掌握賣點、完成拼圖,自然有趣!

有關我的 ADL 論文發表系列,可參考 PubMed 之檢索結果 [Please click me]



第 十 回 臨床人員究竟要 多少種 評估工具

基本上這要先看臨床人員的 評估目的與治療哲理:

相關的評估目的包含:
1. 健保抽查
2. 評鑑要求
3. 掌握個案特性/病情
4. 執行臨床推理之依據
5. 設定治療計畫
6. 預測預後
7. 呈現療效/變化
8. 進行研究,如特定病情之盛行率與變化、理論驗證、改良臨床評估工具等
9. 決定個案轉介機構 {盧以提供}
10. 跟其它專業溝通(包含內部溝通) {盧以提供}

治療哲理若以 client-centered or family-centered practice 而言,那需要掌握的個案/家屬特性,就很多元了。

實務上,初評應該做到「3.掌握個案特性/病情」並且建立短期「治療目標」

然而個案/家屬對於病情很可能沒有 insight,導致個案/家屬的「治療目標」很籠統或太高(不切實際)。
所以瞭解個案的特性必須包含個案家屬對「疾病」(至少是特性與預後)之瞭解,這些也是評估重點喔!!甚至也需要確認個案/家屬對OT的瞭解與期待,否則他們一定會有「不當期待」。
if so, 臨床人員需要評估或篩檢個案/家屬之「疾病」"OT"知識,如果他們的知識不足,還要給予衛教!!這宜列為「短期」或「中期」目標,否則個案接受OT一段時間,還不瞭解OT(雖然這一直是「事實」)。

如果上述都OK了,治療一段時間,我們必須確認「目標達成率」也就是「呈現療效」也需進行「臨床推理」以探索究竟。

療效有那些??以治療目標而言,ICF 的 body function, activity, and participation 理論上與實務上都有可能。有治療師評估,也有病患自陳結果 (patient-reported outcomes)。上述這些有多少層面呢?至少10個吧!

這故事很長,待續

第 十一 回 評估工具需具備哪些條件,臨床人員一定使用

1. 具備臨床介入與推理的理論,且此理論具備充分實證。這看似跟工具無關,但工具是用來執行/實現、驗證、修改與實踐理論的要件。
2. 工具之心理計量特性良好。
3. 工具便利使用。

1最難!若將ICF的架構,當成臨床介入與推理的理論基礎,就知道 我們還缺一大堆工具。更何況 ICF 還有殘缺,理論驗證也不完整。
但這是必經之路!

我們必須提出適合國人的bio-psycho-social理論架構,持續驗證與修改。。。。從 macro 到 micro 層次的理論,最後一定是 patient-centered & individualized.
但要驗證,就需要2,至少心理計量特性不錯的工具,可以用在研究領域。
之後驗證/修改理論,也同時改良評估工具,以利於後續臨床使用。最後評估工具加上電腦化整合於電子病歷之中,也才能到達3的境界。
以後再講仔細點。。。。

第 十二 回   臨床人員對於更改使用評估工具的  動機為何低落 /  實例為何很少?

可能原因如下:
1. 慣性
2. 費力學習
3. 看不出(立即)效果
4. 花錢
5. 健保沒要求[這卻是美國復健領域大量使用 Functional Independence Measure 的原因之一]

我想 3 【看不出(立即)效果】應是最主要的原因。
臨床人員需要評估的範疇主要有三:療效指標(直接與間接療效指標//主觀與客觀療效指標)、影響療效因素(如認知功能、環境因素等)與中介變項(個案的病識感/健康識能等)至少20項!!

舉「療效指標」為例,宜包含下列範疇/評估工具:
Motor: Fugl–Meyer motor assessment/STREAM
Balance: PASS
Mobility: Rivermead Mobility Index/STREAM - mobility subscale
Gait: Functional Ambulation Category/Six Minutes Walk Test
Disability: Barthel Index/Lawton IADL Score
Global outcome: Modified Rankin Scale
QOL: EuroQol/Stroke Impact Scale/Stroke-Specific QOL

故目前臨床 至少 欠缺1打(>12)良好評估工具!

所以目前我們能夠「改良現有評估工具」或是「增加良好的新評估工具」都是杯水車薪,【看不出(立即)效果】。

1個好的評估工具,就我所知,至少需要3~5年的發展與驗證。。。且要運氣好,才能達標。我發展過/驗證過很多評估工具,至少一半(甚至2/3)都達不到臨床要求的標準(這很正常喔,如醫療檢查儀器(藥物)的發展,大多失敗)。

而且評估工具的發展/驗證,一直不是復健研究的主流/顯學,投入者有限。。。何況很多評估工具都有文化特殊性(如認知功能、環境等)必須國人自行發展/驗證!

所以要補足臨床評估工具的不足或改良評估工具,直到臨床人員可用或備齊上述三大範疇的評估工具。我若有 insight.... 我退休之前一定看不到的!!

短期之內此議題無解,因為迄今我們缺太多評估工具。即使臨床人員想用(好的/完整的)評估工具,也找不到!!

Note: 隔了至少一年多,再繼續寫此一回合。。。June 2, 2018.


第 十三 回   回首來時路

成果:評估工具、論文(含被引用數)、升等、茁壯團隊皆有一定成績!
最大的成就來自:2016 年 Guidelines for Adult Stroke Rehabilitation and Recovery: A Guideline for Healthcare Professionals From the American Heart Association/American Stroke Association. 引用本團隊論文高達7篇,為國內團隊之最。

曾經的困惑:
1. 持續發展評估工具?何時進入療效驗證或理論建構與驗證
2. 持續發展電腦適性測驗?還是改良現有工具?
3. 復能模式或維能模式?
4. 如何跟臨床人員合作?

1. 如十二回所言,還差很多!目前投入療效驗證,將難有斬獲。如認知評估工具還差很多,沒有良好且多元的認知評估工具,無法掌握個案的特定認知功能不足,將難以對症下藥(設計個別化認知復健模式)。認知評估工具的發展,少說十年。我們的研究人才/資源不足,急了,就自亂陣腳!

2. 已自行發展 ADL與balance 電腦適性測驗,但自己叫好,卻不叫座!但將 Fugl-Meyer motor assessment 改良成電腦適性測驗,卻獲得國際上諸多來函詢問。或許後者(改良現有工具,國內外使用者皆較熟悉)較為實際可行。這也是我們最近發展多項類似CAT之緣由,如小兒 Gross Motor CATFine Motor CAT

3. 「復能」是國內目前很夯的概念,但國人對於「復能模式」之論述,卻很欠缺。復能模式,如同十二回提到的「影響變項」與「中介變項」一大堆,絕對比「神經復健」bio-medical model 複雜許多。若未有良好的「復能模式」論述,當成理論架構,再加以驗證與修改。「復能」將只是欠缺實證/華而不實的口號。以我們熟悉的 MOHO為例,Dr. Kielhofner 於 1980 年提出,30幾年過去了,理論多所修改,但實證仍相當有限。其主要瓶頸仍在於「模式複雜」「工具不足」,難以驗證/修改。我何時可以提出「復能模式」或「維能模式」?

4. 臨床人員可以協助很多/大:驗證/發展/測試工具、改良(電子)病歷等!然而,迄今成效/成果相當有限。難度過高(成就感有限)、時間有限、獎勵不足皆是主因。國外亦然,臨床人員難以持續投入研究。隨緣吧!

June 3, 2018 初稿


第 十四 回   後續發展:引進AI技術進一步提升評估、決策

      評估的基本目的是取得正確/精準的數據,數據只要持續累積(如臨床的例行評估與病歷紀錄,或是累積研究之數據 [如中風之研究資料庫 VISTA])即能成為大數據! 有大數據即能採礦(data mining),但此礦山需有廣博/長期收集/累積的資料,其它就是採礦技術 + AI 的舞台了!!

     後續我將引進AI技術藉以提升評估效能,如以「攝影+AI」將中風病人之動作/平衡與行走功能等,一併/一起評估。病人於錄影室,執行5~10項標準化動作,應即可完成動作/平衡與行走功能評估,且快速精準!這是 AI 可能的初步應用,如此的應用應比 CAT 更有效能。

     AI 的功能還可提供輔助決策之訊息,如整合分析初評與再評之資料,做出預後預測,以協助調整治療目標。AI 甚至可媒合實證資料庫,輔之以共享決策,做出最佳決策與治療計畫。

    但要用到AI,需有基礎,含評估(心理計量)概念、驗證/發展評估工具之經驗/成果、中階統計(含程式寫作)等,詳下回論述。

廣告一下(我是該期刊的編輯委員之一):
Call for Papers (2018):
OTJR: Occupation, Participation and Health
Special Issue on Artificial Intelligence, Robotics, and Automation

2019年刊登後,實質AI內容/篇幅幾乎沒有,就不贅言了。這原因很簡單,2018或之前,沒有OT學者投入AI研究。



第十五回   給對評估有興趣之新手:一切從基礎開始

1. 徹底瞭解評估之於臨床/研究的關鍵性
2. 瞭解評估誤差與如何降低誤差(+基本統計)
3. 熟悉心理計量特性與評估目的之關連(評估工具若欲達成特定評估目的需具備哪些心理計量特性)
4. 歷練數回合傳統評估工具之驗證與發展
5. 先撰寫中文論文1~3篇(心理計量特性驗證),再撰寫英文論文

1, 2 & 3,請參考前幾回 stories 與「測量誤差與資料解釋」。初步概念瞭解較快,若欲深刻體會/徹底瞭解,至少需要半年至一年,甚至完成4之歷練。我另提供一些基礎心理計量概念介紹與驗證文獻,對評估有興趣之新手請熟讀之,若有疑惑務必找我釐清。
4 & 5,除了概念瞭解還需實做(含撰寫研究計畫與發表論文),這至少需要2~3年好好投入。

完成 4 & 5之後,才可能進階!始較可能進入 CAT (電腦適性測驗)or AI,以更加提升評估與應用效能!

然而 CAT 之基礎在於 項目測驗理論(IRT, 進階課程),學習含實務歷練,至少需要2年!或許未來的學生可略過 IRT & CAT,直攻 AI。這需哪些基礎能力,之後論述。

傳統心理計量特性驗證之英文論文

進階者-可參考: Rasch 應用英文文獻

June 9, 2018
第十六回   最壞打算:發展新工具可能失敗

發展新工具價值高,但容易失敗。
經驗再多,也會失敗!我近幾年發展幾項工具,大多滑鐵盧。但想想  如藥物發展,9成以上都失敗!我就釋懷了。

歷年來,我有很多發展失敗的工具,最後的命運不是垃圾桶就是(收到抽屜)不見天日。

碩博士論文所發展的工具,若失敗了,可以畢業,但難以發表於期刊(因為失敗的原因很多,不易確定,所以缺乏價值)。
這不像療效驗證,即使無顯著療效,還是有發表價值(因為可以告知相關人員,這樣的治療,其成效有限。此結果亦可納入後續 meta-analysis 分析。因此仍有價值)!!

失敗了,就好好思考,有無改善/突破的機會!? 若有,可繼續努力,重新再來!!若無,或難度高,只能放棄!

事實上,我們很不容易「一次就」發展出「很好」的工具,通常需要持續改良!如魏氏智力測驗,已第4版!發展不易,改良也很難!! 但不再改良,就不會進步!!可能等著被超越/淘汰。

Note: 博士生需要研究成果(論文),以培養能力,並呈現競爭力。故除了發展「可能不會成功」測驗,還需參與其它研究主題/撰寫論文,以增加訓練機會並增加成果(論文)。

July 16, 2018

第17回  發展短版評估工具之新方法

我使用過的方法,包含傳統心理計量(挑出心理計量特性較好項目)、Rasch model (挑出難度分布適宜之項目)、多向度 Rasch model (利用向度間關連以增加測量訊息/精準度)、電腦適性測驗等。
應已發表接近20篇論文,且多是不錯的期刊!

團隊最新的技術是使用AI,以machine learning幫忙選題,以原始工具之總分為學習標的,找出最精簡可精準預測原始工具總分之項目。多向度工具 或 多工具組合 之 AI簡化效能更佳。

目前使用於 health-related quality of life 工具,可簡化成 僅需1/3項目,但可獲得很接近原測驗之多向度分數。也使用於多工具組合之簡化,亦可只用30%的項目即已足夠!!

AI 短版的特色是能獲取原工具之分數,且較精準(傳統短版因為項目少,一定較粗略),亦可跟原工具交替使用/轉換(Rasch logit 以及CAT分數都是標準分數,無法跟原始分數交替使用),一般使用者較易使用/解釋。

開始努力寫AI論文啊!!

April 18, 2020

第18回 發展臨床技能評估工具

這約從2018年開始投入,至寫此 blog 已2年多。
遠因之一是為何臨床人員對於好的工具(尤其是我發展)不買單??
遠因之二是臨床技能易達瓶頸,我講了很久,如何突破?我能幫得上忙嗎?
遠因之三是我既然專長於【評估工具之發展與驗證】,那臨床技能評估我應該做得到
近因之一是有了AI技術,臨床技能評估的難題(費時費力),應有機會突破
近因之二是我有些研究資源可以彙整投入之,且科技部人文司易鼓勵之(第2件計畫無須排名於12%之內),才有可能投入這燒錢/費人力的研究
近因之三【共享決策/目標設定】研究計畫窒礙難行,主因是難度過高且基礎不足

目前已初步完成【溝通技巧架構與評估工具初步測試】稿件,應可於4月投稿。發展架構有助於教學與工具發展。目前架購與工具之驗證,採用實習學生之臨床錄音或OSCE錄音+逐字稿分析與回饋,多人投入(包含數位老師/研究生/助理/臨床專家),總算有些成果,受試學生之回饋亦佳。
後續將有【同理心架構與評估工具測試】、【主訴語病史訪談架構與評估工具測試】、【臨床評估與結果說明架構與評估工具測試】後續是衛教、目標設定與檢討、計畫設定與檢討等臨床技能評估與教學等。加上AI,這應是20年計畫。

臨床技能評估之難題與突破

同理心評估工具之發展困境與突破




March 1, 2021 初稿


第19回 發展臨床技能評估工具 vs measurement model

2022年4月份準備「醫療社會學」課程時,我回顧到reflective (反映性)measurement model vs formative (形成性)measurement model 時看到:有些概念,如「治療滿意度」可依據不同model 「同時」設計之(詳有獎徵答--- reflective measurement model vs formative measurement model
這才讓我驚覺當初設計「溝通技巧評估工具」時,並未好好依據測量模式而發展!!

簡言之:依據反映性測量模式設計之評估工具,其項目為果(effect),故可視為目標或階層(或里程碑),可協助個案確認達成程度/復原程度。但其項目(評估結果/分數)必須具備階層性與連續性(如0~100,且中間少斷層),故此類工具可成為好的療效/成效評估工具!!

符合形成性測量模式的項目為因(cause),故可協助掌握原因/瞭解機制,若因可被介入,那就可以「治本」。

目前的「溝通技巧評估工具」之項目偏向「因」,意即偏向形成性測量模式,可協助看到受試者做好/不好的「因」,但非「果」,故可能是好的「介入」/「教學」評估工具(可協助發現受試者的問題),但這樣的工具項目,將欠缺階層性與連續性,不會是的良好療效指標!!

後續宜好好依據反映性測量模式,以「設計」與「驗證」臨床技能之成效評估工具!!

Note: 上述反映性評估工具之「里程碑」vs 目前醫學教育評估的主流 milestome & EPA (entrusted professional activities),似有相似之處,如何融合/驗證,我再好好考量!!

April 16, 2022 初稿

第20回 評估工具驗證與發展(心理計量)非顯學,為何可以走這麼長遠?

  • 這是基礎!!評估工具/心理計量是各學科的基礎,也是臨床各種任務的基礎。上述基礎欠佳,如國內OT,則需多年/多人打根基,否則難以突破!!
  • 具備廣度與深度,故可長期探究甚至成為獨特專長。以工具言,OT缺太多好工具了(從臨床到教學)!!以心理計量言,有很多題材(信度、效度、反應性)+ IRT/CAT + AI。所以工具*心理計量=諸多研究議題與成果(價值)!
  • 諸多成果回饋,包含發表諸多著名期刊論文、高引用次數以及升等。
  • 團隊支援,包含學生/助理,還有各領域的合作者! 一起努力、相互拉拔/一起提升!
  • 良性循環,具備上述條件後自然形成良性循環機制,持續向上提升!!
Top .05% in the field of Psychometrics (45 articles during 2012~2022)




Sep 17, 2022 初稿