2/10研討會補充之七 -- 短版工具之特色補充

 

圖：各種發展短版方法之優缺點（電腦適性測驗與AI之技術難度高）

春酒+研討會--生理評估工具議程

日期：2023年2月10日（週五）

地點：201 公衛大樓

時間：10:50~12:20

講員：Inga, 雅珍、姿誼、恭宏、怡靜、沛綺、清麟

各講員之預定主題（大致已確認）：

雅珍:：Barthel index supplementary scales（5 分鐘）（現場）

清麟：（12分鐘）

• ADL 評估工具之進展
• 評估工具之世代演進

Inga: A Berg Balance Scale Short-Form Using a Machine Learning Approach（6 分鐘）（視訊）

恭宏：簡化多功能量表：從IRT、CAT到AI（20 分鐘）（現場）

姿誼：「OT參與度」問卷之發展 以及「中風相關職能治療知識適性教學與測驗系統」之發展（10 分鐘）（現場）

怡靜：A battery of phase-adaptive health literacy tests & the European Health Literacy Survey Questionnaire: a computerized adaptive test（12 分鐘）（現場）

清麟/佳燁：中風病人自陳結果AI評量系統之發展 （5 分鐘）

講者請先準備摘要（結構式摘要--含背景、研究目的、方法、【現有或預期】結果與結論）

題目皆可再修改

另請先準備目前遭遇之困境以及擬請教專家之問題(2~4項，請依重要性排序之)

以上請於2月3日之前，e-mail 給我，若有困難請隨時聯絡。

若有遺漏，請隨時通知。

現有研究計畫--執行中國科會計畫（待增）

發展中風患者動作、平衡及行走能力之人工智慧評估系統

中風病人同步二階層認知功能篩檢：電腦適性測驗之發展

----

現有研究成果（待增）

Wang I, Li PC, Lee SC, Lee YC, Wang CH, Hsieh CL. Development of a Berg Balance Scale Short-Form Using a Machine Learning Approach in Patients With Stroke. J Neurol Phys Ther. 2023;47:44-51.

Lee YC, Yu WH, Hsueh IP, Chen SS, Hsieh CL. Test-retest reliability and responsiveness of the Barthel Index-based Supplementary Scales in patients with stroke. Eur J Phys Rehabil Med. 2017;53:710-718.

Lee YC, Chen SS, Koh CL, Hsueh IP, Yao KP, Hsieh CL. Development of two Barthel Index-based Supplementary Scales for patients with stroke. PLoS One. 2014;9:e110494.

Wu TY, Lien BY, Lequerica AH, Lu WS, Hsieh CL. Development and Validation of the Occupational Therapy Engagement Scale for Patients with Stroke. Occup Ther Int. 2019;2019:3164254.

Lin GH, Li CY, Sheu CF, Huang CY, Lee SC, Huang YH, et al. Using Machine Learning to Develop a Short-Form Measure Assessing 5 Functions in Patients With Stroke. Arch Phys Med Rehabil. 2022;103:1574-1581.

Lin GH, Huang YJ, Lee YC, Lee SC, Chou CY, Hsieh CL. Development of a Computerized Adaptive Testing System for Assessing 5 Functions in Patients with Stroke: A Simulation and Validation Study. Arch Phys Med Rehabil. 2019;100:899-907.

Lin GH, Huang YJ, Chou YT, Chiang HY, Hsieh CL. Computerized Adaptive Testing System of Functional Assessment of Stroke. J Vis Exp. 2019.

Lin GH, Huang YJ, Lee SC, Huang SL, Hsieh CL. Development of a Computerized Adaptive Testing System of the Functional Assessment of Stroke. Arch Phys Med Rehabil. 2018;99:676-683.

Wang YL, Lin GH, Huang YJ, Chen MH, Hsieh CL. Refining 3 Measures to Construct an Efficient Functional Assessment of Stroke. Stroke. 2017;48:1630-1635.

Huang YJ, Lin GH, Lee YC, Wu TY, Hou WH, Hsieh CL. Improving the utility of the European Health Literacy Survey Questionnaire: a computerized adaptive test for patients with stroke. Disabil Rehabil. 2022;44:3211-3220.

Huang YJ, Chen CT, Sørensen K, Hsieh CL, Hou WH. Development of a battery of phase-adaptive health literacy tests for stroke survivors. Patient Educ Couns. 2020;103:2342-2346.

Lee SC, Wang I, Lin GH, Li PC, Lee YC, Chou CY, et al. Development of a Short-Form Stroke Impact Scale Using a Machine Learning Algorithm for Patients at the Subacute Stage. Am J Occup Ther. 2022;76.

溝通/同理心成效評估工具之資料蒐集--個案版：相關心理計量概念與收案考量

個案是「溝通/同理心」的接收者，對於評估「溝通/同理心」之成效而言，個案感受的到「成效」，在概念上具有效度！

然而，一位醫療人員一段時間內，皆治療諸多個案，內容情境差異大。哪些個案感受到的「成效」較能反映特定醫療人員的「溝通/同理心」成效？

*故個案選擇標準宜考慮下列條件：

1. 治療次數//熟悉程度【至少需要治療幾次或多少分鐘??】

2. 需確認個案熟悉擬評之治療師（選擇照片？姓名，治療次數等）

3. 治療/醫病互動內容/任務

欲取得【治療/醫病互動內容/任務】，則需訪談治療師或實習學生

*另需考慮需「多少個案」填答問卷始能獲致正確/穩定的【特定治療師】溝通成效!?

10位個案應足以呈現一般治療師之溝通技巧成效！但實習學生【個案數較少，多少個案可參與? 至少需要治療幾次或多少分鐘??】【參與溝通技巧研究的實習學生，一定可以被評】

＊實習學生，甚至治療師，可能欠缺高階能力，造成較難的項目之心理計量參數之估計誤差較大

＊執行收案方面，台大醫院可由助理執行。但其它醫院，如慈濟與成大（皆有影音資料庫IRB），如何收集??

臨床中風個案---收案曙光

中風個案評估工具之驗證與發展，是我成果最多的領域

但近年已少規劃收案，遑論長期追蹤

目前有資深臨床治療師就讀博班... 且已有一些合作/收案資歷... 讓我又燃起希望

該單位又有不少 subacute 個案，可看到變化又可長期(電話)追蹤

舉凡 PRO & 電腦測驗或一般測驗，皆可執行之

心理計量驗證部分，可包含MID估計...

可找怡靜將之前的構想（PRO-電子病歷）再考量/測試之

加上昀哲協力！！

should be promising!!

第4代 評估工具之特性（標準）

圖：臨床觀察與評估工具之演進。第1代評估工具如 Brunnstrom stage 或臨床觀察/紀錄；

第2代評估工具如 Fugl-Meyer motor assessment, Barthel index, MMSE 等1960～70年代產物（已使用半世紀了）；第3代評估工具如 ADL CAT與CAT FM等2010後產物，詳：http://140.112.116.44:3366/cat/ 以及舉世著名 的 PROMIS: http://www.healthmeasures.net/explore-measurement-systems/promis

第3代的問題（如題庫建置不易、極端值評估費時不準、難以全面整合不同向度等），或可引進AI與簡易儀器克服之，成為第4代評估工具！！

如以錄影機＋AI + CAT 以評估上肢動作 、社交功能 或 執行功能等。

或以 錄影機拍攝一般臨床歷程（例行評估/溝通/治療等，無須特別設計情境或動作）再以AI解讀自然情境之上肢動作 、社交功能、執行功能以及溝通能力等。上述內容所得資訊若不夠精準或範疇不足，則AI再提示治療師，以補充評估（以提升精準度與補充範疇），即可達成第4代評估工具的特性：多數資訊自然（以錄影/AI）取得（評估者無須重新學習新的評估工具/施測方式）、精準、全面且數位化（輸出）！！這些特性是個人目前（Sep., 16., 2018）的想像/定義，有朝一日，必有學者達成之！！若此，多數現有標準化（第二代）評估工具，便可功成身退。

年底的科技部計畫，可先以「中風病人上下肢動作/功能評估」為標的。
我們可使用錄影機拍攝臨床歷程（含上下肢動作與功能之評估與介入等，一般治療情境一定包含上述內容/範疇），再以AI分析錄影帶之個案上下肢動作與功能。若不夠精準或範疇不足，則AI再提示治療師補充評估，直到上下肢動作/功能評估各範疇皆取得精準數據。
如此臨床次治療/評估，應即可（多數資訊）自然取得、精準、全面且數位化上下肢動作/功能數據！！

目前的臨床人員還在第1&2代評估工具之間奮鬥。
第3代評估工具，叫好不叫座，顯然無法滿足臨床人員的需求。
我們努力發展第4代評估工具吧！！

PROMIS 的規模：發展小兒 6 個 PROs 題庫

包含：physical function, emotional distress, social peer relationships, fatigue, pain interference, and asthma impact

令人望而興嘆阿！！

詳： Irwin DE, Gross HE, Stucky BD, Thissen D, Morgan Dewitt E, Lai JS, Amtmann D, Khastou L, Varni JW, Dewalt DA. Development of six PROMIS pediatrics proxy-report item banks.Health Qual Life Outcomes. 2012 Feb 22;10(1):22.

後續研究構想--中風病人動作功能評量之CAT發展

我們自己設計的  item pool for motor assessment, 去年經過俊宏多次分析，一直找不出合適的題庫。超過500位個案的評估資料，很可能就泡湯了。

若另謀它就，或可考慮 STREAM & Fugl-Meyer CATs

但 STREAM CAT 因為包含 mobility 項目，因此姿勢變化過多，影響實際施測之效能。所以目前還沒發表論文。或可考慮修改施測順序，以提升效能。須要實際與模擬測試，始能確認。

Fugl-Meyer CAT 目前只有上下肢 motor 的項目，或可跟 balance subscale 合併，以提升效率！

這些 motor CATs 的效能還可相互比較，甚至合併項目組成新的 CAT.

招兵買馬吧！！

1. 請義大宏嘉等參與測試與修改 STREAM CAT （原資料分析為慶麟協助）
2. 已請淑茵，先找出20-30個案之評估資料（涵蓋不同能力者），再輸入於CAT之施測平台，以找出姿勢變換次數，以及須要較多施測項目之個案特性，以利後續修改。
3. 請佳苓教導晟瑋使用之
4. 請俊宏考慮如何合併 Fugl-Meyer & STREAM CATs 項目
5. 請成大老師（或侯醫師）協助撰寫 STREAM CAT and/or 合併 balance subscale 於 FM CAT （業太或慶麟協助分析）.

各地 演講

今天在高醫分享研究心得。
會後跟蘇主任討論未來撰寫「認知功能CAT」之NHRI計畫 這是最近一個月以來，一直在各地散播 CAT 的種子以及壯大研究團隊的努力縮影。
包含中山醫學大學、新竹東元醫院、成大（含學系及臨床OT）以及高醫等。
進展當然緩慢
但這是持續應該要做的事
因為我相信:凡走過的必留下痕跡！
至少是[分享]還有[鐘點費]，何樂而不為!!

第2隻 CAT !?

早上收到 Arch Phys Med Rehabil 主編來函，接受 " Development of a computerized adaptive testing system of the Fugl-Meyer motor scale in stroke patients "一文。

這隻 CAT (CAT-FM) 並非自己從小培養，而是利用既有（項目多）的量表建置。

4 年前已用 multi-dimensional Rasch model 發表過 short-form Fugl-Meyer test (共10 題)，4 年前這篇論文（item parameters）也是目前這篇CAT 論文的基礎。

今年稍早自己設計的 motor item pool 經俊宏分析後，無法形成有效的題庫，也就無法建置自己培養的 motor CAT。

So 下一步路有三條：1. 利用 multi-dimensional IRT model 整合  CAT-FM, Balance CAT, and ADL CAT 以更提升效能（含精準度與效率）；2. 增加 motor 項目 以提升 CAT-FM 之效能；3. 重新建構 motor CAT. 因為資源有限，只能3選1 ！！

CAT 的計分方式

IRT 的分數為 standardized scores, PROMIS 的輸出分數轉換為 T scores。
之前 Balance CAT, S-STREAM, S-FM, & ADL CAT 我皆選擇線性轉換後的 0-100 （或 0-10）.
然而考量線性轉換必須考量絕對的 0分 及100分，但ADL/IADL 不易有絕對的0分 及100分。
所以仿照 PROMIS 我將 ADL CAT 的分數輸出改成 T scores (mean=50, SD=10)。

這一改，又要麻煩俊宏與明昆許多青春了。

發展 FIFE 電腦 (適性) 問卷

給予臨床治療師實用的評估工具，以協助推動個案為中心的治療。
也可以讓實習同學及大三同學使用

問卷預計設計成電腦化測驗，IT 部分由子夏協助，問卷內容部分邀請姿誼協助

其中包含[醫療滿意度]乃NHRI計畫的一部分，未來將由專任研究助理 [姚老師指導的碩士畢業學生，預計農曆過年後上班] 負責。

未來包含 OT knowledge & education CAT。

The Neuro-QOL of NINDS's

Neuro-QOL is a multi-site NINDS funded project that aims to develop a clinically relevant and psychometrically robust health-related quality of life (HRQL) assessment tool for adults and children.

Since many of the traditional clinical or functional measures of disease status do not adequately represent the full scope of the impact on an individual of chronic neurological disorders and their treatments, Neuro-QOL seeks to incorporate patient reported outcomes of functioning, such as social, psychological, and mental well-being. This project began September 30, 2004 and will be completed in September 2010.

Research Objectives:

The overall objective of this study is to develop a psychometrically sound Health Related Quality of Life (HRQL) measurement tool that is accepted by the neurology clinical trials and clinical research communities.   

Specific goals of the study are:

1. To develop a core set of questions that will address dimensions of HRQL that are universal to patients with chronic neurological disease

2. To develop supplemental questions or modules that address additional HRQL concerns that are specific to particular groups of patients defined by disease, age or other factors.

由BU的教授 Jette, Haley, & Coster 主導，所以也是發展CAT!

the National Institute of Neurological Disorders and Stroke (NINDS) [NIH 的部門] 所推動

Fugl-Meyer CAT 研究計畫

1.      Fugl-Meyer CAT 之效率與同時效度
2.      Fugl-Meyer CAT 之反應性與預測效度
3.      Fugl-Meyer CAT 之inter-rater & test-retest reliability

1.   Fugl-Meyer CAT 之效率與同時效度 [第1優先]
研究對象: 亞急性與慢性中風病人，且能 follow instructions 完成測試。
程序: 傳統Fugl-Meyer test 與 Fugl-Meyer CAT 之施測順序為 counter-balanced. 同時收集一般人口學與病情資料。並請紀錄施測傳統Fugl-Meyer test之時間。[CAT的施測時間，電腦會自動記錄]

預期樣本數60人，預計3-4個月完成。

建議參與人士: 義大 宏嘉、高醫 李素

2.    Fugl-Meyer CAT 之反應性與預測效度
研究對象: 亞急性中風病人(中風發病2個月之內)，能 follow instructions 完成測試。
程序: 追蹤評估，前後2次施測至少間隔2週以上，至多6週[可再依可行性討論決定之]。傳統Fugl-Meyer test 與 Fugl-Meyer CAT 之施測順序為 counter-balanced. 2次評估時皆須評估Barthel index。同時收集一般人口學與病情資料。

預期樣本數60人，預計10-12個月完成。

建議參與人士: 吳宏嘉、李素

3.    Fugl-Meyer CAT 之inter-rater & test-retest reliability

研究對象: 慢性中風病人，且能 follow instructions 完成測試。
程序: 追蹤評估，前後2次施測至少間隔7-10天 [可再依可行性討論]。傳統Fugl-Meyer test 與 Fugl-Meyer CAT 之施測順序為 counter-balanced. 每次之施測者皆隨機以亂數表決定，以避免記憶與預期效應。第2次測試時，需確認2次施測期間有無影響動作恢復之意外發生。同時收集一般人口學與病情資料。

預期樣本數120人，預計1年完成。

建議參與人士: 欣妏、惠菁