春酒+研討會—小兒評估工具議程

時間：2023/2/10 (五) 15:20~16:50

地點：201 公衛大樓

主持人: 陳顥齡老師

講者: 蔡麗婷、陳官琳與其研究團隊、黃千瑀與其研究團隊

議程

3:20-3:30  蔡麗婷（現場）

• 特殊需求兒童之視覺功能測驗組之發展與其應用

3:30-4:00  陳官琳（視訊）

(1)   Assessment Development and Refinement in the CCOP Lab—陳官琳 (10 minutes)

(2)   Development and Validation of a Newly Developed Preschool Theory of Mind Assessment (ToMA-P) –傅奕寧 (5 minutes)（現場） 

(3)   Interpreting the results of explicit and applied theory of mind collectively in children with autism spectrum disorder: Mapping scores of two theory of mind constructs –李士捷(5 minutes) （現場） 

(4)   A new social competence outcome measure for children with autism spectrum disorder: Observational Social Competence Assessment (OSCA) –陳官琳 (5 minutes) 

(5)   Video games as a medium for assessing cognitive flexibility in school-aged children with autism spectrum disorder: an application of artificial intelligence—黃子芸 (5 minutes)（視訊）

4:00-4:30  黃千瑀（現場）

(1)    兒童自我照顧表現測驗之發展---程培雅  (10分鐘)（現場）

(2)    兒童動作測驗之改良---黃千瑀  (10分鐘)（現場）

(3)    以人工智慧技術發展兒童評估工具—黃千瑀  (10分鐘)

4:30-4:50  綜合討論

已發表論文：

1. Yeh YC, Hung CF, Lin CY, Wu YY, Kuo CH, Potenza MN, Cheng CH, Chen KL. The animated assessment of theory of mind for people with schizophrenia (AToMS): development and psychometric evaluation. Eur Arch Psychiatry Clin Neurosci. 2022 Oct 18. Online ahead of print.
2. Tsai LT, Wu WC, Hsieh CL, Wu TY, Lu YC, Hou CH. Development and validation of the Visual Function Battery for Children with Special Needs. Dev Med Child Neurol. 2022.  Online ahead of print.
3. Chen KL, Huang CY, Chen CT, Chow JC, Chou W. Development of the Computerized Adaptive Test of Motor Development (MD-CAT) Adopting Multidimensional Rasch Analysis. Arch Phys Med Rehabil. 2021 Nov;102(11):2185-2192.e2.
4. Huang CY, Chen SS, Chen CT, Lee PS, Yu TY, Chen KL. Psychometric Properties and Efficiency of the Computerized Adaptive Testing System for Measuring Self-Care Performance in Taiwanese Children With Developmental Disabilities. Arch Phys Med Rehabil. 2020 Aug;101(8):1332-1337.
5. Huang CY, Tung LC, Chou YT, Wu HM, Chen KL, Hsieh CL. Development of a Computerized Adaptive Test of Children's Gross Motor Skills. Arch Phys Med Rehabil. 2018;99:512-520.
6. Huang CY, Tung LC, Chou YT, Chou W, Chen KL, Hsieh CL. Improving the utility of the fine motor skills subscale of the comprehensive developmental inventory for infants and toddlers: a computerized adaptive test. Disabil Rehabil. 2018;40:2803-2809.

 

研究計畫：

• 多面向且發展性之兒童心智理論能力電腦適性測驗之建構
• 兒童人工智慧執行功能評估系統：以動畫影片與電腦遊戲評估自閉症類群障礙症與注意力缺損過動症兒童之多面向執行功能
• 應用人工智慧系統於發展遲緩兒童評估、治療及成效追蹤: 以粗動作、細動作、運筆、注意力、情緒五領域為主
• 學齡兒童情緒行為電腦化適性測驗:系統與常模建置

2022 年度報告--研究計畫篇之三：難以執行的計畫

如何推動共享決策 (shaed decision making, SDM)?

• 因條件過多，難以執行。如條件一，需要提升個案之健康識能，諸多衛教/諮詢，並給個案時間消化/確認。造成研究人員難以執行。條件二，需臨床人員配合，因牽涉臨床個案之治療目標設定，故需治療師幾乎全力配合（漸進式決定治療目標－對諸多治療師與個案－似無效率），這於臨床執行之難度過高。

中風動作評估之AI評量系統

• 收案速度過慢。原因有二：一、因需空間，造成難於部分臨床單位執行收案。已邀請這些個案至實驗室收案，但人少很少。二、個案意願不高。
• 修改方向：一、暫停目前收案方式；二、嘗試發展單一錄影設備（如手機）之錄影模式，以克服上述原因一。

春酒+研討會--生理評估工具議程

日期：2023年2月10日（週五）

地點：201 公衛大樓

時間：10:50~12:20

講員：Inga, 雅珍、姿誼、恭宏、怡靜、沛綺、清麟

各講員之預定主題（大致已確認）：

雅珍:：Barthel index supplementary scales（5 分鐘）（現場）

清麟：（12分鐘）

• ADL 評估工具之進展
• 評估工具之世代演進

Inga: A Berg Balance Scale Short-Form Using a Machine Learning Approach（6 分鐘）（視訊）

恭宏：簡化多功能量表：從IRT、CAT到AI（20 分鐘）（現場）

姿誼：「OT參與度」問卷之發展 以及「中風相關職能治療知識適性教學與測驗系統」之發展（10 分鐘）（現場）

怡靜：A battery of phase-adaptive health literacy tests & the European Health Literacy Survey Questionnaire: a computerized adaptive test（12 分鐘）（現場）

清麟/佳燁：中風病人自陳結果AI評量系統之發展 （5 分鐘）

講者請先準備摘要（結構式摘要--含背景、研究目的、方法、【現有或預期】結果與結論）

題目皆可再修改

另請先準備目前遭遇之困境以及擬請教專家之問題(2~4項，請依重要性排序之)

以上請於2月3日之前，e-mail 給我，若有困難請隨時聯絡。

若有遺漏，請隨時通知。

現有研究計畫--執行中國科會計畫（待增）

發展中風患者動作、平衡及行走能力之人工智慧評估系統

中風病人同步二階層認知功能篩檢：電腦適性測驗之發展

----

現有研究成果（待增）

Wang I, Li PC, Lee SC, Lee YC, Wang CH, Hsieh CL. Development of a Berg Balance Scale Short-Form Using a Machine Learning Approach in Patients With Stroke. J Neurol Phys Ther. 2023;47:44-51.

Lee YC, Yu WH, Hsueh IP, Chen SS, Hsieh CL. Test-retest reliability and responsiveness of the Barthel Index-based Supplementary Scales in patients with stroke. Eur J Phys Rehabil Med. 2017;53:710-718.

Lee YC, Chen SS, Koh CL, Hsueh IP, Yao KP, Hsieh CL. Development of two Barthel Index-based Supplementary Scales for patients with stroke. PLoS One. 2014;9:e110494.

Wu TY, Lien BY, Lequerica AH, Lu WS, Hsieh CL. Development and Validation of the Occupational Therapy Engagement Scale for Patients with Stroke. Occup Ther Int. 2019;2019:3164254.

Lin GH, Li CY, Sheu CF, Huang CY, Lee SC, Huang YH, et al. Using Machine Learning to Develop a Short-Form Measure Assessing 5 Functions in Patients With Stroke. Arch Phys Med Rehabil. 2022;103:1574-1581.

Lin GH, Huang YJ, Lee YC, Lee SC, Chou CY, Hsieh CL. Development of a Computerized Adaptive Testing System for Assessing 5 Functions in Patients with Stroke: A Simulation and Validation Study. Arch Phys Med Rehabil. 2019;100:899-907.

Lin GH, Huang YJ, Chou YT, Chiang HY, Hsieh CL. Computerized Adaptive Testing System of Functional Assessment of Stroke. J Vis Exp. 2019.

Lin GH, Huang YJ, Lee SC, Huang SL, Hsieh CL. Development of a Computerized Adaptive Testing System of the Functional Assessment of Stroke. Arch Phys Med Rehabil. 2018;99:676-683.

Wang YL, Lin GH, Huang YJ, Chen MH, Hsieh CL. Refining 3 Measures to Construct an Efficient Functional Assessment of Stroke. Stroke. 2017;48:1630-1635.

Huang YJ, Lin GH, Lee YC, Wu TY, Hou WH, Hsieh CL. Improving the utility of the European Health Literacy Survey Questionnaire: a computerized adaptive test for patients with stroke. Disabil Rehabil. 2022;44:3211-3220.

Huang YJ, Chen CT, Sørensen K, Hsieh CL, Hou WH. Development of a battery of phase-adaptive health literacy tests for stroke survivors. Patient Educ Couns. 2020;103:2342-2346.

Lee SC, Wang I, Lin GH, Li PC, Lee YC, Chou CY, et al. Development of a Short-Form Stroke Impact Scale Using a Machine Learning Algorithm for Patients at the Subacute Stage. Am J Occup Ther. 2022;76.

春酒+研討會--心理評估工具議程

日期：2023年2月10日（週五）

地點：201 公衛大樓

時間：13:30 ~ 15:00

講員：心瑜、恩琦、冠緯、恭宏、士捷、怡靜、菀薈等

各講員之預定主題（大致已確定）：

清麟：從褚氏ADL測驗、認知測驗、到社會認知測驗之發展---心理OT評估工具發展之旅（5分鐘）

怡靜：工作社交技巧電腦化多階段角色扮演測驗（6分鐘）

恩琦：Performance-Based Measure of Executive Functions （6分鐘）

心瑜：Social Knowledge電腦適性測驗（6分鐘）

冠緯：Rasch-calibrated emotion recognition video test ＆ CAT （6分鐘）

士捷：（20分鐘）

1. Computerized Adaptive Test of Facial Emotion Recognition
2. A facial emotion recognition test in classifying patients with schizophrenia
3. Using machine learning to improve the discriminative power of the FERD screener
4. A Rasch-Calibrated Test for Assessing Implied Meaning

恭宏：電腦化多階段工作記憶測驗組（6分鐘）

沛綺：認知 AI 之發展（6 分鐘）

菀薈：TSDMT 之發展與驗證（6 分鐘）

冠緯/三平/士捷：思覺失調症患者之社會認知電腦適性測驗發展（6 分鐘）

講者請先準備摘要（結構式摘要--含背景、研究目的、方法、【現有或預期】結果與結論）

題目皆可再修改

另請先準備目前遭遇之困境以及擬請教專家之問題(2~4項，請依重要性排序之)

以上請於2月3日之前，e-mail 給我，若有困難請隨時聯絡。

若有遺漏，請隨時通知。

現有研究計畫--執行中國科會計畫（待增）

發展與驗證適用於思覺失調症患者之多向度多途徑情緒辨識電腦適性測驗

發展適用於思覺失調症患者之情感型心智理論電腦適性測驗

發展認知評估之人工智慧系統於思覺失調症患者

----

現有研究成果（待增）

褚增輝, 謝清麟. 精神病人日常生活功能評量表第三版之信度與效度初探. 台灣職能治療學會雜誌. 2004;22:1-14.

Chiang HY, Lee SC, Lin PH, Chou CY, Hsieh CL. Development of a Computerized Adaptive Testing System for Assessing Social Knowledge in People With Schizophrenia. Am J Occup Ther. 2020;74:7404205050p7404205051-7404205050p7404205059.

Chiu EC, Lee SC, Kuo CJ, Lung FW, Hsueh IP, Hsieh CL. Development of a Performance-Based Measure of Executive Functions in Patients with Schizophrenia. PLoS One. 2015;10:e0142790.

Chiu EC, Lee YC, Lee SC, Hsueh IP. Reliability of the performance-based measure of executive functions in people with schizophrenia. BMC Psychiatry. 2021 Nov 10;21(1):553.

Development of a Rasch-calibrated emotion recognition video test for patients with schizophrenia [manuscript submitted]

Lee SC, Lin GH, Liu CC, Chiu EC, Hsieh CL. Development of the CAT-FER: A Computerized Adaptive Test of Facial Emotion Recognition for Adults With Schizophrenia. Am J Occup Ther. 2021;75:7501205140p7501205141-7501205140p7501205111.

Lee SC, Chen KW, Liu CC, Kuo CJ, Hsueh IP, Hsieh CL. Using machine learning to improve the discriminative power of the FERD screener in classifying patients with schizophrenia and healthy adults. J Affect Disord. 2021;292:102-107.

Lee SC, Liu CC, Kuo CJ, Hsueh IP, Hsieh CL. Sensitivity and specificity of a facial emotion recognition test in classifying patients with schizophrenia. J Affect Disord. 2020;275:224-229.

Lee SC, Chen KW, Huang CY, Li PC, Hsieh TL, Lee YC, Hsueh IP. Development of a Rasch-Calibrated Test for Assessing Implied Meaning in Patients With Schizophrenia. Am J Occup Ther. 2022 Jul 1;76(4):7604205020.

恭喜怡靜/士捷正式成為臺大教師

他們將於2023年2月1日上班!!

我認為【臺大教師】是全世界最好的工作之一，可以做一輩子

• 沒有天花板，可以盡情發揮（教授的等級/階層/境界差異極大*）
• 自由度極高，且可整合教學、臨床與研究專長
• 具有獨立OT博士班，是全世界OT學系少有
• 挑戰的部分，詳其它blog

他們準備頗久的時間，碩士、博士+博後，總共超過8年的時間**

• 先準備研究功力/成果【碩博班6年，平均每週五天，每天約10小時】，他們的八大研究核心能力成長與著作，詳其它blog 【新聘助理教授-研究成果公開演講】--- 研究室之光!!
• 加強英文寫作與演講(應有50次以上3~5分鐘英文演講)，怡靜還有出國擔任博後一年
• 再補充教學與臨床經歷，（他們之前即擔任學系之兼任助理教授）
• 平時建立良好的形象與人際關係

可以算是我終身的主要成就之一

• 教育英才
• 他們皆以極優異的成績通過臺大醫學院的審查
• 我交棒的時候到了，最慢後年(2025)即不再收研究生

*教授的等級，如院士、教育部講座教授、特聘教授、還在努力教授、等著退休的教授【至少5級】，所以助理教授還有諸多成長的空間!!

溝通技巧評估與回饋之改良

費時：溝通技巧評估項目將近90題，且須於逐字稿編碼後再評分。所以一份逐字稿(約一小時之臨床時間)之評分與回饋表製作，需時約10~20小時(隨經驗與複雜度而異)。就一般助理需要2個工作天。

評估改良的方向：

• 捨棄資訊有限的項目，如學生得分偏低或偏高，且異質性有限之項目。如部分「同理」項目，學生得分很低，且差異有限。部分「表達」項目，學生得分很高，且差異有限。同學於這些項目的得分可預期性高，評分價值有限，故列為優先捨棄之項目。
• 部分項目採用自動化評估或找尋關鍵字：利用現有項目評分資料(ATLAS)，找出關鍵字較少的項目，以利改成自動化評分或標示關鍵詞彙位置，以加速評分。如「以慣用語跟病人溝通」，必先詢問病人之慣用語，故常見之關鍵詞可能包含「慣用語」「語言」「國語」「台語」「常用」「常使用」等。
• 評分與輸出（含雷達圖）過程自動化，如評分與輸出，皆改至 EXCEL且做好連結，評分後即可同時輸出總分與雷達圖。
• 找工讀生幫忙：請工讀生先協助一部份簡單/費時的任務，再交由助理接續。這需請百儀/逸涵提建議（工讀可協助的任務）

回饋改良重點：

• 針對得分低之向度/項目製作教學短片（含文字），放到 YouTube 加強教學//多次提醒同學。並須通知臨床治療師，以讓治療師瞭解/接受，甚至協助改善。\

修改計分方式：若簡單處理，扣掉上述項目之後，仍採家總計分即可。若加權處理，可考量刪除項目之比重（可能得分），再計分之。

後續補評：有空/有人力時再補評。

預計從2023年最後一梯次學生開始執行，預計可節省至少1/3的時間【經怡晴估算後可排除一半項目】。詳細刪減項目，過年後（學生開始實習之前）應可定案。

2022 年度報告--研究計畫篇之二：執行中計畫//撰寫中稿件

臨床技能---

溝通技巧介入方面：

•     實習學生於部分技巧進步有限，且得分偏低。如同理/形成共識等技巧。猜測主要原因為（高階技巧）示範教學過少，且未與臨床技能整合（這是臨床治療師主要關心議題）。對應之道為：補強教學，且以現有逐字稿（同學得分偏低情境）提出示範溝通模式（高階溝通技巧且符合臨床技能）。然負責人呢？
•     逐字稿累積速度緩慢：生理逐字稿已累積超過100份，然台大生理OT每年累積份數很難超過36份（每梯次約12份）。還好成大生理OT資料累積中。心理逐字稿也持續累積之中。
• 溝通技巧架構（致瑩主筆）以及溝通介入稿件（姿廷主筆）於2022年10月投稿，期待今年可修成正果

溝通評估工具方面：

• 溝通技巧評估工具收案持續累積數據中，需加上心理資料，否則收案速度緩慢
•  coding 速度緩慢耗費人力，尋求改變模式（如簡化評估重點，僅針對學生常遭遇困難）
• 發展「成效」評估工具，較符合形成型測量模式之要求。但仍有收案效能議題，尤其可投入之人力已有限。
• 成效評估由誰執行？個案明顯高估，醫療人員如何？專家如何看到成效?
• GKCSAF（英文）稿件撰寫中，姿廷與詩辰
• ECCS（英文）稿件撰寫中，玉正

OSCE：

• 芮瑜協助，成大與奇美實習學生參與

EPA：

• 芮瑜與肋頤協助

衛教技巧：

• 以衛教OT知識言，先發展「評估學生衛教OT知識」問卷，再評估之，稿件以投稿/完成一修再投稿
• 以衛教中風知識言，先發展「評估學生衛教中風知識」問卷，再評估之，稿件以投稿/完成一修再投稿

ADL評估技巧：

• 發展評估學生ADL評估技巧量表，驗證其施測者間與施測者內信度，撰稿中。
• 驗證影響學生ADL評估技巧之因素，撰稿中。考慮投稿醫學教育--英文。

2022 年度報告--論文發表

2022年共發表7篇論文，與下圖近20年比較，2022年發表論文數接近平均值

主要論文是3篇AI應用論文（主要目的為縮減施測項目但可精準預測原版之總分）

除了減縮項目數，預測原工具之總分，後續論文加上預測其它(未被施測)項目之分數

    另已開始驗證概化能力－驗證減縮項目AI算則應用於其它資料之效度

其它論文比較特別的一篇是 "Error patterns of facial emotion recognition in patients with schizophrenia" 後續若能累積更多資料，再驗證/確認之，將更有價值！

2022共有3篇AJOT論文－已超過每年平均發表水準

7篇論文如下：

1.         Huang YJ, Lin GH, Lee YC, Wu TY, Hou WH, Hsieh CL. Improving the utility of the European Health Literacy Survey Questionnaire: a computerized adaptive test for patients with stroke. Disabil Rehabil. 2022;44:3211-3220.

2.         Lee SC, Lin GH, Shih CL, Chen KW, Liu CC, Kuo CJ, et al. Error patterns of facial emotion recognition in patients with schizophrenia. J Affect Disord. 2022;300:441-448.

3.         Lee SC, Wang I, Lin GH, Li PC, Lee YC, Chou CY, et al. Development of a Short-Form Stroke Impact Scale Using a Machine Learning Algorithm for Patients at the Subacute Stage. Am J Occup Ther. 2022;76.

4.         Lin GH, Li CY, Sheu CF, Huang CY, Lee SC, Huang YH, et al. Using Machine Learning to Develop a Short-Form Measure Assessing 5 Functions in Patients With Stroke. Arch Phys Med Rehabil. 2022;103:1574-1581.

5.         Song CY, Chen CH, Chen TW, Chiang HY, Hsieh CL. Assessment of Low Back Pain: Reliability and Minimal Detectable Change of the Brief Pain Inventory. Am J Occup Ther. 2022;76.

6.         Wang I, Wang YC, Wu TY, Chou CY, Hsieh CL. Rasch Analysis of the Stroke Impact Scale-16. Am J Occup Ther. 2022;76.

7.         Yang CM, Wang YC, Lee CH, Chen MH, Hsieh CL. A comparison of test-retest reliability and random measurement error of the Barthel Index and modified Barthel Index in patients with chronic stroke. Disabil Rehabil. 2022;44:2099-2103.

2022 年度報告--研究計畫篇之一

國科會計畫忙了一個月，昨晚11點告一段落!!

跟去年一般，投入約8~10個計畫

只是今年主筆2篇，所以更忙碌

我的最愛是【發展以腦中風個案為中心之全面性ADL評估工具】因為是多年成果的再進階

我一輩子的ADL代表著作應該算多

"Comparison of the psychometric characteristics of the functional independence measure, 5 item Barthel index, and 10 item Barthel index in patients with stroke"【傳統工具的比較，被引用次數很多】

"Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke"【或是專為中風病人ADL評估的第一個電腦適性測驗，自行發展原創性高，只是地屬偏遠，跟隨者有限】

"Development of two Barthel Index-based Supplementary Scales for patients with stroke"【自行發展原創性高，但國人不捧場】

"The diverse constructs use of ADL measures in stroke randomized controlled trials in the years 2005-2009"【指出諸多臨床試驗作者--誤用ADL概念/評估工具】

【發展以腦中風個案為中心之全面性ADL評估工具】將共享決策融入ADL評估!

感謝芮瑜 協助構思/回饋與製圖

背景：日常生活活動 (Activities of Daily Living, ADL) 介入一直是腦中風個案職能治療與長期照護的重點之一。然而ADL概念複雜，至少包含三種概念或層面：執行能力 (capability)、實際表現 (actual performance) 及個案從事ADL之自覺困難程度 (perceived difficulty)（或自覺功能狀態/滿意度）。各種ADL層面各有其學術與實務價值。由於ADL評估是介入的關鍵基礎，且評估過程中，可（須）瞭解/釐清個案/家屬之需求，因此如何做好ADL評估為ADL介入與成效之關鍵。然而現有ADL評估工具之常見缺點有三：一、未全面包含主要ADL層面（執行能力、實際表現與自覺困難程度）。二、未考量個案需求/預期：施測過程中，未充分考慮個案之需求、健康識能 (health literacy) 或未執行共享決策 (shared decision making)，以至於評估重點與結果難以符合個案之預期。三、標準化不佳，尤其是執行能力之評估，標準化不足。上述缺點嚴重影響腦中風個案之ADL評估與介入效能。

 研究目的：發展以腦中風個案為中心之全面性/標準化ADL評估工具(Comprehensive and standardized ADL assessments for persons with stroke, CSAS)，意即評估過程加入共享決策，釐清個案之特質與需求，必要時給予個案衛教/諮詢，再由評估人員與個案共同決定ADL評估層面、項目與評估執行能力所需器材。此工具將能解決上述缺點，並能提升ADL評估與介入之效能。

有興趣者可看之前 "以個案需求為導向的ADL評估模式" 相關 posts, 也就是該模式已被棄置/改良!!

臨床OT之評估，宜由專人負責？

優點：可更專業/標準化，且易於訓練。可提升評估效能。

缺點：未執行評估的治療師，恐難以掌握評估過程所可呈現之資訊。亦即影響評估與治療之銜接。目前健保給付之評估費用有限，恐難以支付該專職評估治療師之薪水。

如眼科之驗光師，或放射（技術）師可獨立成為一項專業。成為一項專業必有其學理或技術深度。那OT的評估有如此深度?