從2009年7月生涯第1次研究休假開始撰寫 blog,以跟同學、好友交流教學/研究,甚至臨床之心得。
以下是我的座右銘:
Try hard enough, you can get what you want!
Talent is the desire to practice.
Slow and Steady wins the game. Better to light one candle than to curse the darkness.
你現在的努力 要感動未來的你!
只有藉由他人的視野,才能看到自己思考上的盲點。
1. 多分題計分: 若題目詢問的內容個案並不適用,如:個案沒有從事某項活動,但題目詢問個案覺得此活動對他而言困不困難,此時,該如何計分以進行Rasch分析?(missing or 0分)
回覆刪除2. Rasch分析模式: 若一個量表想以Rasch分析將原本的ordinal score轉成interval score,但做單面向Rasch分析後,發現可能需大量刪題才能符合Rasch model。此時,是否可嘗試先以因素分析(如:EFA)確認其可能之因素模型後,再進行多面向Rasch分析?
3. CAT題庫發展: 如何發展一個涵蓋大範圍年齡區間的CAT題庫(如:社會行為之評估,適用0-20歲)?
題目修正:
刪除1.分數記錄:若題目詢問的內容個案並不適用,如:個案沒有從事某項活動,但題目詢問個案覺得此活動對他而言困不困難,此時,該如何記錄分數以進行Rasch分析?(missing or 0分)
2.Rasch 分析模式:若一個量表想以Rasch分析將原本的ordinal score轉成interval score,但做單面向Rasch分析後,發現可能需大量刪題才能符合Rasch model。此結果可能代表此量表之題目不只涵蓋一種概念。此時,是否可嘗試以因素分析(如:EFA)將題目分成不同subscales,再進行多面向Rasch分析?
3.CAT題庫發展:當我們想發展一個涵蓋不同年齡層之題庫,以探究個案的能力發展,如:建立3-14歲適用的動作協調能力題庫,是否可先將年齡層分群,如:分為3-6歲,7-10歲,11-14歲三群,再各自設計與此3年齡層相符之測試項目?驗證此題庫時,個案是否不一定要做過所有測試項目?如:3-6歲的個案只做3-6歲的項目,7-10歲除了做7-10歲的項目,也做部分3-6歲的項目(以連接3-6歲的年齡層),而11-14歲的個案則除了11-14歲的項目外,也做部分7-10歲的項目(以連接7-10歲的年齡層)。
1. 為什麼IRT是sample independent?
回覆刪除2. 如何選擇何種模式(如:單參數模式、二參數模式、三參數模式)進行分析,及考量之因素?
3. 施測項目數少 (例如:short form),可能無法有效的測出受試者在該特質上的差異。假若在不增加項目之狀況下,是否有其它方式以補足此缺點?
我所想到的方法是增加項目之量尺分數,是否有其它的方法?
1.羅序分析之應用:當個案數只有250人、題庫的題數有約400題時,應如何使用羅序分析以驗證題庫的建構效度?
回覆刪除2.CAT之應用:發展CAT時需考量題目的曝光率(題目不能被太多人寫過),又需使題目的參數盡可能被準確估計(題目被越多人寫過越好),應如何權衡?
1.您的問題是指「您所指情境是否合適使用 Rasch 以驗證項目之效度」? 400 題皆同一向度?
回覆刪除2.[曝光率]會造成什麼問題?
1.是的。400題可分為6個向度。因此一個向度約70題。
刪除2.曝光率過高會造成天花板效應(因為受試者會背答案)。
題目彙整:
回覆刪除IRT
概念澄清:為什麼IRT是sample independent?
應用:
1.分析模式
(1)如何選擇模式(如:單參數模式、二參數模式、三參數模式)進行分析,及考量之因素?
(2)若一個量表想以Rasch分析將原本的ordinal score轉成interval score,但做單面向Rasch分析後,發現可能需大量刪題才能符合Rasch model。此結果可能代表此量表之題目不只涵蓋一種概念。此時,是否可嘗試以因素分析 (如:EFA)將題目分成不同subscales,再進行多面向Rasch分析?
2.施測項目數或個案數
(1)施測項目數少 (例如:short form),可能無法有效的測出受試者在該特質上的差異。假若在不增加項目之狀況下,是否有其它方式以補足此缺點? (如:增加項目之量尺分數,是否有其它的方法?)
(2)當個案數只有250人、題庫的題數有約400題(分為6個面向)時,是否合適使用 Rasch 以驗證項目之效度?如果可用Rasch分析,是否有其限制或需要留意的事項?
CAT
應用:
1.曝光率:發展CAT時需考量題目的曝光率(題目不能被太多人寫過),又需使題目的參數盡可能被準確估計(題目被越多人寫過越好),應如何權衡?
2.題庫發展:當我們想發展一個涵蓋不同年齡層之CAT題庫,以探究個案的能力發展,如:建立3-14歲適用的動作協調能力題庫,是否可先將年齡層分群,如:分為3-6歲,7-10歲,11-14歲三群,再各自設計與此3年齡層相符之測試項目?驗證此題庫時,個案是否不一定要做過所有測試項目?如:3-6歲的個案只做3-6歲的項目,7-10歲除了做7-10歲的項目,也做部分3-6歲的項目(以連接3-6歲的年齡層),而11-14歲的個案則除了11-14歲的項目外,也做部分7-10歲的項目(以連接7-10歲的年齡層)。
不好意思,我要修改一下我的題目。
刪除IRT 2.(1)麻煩改成:當個案數只有250人、題庫的題數有約400題(分為6個面向)時,是否適合以Rasch驗證項目之效度?另外,請問若將題庫拆成數個小題庫,再進行等化 (equating),是否有助於減少人數不足造成的估計誤差?有沒有要留意那些問題呢?
CAT 1.我想改為如何控制CAT題庫的試題曝光率?
另外,想增加2個問題:
1.建置CAT題庫時,應如何擴充題目內容?如果以發展類似平行測驗的方式擴充題目是否適當?
2.請問古典測驗理論與IRT的概念是否可以並用?例如:將量表的分數轉換為logit之後,以logit的最高分和最低分計算量表的天花板效應與地板效應。
抱歉,我要修正我的前2個題目、刪除最後一個題目。
刪除修改內容如下:
IRT 2.(1) 請問下列情境是否適用IRT驗證題庫的心理計量特性?我的想法是否適合、可行?有沒有那些問題需留意?
--情境:個案數250人、題庫的題數約400題(分為6個面向)。
--我的想法:將題庫拆成3個小題庫(1個小題庫約133題,每人每次填寫40題,預計每人填寫2次),再將小題庫的測驗結果等化 (equating)。
CAT 1.曝光率的問題:「應如何避免試題曝光率太高,又可讓題目被足夠的人寫到?」
--我的想法:限制題目的最高填答次數。
現在看起來,蠻亂的,請您彙整出最後的問題(並刪除其它過程中的議題)
刪除以下是我的最後的問題,謝謝。
刪除1.請問下列情境是否適用IRT驗證題庫的心理計量特性?目前的研究設計是否適合、可行?有沒有那些問題需留意?
--情境:個案數250人、題庫的題數約400題(分為6個面向)。
--研究設計:將題庫拆成3個小題庫(1個小題庫約133題,每人每次填寫40題,預計每人填寫2次),再將小題庫的測驗結果等化 (equating)。
2.曝光率的問題:「應如何避免試題曝光率太高,又可讓題目被足夠的人寫到?」
3.建置CAT題庫時,應如何擴充題目內容?如果以發展類似平行測驗的方式擴充題目是否適當?