2012年12月17日 星期一

12/27 (週四)王文中老師來訪

討論IRT/CAT之學理與應用
請各位提出擬就教於王老師之議題,概念澄清與應用皆可,或相關問題。

11 則留言:

  1. 1. 多分題計分: 若題目詢問的內容個案並不適用,如:個案沒有從事某項活動,但題目詢問個案覺得此活動對他而言困不困難,此時,該如何計分以進行Rasch分析?(missing or 0分)
    2. Rasch分析模式: 若一個量表想以Rasch分析將原本的ordinal score轉成interval score,但做單面向Rasch分析後,發現可能需大量刪題才能符合Rasch model。此時,是否可嘗試先以因素分析(如:EFA)確認其可能之因素模型後,再進行多面向Rasch分析?
    3. CAT題庫發展: 如何發展一個涵蓋大範圍年齡區間的CAT題庫(如:社會行為之評估,適用0-20歲)?

    回覆刪除
    回覆
    1. 題目修正:
      1.分數記錄:若題目詢問的內容個案並不適用,如:個案沒有從事某項活動,但題目詢問個案覺得此活動對他而言困不困難,此時,該如何記錄分數以進行Rasch分析?(missing or 0分)

      2.Rasch 分析模式:若一個量表想以Rasch分析將原本的ordinal score轉成interval score,但做單面向Rasch分析後,發現可能需大量刪題才能符合Rasch model。此結果可能代表此量表之題目不只涵蓋一種概念。此時,是否可嘗試以因素分析(如:EFA)將題目分成不同subscales,再進行多面向Rasch分析?

      3.CAT題庫發展:當我們想發展一個涵蓋不同年齡層之題庫,以探究個案的能力發展,如:建立3-14歲適用的動作協調能力題庫,是否可先將年齡層分群,如:分為3-6歲,7-10歲,11-14歲三群,再各自設計與此3年齡層相符之測試項目?驗證此題庫時,個案是否不一定要做過所有測試項目?如:3-6歲的個案只做3-6歲的項目,7-10歲除了做7-10歲的項目,也做部分3-6歲的項目(以連接3-6歲的年齡層),而11-14歲的個案則除了11-14歲的項目外,也做部分7-10歲的項目(以連接7-10歲的年齡層)。

      刪除
  2. 1. 為什麼IRT是sample independent?
    2. 如何選擇何種模式(如:單參數模式、二參數模式、三參數模式)進行分析,及考量之因素?
    3. 施測項目數少 (例如:short form),可能無法有效的測出受試者在該特質上的差異。假若在不增加項目之狀況下,是否有其它方式以補足此缺點?
    我所想到的方法是增加項目之量尺分數,是否有其它的方法?

    回覆刪除
  3. 1.羅序分析之應用:當個案數只有250人、題庫的題數有約400題時,應如何使用羅序分析以驗證題庫的建構效度?

    2.CAT之應用:發展CAT時需考量題目的曝光率(題目不能被太多人寫過),又需使題目的參數盡可能被準確估計(題目被越多人寫過越好),應如何權衡?

    回覆刪除
  4. 1.您的問題是指「您所指情境是否合適使用 Rasch 以驗證項目之效度」? 400 題皆同一向度?
    2.[曝光率]會造成什麼問題?

    回覆刪除
    回覆
    1. 1.是的。400題可分為6個向度。因此一個向度約70題。
      2.曝光率過高會造成天花板效應(因為受試者會背答案)。

      刪除
  5. 題目彙整:

    IRT
    概念澄清:為什麼IRT是sample independent?
    應用:
    1.分析模式
    (1)如何選擇模式(如:單參數模式、二參數模式、三參數模式)進行分析,及考量之因素?
    (2)若一個量表想以Rasch分析將原本的ordinal score轉成interval score,但做單面向Rasch分析後,發現可能需大量刪題才能符合Rasch model。此結果可能代表此量表之題目不只涵蓋一種概念。此時,是否可嘗試以因素分析 (如:EFA)將題目分成不同subscales,再進行多面向Rasch分析?
    2.施測項目數或個案數
    (1)施測項目數少 (例如:short form),可能無法有效的測出受試者在該特質上的差異。假若在不增加項目之狀況下,是否有其它方式以補足此缺點? (如:增加項目之量尺分數,是否有其它的方法?)
    (2)當個案數只有250人、題庫的題數有約400題(分為6個面向)時,是否合適使用 Rasch 以驗證項目之效度?如果可用Rasch分析,是否有其限制或需要留意的事項?
    CAT
    應用:
    1.曝光率:發展CAT時需考量題目的曝光率(題目不能被太多人寫過),又需使題目的參數盡可能被準確估計(題目被越多人寫過越好),應如何權衡?
    2.題庫發展:當我們想發展一個涵蓋不同年齡層之CAT題庫,以探究個案的能力發展,如:建立3-14歲適用的動作協調能力題庫,是否可先將年齡層分群,如:分為3-6歲,7-10歲,11-14歲三群,再各自設計與此3年齡層相符之測試項目?驗證此題庫時,個案是否不一定要做過所有測試項目?如:3-6歲的個案只做3-6歲的項目,7-10歲除了做7-10歲的項目,也做部分3-6歲的項目(以連接3-6歲的年齡層),而11-14歲的個案則除了11-14歲的項目外,也做部分7-10歲的項目(以連接7-10歲的年齡層)。

    回覆刪除
    回覆
    1. 不好意思,我要修改一下我的題目。
      IRT 2.(1)麻煩改成:當個案數只有250人、題庫的題數有約400題(分為6個面向)時,是否適合以Rasch驗證項目之效度?另外,請問若將題庫拆成數個小題庫,再進行等化 (equating),是否有助於減少人數不足造成的估計誤差?有沒有要留意那些問題呢?

      CAT 1.我想改為如何控制CAT題庫的試題曝光率?

      另外,想增加2個問題:
      1.建置CAT題庫時,應如何擴充題目內容?如果以發展類似平行測驗的方式擴充題目是否適當?
      2.請問古典測驗理論與IRT的概念是否可以並用?例如:將量表的分數轉換為logit之後,以logit的最高分和最低分計算量表的天花板效應與地板效應。

      刪除
    2. 抱歉,我要修正我的前2個題目、刪除最後一個題目。
      修改內容如下:
      IRT 2.(1) 請問下列情境是否適用IRT驗證題庫的心理計量特性?我的想法是否適合、可行?有沒有那些問題需留意?
      --情境:個案數250人、題庫的題數約400題(分為6個面向)。
      --我的想法:將題庫拆成3個小題庫(1個小題庫約133題,每人每次填寫40題,預計每人填寫2次),再將小題庫的測驗結果等化 (equating)。

      CAT 1.曝光率的問題:「應如何避免試題曝光率太高,又可讓題目被足夠的人寫到?」
      --我的想法:限制題目的最高填答次數。

      刪除
    3. 現在看起來,蠻亂的,請您彙整出最後的問題(並刪除其它過程中的議題)

      刪除
    4. 以下是我的最後的問題,謝謝。
      1.請問下列情境是否適用IRT驗證題庫的心理計量特性?目前的研究設計是否適合、可行?有沒有那些問題需留意?
      --情境:個案數250人、題庫的題數約400題(分為6個面向)。
      --研究設計:將題庫拆成3個小題庫(1個小題庫約133題,每人每次填寫40題,預計每人填寫2次),再將小題庫的測驗結果等化 (equating)。

      2.曝光率的問題:「應如何避免試題曝光率太高,又可讓題目被足夠的人寫到?」

      3.建置CAT題庫時,應如何擴充題目內容?如果以發展類似平行測驗的方式擴充題目是否適當?

      刪除