2012年8月17日 星期五

如何面對不佳的數據,尤其是自行發展的評估工具

Jenny BI-3 的 CFA 分析一直得不到好結果,這對新的評估工具(BI-3)是蠻大打擊的。CFA結果要寫成好的論文是蠻難的(新量表之心理計量如果不好,只因當然是設計問題)。之後我建議 Jenny 改用 Mokken analysis, 至少 unidimensional construct 可獲得支持,結果大致如此!!這對後續論文的撰寫與發表,可謂打了一劑強心針!! Jenny 也因此學習了 CFA & Mokken analysis之分析! 多虧李晏與佳苓的協助!所以 Jenny 未來可寫一篇 BI-3 效度分析(包含建構效度與收斂效度,甚至預測效度)。

至於為何 CFA 與 Mokken analysis 分析「unidimension」之結果不同,就待有心人去探索了!!

恩琦分析 「社會功能量表」,發現個案填答完成率不佳,數個次量表之內在一致性不佳。還好這不是自己發展的量表,否則蠻難「推薦」給他人的。寫論文時,可以評論,建議使用者留意,也可提出修改方向。所以,雖然數據不佳,解釋得當,也可發表論文。只是這量表是中文版,數據不佳,只能投國內期刊了!

比較麻煩的是,自己發展的量表如果數據真的不好,那就麻煩了。包含目前怡靜協助的 FIFE 問卷,內在一致性差。這時大概只能猜測問題所在,修改或增加題目,再測試了!!FIFE 的初步結果,還是可以發表。至少在國內研討會!

我以前發展 item bank ,也失敗過幾次。包含 motor function, ADL perceived difficulty... 目前皆放在電腦資料夾冰窖裏。。。

我們必需嘗試瞭解/記取失敗的原因,修改量表項目後再嘗試,下個版本一定更好!!
從失敗的經歷中,可以學到的東西,比成功的經歷,還多!!關鍵在於:找到問題,繼續測試!這也是「研究的本質之一」,也是挑戰與成就的主要來源!!也是研究功力提升的過程!!

5 則留言:

  1. BI-3的CFA分析結果一直不甚理想,著實折磨了我好一陣子,每次看到分析出來的數據時,心情真的有點難受。終於在使用Mokken analysis分析之後出現了一道曙光。在這除了要感謝李晏與佳苓的幫助外,最最要感謝的是老師您。要不是老師那天您給了建議與指引(“如CFA分析結果再不好,嘗試使用無母數的Mokken analysis分析看看”)。在最關鍵的時刻老師您給了方向,也終於讓BI-3有了希望,有了後續。

    這段時間自己真的學到很多,尤其是學到如何使用CFA & Mokken analysis。接下來最重要的就是希望能透過寫論文將所學運用出來。

    回覆刪除
  2. 上週在分析FIFE數據的時候,發現結果很奇怪(相關係數為負值)或是不太好的時候,
    心裡很驚訝。
    因為FIFE問卷至少已經花了4年在發展、測試與修改了,結果還是不太好。
    讓我有點擔心目前正在做的OTK教材與測驗,因為它是FIFE概念的一個面向。
    希望FIFE問卷的問題可以早日解決,修改OTK測驗時也可參考FIFE問卷的測試與修改過程。

    回覆刪除
  3. 面對困難,只能「正面思考」、「面對問題」、「持續嘗試與測試」
    其它就靠機運了

    回覆刪除
  4. 看到分析結果我也傻眼,頓時不知道該不該繼續撰寫論文,認為結果不好就難以推薦他人使用。
    我會繼續撰寫結果與討論,並找時間與老師討論問題與修改方向。

    回覆刪除
  5. 雖然自己還未到發展和驗證執行功能項目的階段,從此篇的分享中,似乎先打了一個強心劑,知道自己未來可能會碰到的問題。

    回覆刪除