最近一篇稿件跟 editor 的觀點不同,讓我們掙扎很久。也很為難。
主要的觀點差異在於: 我們認為 test-retest reliability 最好的指標是 ICC, 但 editor 認為 Pearson r & paired t-test 才是。
我們起先接受他的看法,將 Pearson r & paired t-test納入分析與稿件中,且刻意補充在editor的期刊裡,提到近2年超過20篇 test-retest reliability 論文中皆包含 ICC之分析, 故我們同時保留 ICC於稿件中.
但 editor 不接受我們保留 ICC, 他覺得ICC綜合相關性與系統偏誤(systematic bias, 如第二次施測結果顯著比第一次高)二種指標,變成什麼都不是,堅持完全刪除 ICC.
我認為,在概念上, editor 唯一的漏洞是,當系統偏誤存在時, Pearson r 將高估 test-retest reliability. 然而我們的數據鮮有系統偏誤,且 Pearson r 已偏低。且概念上,若有系統偏誤存在時,作者與讀者皆可解讀 Pearson r 之高估。況且ICC無法呈現系統偏誤。也就是概念上與數據上,偏向 editor 的看法是對的, 而且該期刊近2年超過20篇 test-retest reliability 論文 (甚至其它使用 ICC 驗證 test-retest reliability or inter-rater reliability) 都有問題。
if so, 我們就須大改資料分析與方法(還好結果/結論幾乎沒改變,毋須變動)。。。。
上述是「學術討論」,但論文投稿,還須考量誰是決策者!?
概念上,如 test-retest reliability 之驗證,我認為上述各種方法皆有優缺點,所以傾向全部使用,或使用常用者(如ICC)。
技術上,因為 editor 是「該期刊」的決策者/守門員(負責人)。所以如果您認為 editor 有偏誤,只能跟他做學術討論。但決定權(接不接受您的論述與稿件)完全在於 editor!!
至此,我們大至有二種作法:1.接受 editor 建議,完全刪除 ICC, 重新大改稿件。2. 改投其它期刊!(Note: 我還有其它可能作法,有點麻煩,且不一定成功,故暫時按下不表)
上述是此 post 的背景描述,此 post 之主旨有二:1. 投稿者跟 editor是不對等的嗎? 2. 學術理論或統計概念有絕對的好壞對錯嗎?
我的看法如下:
1. 不對等. editor 是「該期刊」的決策者/守門員,他有絕對的權力!!請務必接受之,若難接受特定期刊的 editor, 您就投其它期刊吧!一大堆期刊不是嗎!!
2. No. 如不同統計量各有優缺點,ICC也是有缺點的。 if so, 毋須過於堅持特定的看法,尤其如果您的「學術論述」都闡述殆盡了,editor 還不接受..... 您就認了吧,不然就拿出 guts 改投!!
所以,我對標題的看法是: editor 是人也會犯錯 (human errs),但他是負責人:承擔一切榮辱。
此 post 之「延伸」「火辣」主旨為:1. 學生跟指導老師(助理/博後跟老闆)對等嗎?2.學生跟指導老師的觀點/作法有絕對的對錯嗎?
我的看法如下:
前提是二者能夠「充分各自表達」「溝通順暢」,則我認為:
1 & 2: ditto. 因為老師(老闆)是負責人。
然而學生(助理)通常在表達上(學術概念上)有所保留或不足,老師常難以營造良好的溝通氣氛。。。那就須要各自改善了。。。
老闆也是人, every boss makes mistakes... but has to take all responsibilities and results...
我們一起努力提升「學術功力」與「表達能力」一起營造良好「溝通氣氛」!
我覺得就像老師說的,每種分析方法都有其優缺點,所以如果要很「踏實」地檢驗一個評估工具的再測信度,應該要呈現各種指標。不過有時可能要考量字數的限制,然後傾向使用優點多於缺點的指標,但這又是見仁見智了!
回覆刪除不過我認為最重要的是:作者本身須清楚每個分析方法所代表的意義,優點和缺點各在哪裡。雖然說reviewer或editor有自己的意見,作者還是有提出使用某個分析方法的理由!如果遇到editor怎樣都不能接受,我覺得就看作者自己能不能接受自己的這篇論文是這樣的內容!畢竟這是掛上自己的名字,editor的名字不會在論文上面!
但在「妥協接受」或是「堅持自己的選擇」之前,我想身為作者的我們應該停下來思考一下,想想為何別人提出這樣的看法,這也是審視自己懂了多少的最好機會!