原作者:Paul Wouters et al.
如何更好地評價學術期刊,這是個問題,而且挑戰頗大。這主要是因為,學術界、資助機構、政府、文獻數據庫擁有者多方利益各不相同,經常相互沖突。影響因子已經無法解決現有矛盾,如何統一量化指標,實現變革性突破,需要各方達成協調一致的利益需求。即便如此,在科研圈,一年一發布的影響因子發布盛會,刷屏程度可媲美每年的諾獎新聞,且有過之而無不及。形成了“科研至尊,影響因子。號令天下,不敢不從”的病態。
點擊查看:2019年最新發布丨2018年JCR影響因子完整版(附下載地址)
有鑒于此,Paul Wouters等人在Nature發文,呼吁擴大學術期刊評價指標,以涵蓋學術期刊的所有功能,并建立一個管理機構來專門維持這些標準及其相關性。
學術期刊,所為者何?
1. 注冊。通過學術出版,期刊將研究成果中的知識主張、日期和作者身份聯系起來,可以用來確定優先權。
2. 策展。通過編輯和其他審查,期刊篩選研究工作編入專題,以表明學術領域的關聯,描述理論和方法論的范圍。
3. 評估。通過同行評審,作者從同行獲得反饋;通過出版,期刊證明研究成果完成評估;期刊可以繼續通過發布修正和撤銷來執行評估功能。
4. 傳播。通過開放獲取和其他通信工具,期刊將研究成果公之于眾,分享給更廣泛的科研人員和社會大眾。
5. 存檔。通過將研究成果與更多數據相關聯,實現在線索引,使之成為永久的學術記錄,促進后續研究取得更多新發現。
評價指標要明確
評價指標并非越多越好,關鍵在于如何正確建立和負責任地使用這些指標。更好的評價指標應該具有以下幾個特點:
1)有效的(反映所評估的概念);
2)易于理解的;
3)透明的(應公布數據基礎標準,明確說明限制和不確定程度);
4)公平的(應避免系統性偏見);
5)適應性(當偏見,濫用或其他不足變得明顯時自動更新);
6)可重復(使用指標的人應該能夠重復使用)。
評價指標要合適
1975年,科學引文索引(SCI,現由Clarivate Analytics公司所有)問世。它主要用于圖書館管理員評估圖書收藏價值、研究人員選擇合適的學術期刊,以及為學者,政策制定者和研究評估人員提供見解。即便是SCI的發明者也沒有預料到,SCI的使用會如此之廣,誤用會如此之猖獗。
評價指標一旦被用于任何類型的評估,就會有被扭曲的傾向,因為指標不鼓勵不計入該指標的工作。這樣一來,更多的研究人員開始選擇更有利于指標的研究問題,而不是選擇更感興趣和更重要性的研究問題。這種極度扭曲的破壞性的“指標思考”,正在成為研究活動本身的驅動力。因此,對單一指標的激勵措施可能會扭曲整個科研系統。
期刊影響因子在科研評價中的濫用和欺詐已經到了觸目驚心的地步。由1,356個機構和14,000多名個人簽署的舊金山研究評估宣言(DORA),對于以期刊影響因子作為論文或研究人員水平的評價指標進行了抨擊。即便如此,即便萊頓宣言制定了更為通用的評估原則,并已被翻譯成23種語言(見go.nature.com/2hv7eq3),影響因子的霸主地位依然不可撼動。
為防止評價指標被濫用,我們建議任何指標的使用都需要符合以下四項標準:
1)有道理的。在評估個人或機構所做的研究時,期刊指標應該只有一個次要的,明確的定義。
2)分領域的。除了數字統計之外,指標還應報告統計分布(例如,文章引用計數),正如2018年以來的期刊引用報告中所做的那樣,應考慮不同學科之間的差異。
3)可知情的。專業協會和相關專家應幫助培養評價指標知識。例如,博士培訓課程可以包括角色扮演游戲,以展示在職業評估中使用和濫用期刊指標的情況。
4)負責任的。所有利益相關者都需要警惕指標的使用如何影響研究人員和其他利益相關者的行為,應該呼吁停止不負責任的用途。
評價系統要完善管理
評價指標的好壞,關鍵在于評價系統所涉及的利益相關方如何使用和管理。建立一個包容性的管理組織,專注于期刊指標,還是很有必要的。
管理組織的理事機構具有以下權利和義務:
1)提出新的指標,以解決學術期刊的各種職能,為促進有效使用而提出建議并制定標準。
2)制作教育材料(例如指標開發和使用倫理方面的培訓),為研究人員宣傳正確的用途。這可以幫助保護研究人員免受“掠奪性期刊”的影響。
3)反映學術出版的成功范例,例如非營利組織Crossref和ORCID,它們分別為文章和作者提供唯一的標識符。它將是國際性的組成部分,并將在各利益相關方之間進行聯絡,協調各種相關舉措。組織成員可以來自學術交流系統的個人,來自學術社團,商業和非營利出版商,高等教育機構,研究資助者,政府和其他地方。
結語
雖然影響因子似乎已經深入人心,但是我們仍然希望這篇文章所提到的一些觀點和原則有助于抵制病態的學術評價,讓科學回歸科學本身!
納米人學術交流QQ群:513234570
參考文獻:
Paul Wouters et al.Rethinking impact factors: betterways to judge a journal. Nature 2019, 569, 621-623.
https://www.nature.com/articles/d41586-019-01643-3