4篇Nature神仙打架，谷歌頂級研究被質疑隱藏技術細節，無法重復！
小奇
2020-10-20
雖然說在實驗學科來說，實驗無法重復已然司空見慣。但是，實驗如果無法重復，即便成果發表在Science或者Nature，結局也只能是尷尬的。在今年1月1日，Nature上發表了一篇來自谷歌公司的關于人工智能（AI）算法系統用于篩查乳腺癌的技術，該系統能夠在乳腺癌預測方面超越人類專家，且在保持不遜色的性能的同時可將工作量減少了88％。然而，近日，加拿大多倫多大學Benjamin Haibe-Kains等人在Nature期刊上發表Matters Arising，認為該論文的缺少方法和算法代碼的細節，實際上破壞了其科學價值。這限制了其他人前瞻性驗證和臨床實施此類技術所需的證據，呼吁AI科學論文應該完全透明性和可重復性。鑒于此，Benjamin Haibe-Kains等人通過找出該研究存在的阻礙透明和可重復的AI研究的障礙，并為這些障礙提供了解決方案，對更廣闊的領域具有啟示意義。Benjamin Haibe-Kains等人認為科學進步取決于獨立研究人員仔細研究研究結果，后面進行重復是可再現主要的結果，并在以后的研究中以此為基礎。發表記錄不足的研究不符合科學發現的核心要求。深度學習模型的僅用文本描述可能掩蓋了其高度的復雜性。計算機代碼中的細微差別可能會對結果的訓練和評估產生明顯影響，從而可能導致意想不到的后果。所以代碼的透明性對于研究的可重復性至關重要！但是呢，McKinney等人在文中指出，用于訓練模型的代碼“大量依賴內部工具，基礎架構和硬件”，并聲稱因此不可能公開代碼。盡管在論文的補充部分進行了描述，但仍缺乏有關其分析的關鍵細節。而且，即使進行了廣泛的描述，僅基于文本來重復復雜的計算也是一項主觀且具有挑戰性的任務。除了純文本描述方法固有的可重復性挑戰之外，McKinney等人對模型開發以及數據處理和訓練流水線的描述缺少關鍵的細節。例如，缺少用于模型架構的幾個超參數的定義（由三個網絡組成，分別稱為乳房模型，病變模型和病例模型），而且培訓渠道的細節也丟失了。沒有此關鍵信息，就不可能獨立重復出該訓練管道的。Benjamin Haibe-Kains等人還列舉了用于共享人工智能研究的框架和平臺，包括GitHub，認為共享在這些平臺上不僅改善可訪問性和透明度之外，此類資源還可以大大加速模型開發、驗證以及向生產和臨床實施的過渡。此外，確保可重復性的另一個關鍵方面在于訪問模型所源自的數據。這方面會涉及隱私問題，但原始數據的共享在生物醫學文獻中已變得越來越普遍。但是，如果無法共享數據，則應發布模型預測和數據標簽本身，以便進行進一步的統計分析。最重要的是，不應將對數據隱私的關注作為拒絕公開要求的說辭。研究人員已經對AI方法在醫學上的應用寄予厚望。然而，要確保這些方法發揮其潛力，就需要這些研究在科學上具有可重復性。計算虛擬化和人工智能框架的最新進展極大地促進了復雜的深層神經網絡以一種更結構化、透明和可復制的方式實現。采用這些技術將增加已發表的深度學習算法的影響，并加速將這些方法轉化為臨床環境。下面為Nature原文作者McKinney等人針對Benjamin Haibe-Kains等人的評論進行回復：作者同意評論者的觀點：透明性和可再現性對于科學進步至關重要。所以學術界可以使用論文中使用的最大數據源（OPTIMAM數據庫），這是他們機構資助的。而且已經有課題組利用該數據庫發了一篇Lancet子刊了。原文作者表示在醫院系統的機構審查委員會（IRB）批準后，他們才拿到來自美國的其他數據集。所以正如對方所理解的，原文作者認為他們沒有分享不屬于他們數據的自由。更廣泛地說，廣泛發布數據會大大改變患者的風險收益計算，因此機構必須考慮如何以及何時進行此操作。基于這些考慮，很少公開提供具有相關乳腺癌結果的大型醫學圖像數據集。針對某些超參數的省略，原文作者在補篇中進行了補充。對方建議將與該項目相關的所有代碼開源。原文作者表示大部分工作都基于開源實現，剩下的大部分代碼都涉及內部計算集群中的數據輸入-輸出和訓練過程的編排，這兩者的科學價值都很低，并且對組織外部的研究人員而言用途有限。鑒于第2條補充信息中的大量文字描述，他們相信精通深度學習的研究人員應該能夠從這些的方法中學到并擴展。由于訓練數據是私人的或受限制的訪問，因此公開共享模型似乎為時過早，并且可能會引入特征不明確的風險。基于這些擔憂，作者選擇謹慎地共享來自患者數據（即使是未識別的）的軟件。毫無疑問，評論者的動機是保護未來的患者以及科學原則。作者也認同這一觀點。但是呢，這項工作只是概念的初步證明，絕不是故事的結局。他們打算在他們的軟件在臨床環境中使用之前，先對其進行廣泛的測試，與患者、提供者和監管者共同努力，以確保療效和安全性。一邊是呼吁論文更透明和可重復，一邊是出于保護患者數據隱私。關于重復不出來的頂刊論文，是科學打壓還是技術保護，你們怎么看？奇物論 發起了一個讀者討論關于論文可重復性，你們怎么看？1. McKinney, S.M., Sieniek, M., Godbole, V. et al. International evaluation of an AI system for breast cancer screening. Nature 577, 89–94 (2020). https://doi.org/10.1038/s41586-019-1799-62. Haibe-Kains, B., Adam, G.A., Hosny, A. et al. Transparency and reproducibility in artificial intelligence. Nature 586, E14–E16 (2020). https://doi.org/10.1038/s41586-020-2766-y3. McKinney, S.M., Karthikesalingam, A., Tse, D. et al. Reply to: Transparency and reproducibility in artificial intelligence. Nature 586, E17–E18 (2020). https://doi.org/10.1038/s41586-020-2767-x4. McKinney, S.M., Sieniek, M., Godbole, V. et al. Addendum: International evaluation of an AI system for breast cancer screening. Nature 586, E19 (2020). https://doi.org/10.1038/s41586-020-2679-9
加載更多
2233
版權聲明：
1） 本文僅代表原作者觀點，不代表本平臺立場，請批判性閱讀！
2） 本文內容若存在版權問題，請聯系我們及時處理。
3） 除特別說明，本文版權歸納米人工作室所有，翻版必究！
