↑ 點擊藍字關注極市平臺

來源丨機器之心

編輯丨極市平臺

極市導讀

在 Papers 「Without」 Code 網站上，復現不了的論文可是要被公開處刑的，作者也可能面臨「社會性死亡」。 >>加入極市CV技術交流群，走在計算機視覺的最前沿

「無法復現的論文都是耍流氓。」

二十幾天前，Reddit 用戶「ContributionSecure14」在機器學習社區(qū)瘋狂吐槽：「我花了一個星期嘗試復現一篇論文，結果失敗了。上網搜了一下才發(fā)現，也有其他人說這篇論文的結果無法復現。」

「有沒有那種專門列出無法復現論文的清單？這樣可以讓研究者們節(jié)省大量時間和精力?！?/span>

有人回復道：有一說一，從實際出發(fā)的話，列出「可復現論文清單」會更容易一些……

另一位 Reddit 用戶寫道：「所有論文中可能有 50％-75％是不可復現的，可悲啊，但這卻是事實。」

現在，越來越多的機器學習研究者選擇在論文發(fā)表時同步公開自己的代碼，像 arXiv 這樣的論文預印本平臺也選擇與機器學習資源網站 Papers with Code 合作，支持研究者在 arXiv 頁面上添加代碼鏈接。還有一些頂會（ICML、ICLR、NeurIPS）要求投稿人在提交論文的時候附上代碼，以供審稿人測試，確保其研究結果的可復現性。

但這一切仍然不代表論文復現變得容易了。

一氣之下，ContributionSecure14 創(chuàng)建了一個名為「Papers Without Code」的機器學習研究反饋平臺，專門掛出那些大家都無法復現的論文研究。

網站地址：https://www.paperswithoutcode.com/

Papers 「Without」 Code

機器學習領域研究者大多熟悉 PapersWithCode，這個資源網站上托管著 4 萬多個研究的實現代碼，但它沒有進一步解決「有代碼也復現不了」的問題。這個問題或許可以在「Papers Without Code」上找到答案。

簡單來說，在 Papers Without Code 上，研究者可以提交無法復現的機器學習論文以及他們的工作細節(jié)，例如他們花費了多少時間來復現結果。

如果提交內容有效，則 Papers Without Code 方面將與該論文原作者聯系，并要求其澄清或公布實現細節(jié)。論文成功復現后，可以在 PapersWithCode 或 GitHub 上發(fā)布，供其他研究人員參考。如果作者未及時答復，該論文將被添加到「不可復現的機器學習論文列表」中，公開處刑。

ContributionSecure14 表示：「Papers Without Code 的目標與 PapersWithCode 及整個 ML 社區(qū)是一致的?！鼓壳耙延袔灼撐纳习?。

反饋者需要提交包括論文標題、論文鏈接、提交原因等基本信息。地址：https://papers.paperswithoutcode.com/

「這樣做的目的是為了節(jié)省研究人員的時間和精力，以免花費成本去復現一篇無法復現的論文結果，而無法復現的原因可能是論文沒有足夠的細節(jié)或方法根本不 work?！?/section>

如果某篇論文「光榮上榜」，論文作者會被第一時間告知，并有機會作出回應。這一機制的建立也是希望能夠促進機器學習社區(qū)之間的有效交流，并培養(yǎng)健康的研究生態(tài)。

復現一篇論文，有多難？

事實上，迄今為止行業(yè)內仍有相當數量的優(yōu)質研究未能復現。從研究角度來說，這為后來研究者基于先驅工作嘗試新的探索帶來了一定阻礙。也有一部分研究無法復現是因為研究本身不合格，而不是因為復現者的技術太差。

網站創(chuàng)建者 ContributionSecure14 表示：「如果其他人不能以該論文為基礎或 baseline，那么公開發(fā)表的有實證結果的論文毫無意義。」

但他同時也承認，有時候出于某些正當理由，機器學習研究者不會公開代碼，比如一些作者可能是在內部基礎架構上訓練他們的模型，或者使用大型內部數據集進行預訓練。在這種情況下，受到企業(yè)政策的限制，研究人員無權隨論文發(fā)布代碼或數據。

在某些情況下，即使作者將源代碼和數據都發(fā)布在論文中，其他機器學習研究人員仍然很難復現結果。

造成這種情況的原因也有很多，比如論文作者可能會從多個實驗中挑選出最好的結果，以達到 SOTA 水平；或者使用一些技巧，針對數據集來調整機器學習模型的參數，以提升實驗結果。在這兩種情形下，即使結果最終可復現，但因為機器學習模型針對特定條件過擬合，所以在新的數據上效果往往并不好。

可復現問題并不局限于少數的小規(guī)模機器學習研究團隊，即使是那些揮金如土的大公司也常常無法驗證其論文的結果。去年，圖靈獎得主 Yann LeCun 就公開質疑過谷歌大腦的論文無法復現，很多 NLP 領域頂級研究人員無法復現谷歌大腦的語言模型 Transformer-XL 所得到的結果，一度引發(fā)社區(qū)熱議。

如果你的研究是在其他論文的基礎之上，嘗試復現其他研究的機器學習代碼肯定是常規(guī)操作?！覆灰唵蔚馗鶕撐闹鲝埦皖A設『見解』，」ContributionSecure14 表示，「即使是那些大組的論文，抑或是被頂會接收的論文?！?/span>

NeurIPS 組委會從 2019 年起就鼓勵論文作者提交代碼（非強制），目前成效顯著。在 NeurIPS 2019 的最后提交階段，有 75% 的被接收論文附帶了代碼。隨后，NeuIPS 將代碼提交從「鼓勵」變成了「強烈建議」（仍不強制），還提供了提交代碼的準則和模板。這些措施都有利于復現工作

但代碼公開問題也不能「一刀切」，畢竟可復現性并不是評價論文的唯一標準。

除了 Papers Without Code，你也可以參考 Pineau 教授的「機器學習可復現性調查表」（https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf），這個清單為如何使其他研究人員清楚并重現機器學習論文的描述、代碼和數據提供了明確的指導原則。

人們一直抱怨 AI 論文難復現，但機器學習社區(qū)在促進可復現方面可以發(fā)揮更加重要的作用。「很多時候論文作者都會在發(fā)表研究時面臨壓力，因此犧牲了學術深度和可復現性，并沒有太多制衡的方法來阻止這種行為，」ContributionSecure14 說道。

「唯一能夠改變這種趨勢的可能性在于，引導機器學習研究者們在進行研究時更加注重質量而非數量?！?/span>

參考鏈接：https://thenextweb.com/neural/2021/03/06/list-non-reproducible-research-machine-learning-papers-syndication/

推薦閱讀

讓你的博士經歷更加輕松愉快的10個tips

2021-03-10