<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          論文無法復現「真公開處刑」,PapersWithCode上線「論文復現報告」

          共 3315字,需瀏覽 7分鐘

           ·

          2021-06-08 16:18

          ↑ 點擊藍字 關注極市平臺

          來源丨機器之心
          編輯丨極市平臺

          極市導讀

           

          近日,機器學習資源網站 PapersWithCode 上線了一項新功能,對于其舉辦的論文復現挑戰(zhàn)賽 RC2020 中提交的一些論文,它們將提供詳細的復現報告。這是 ML 社區(qū)重視「研究論文可復現性」的新信號。 >>加入極市CV技術交流群,走在計算機視覺的最前沿

          現在,越來越多的機器學習(ML)研究者選擇在論文發(fā)表時同步公開自己的代碼,像 arXiv 這樣的論文預印本平臺也選擇與機器學習資源網站 Papers with Code 合作,支持研究者在 arXiv 頁面上添加代碼鏈接。ICML、ICLR、NeurIPS 等一些頂會也要求投稿人在提交論文的時候附上代碼,以供審稿人測試,確保其研究結果的可復現性。

          但這一切仍然不代表論文復現變得容易了。前段時間,Reddit 用戶「ContributionSecure14」在花費長時間復現一篇論文失敗后,產生了專門列出無法復現論文清單的想法。他創(chuàng)建了一個名為「Papers Without Code」的 ML 研究反饋平臺,專門掛出那些大家都無法復現的論文研究。

          如果提交內容有效,則 Papers Without Code 方面將與該論文原作者聯系,并要求其澄清或公布實現細節(jié)。論文成功復現后,可以在 PapersWithCode 或 GitHub 上發(fā)布,供其他研究人員參考。如果作者未及時答復,該論文將被添加到「不可復現的機器學習論文列表」中,公開處刑。 

          目前,該網站上掛出了 19 篇論文,詳細列出了標題、鏈接、提交原因以及解決與否,可以看到有 8 篇論文顯示「已被解決」。


          但應看到,該網站創(chuàng)建數月以來,也僅僅提交了 19 篇論文,對于提升機器學習社區(qū)可復現方面遠遠不夠。

          近日,ML 領域著名的論文和代碼資源網站 PapersWithCode 終于向「有代碼也復現不了」這一老大難問題下手了,宣布其上線了新功能:論文可以鏈接到復現報告了!這是 ML 社區(qū)重視研究論文可復現性的新信號。


          PapersWithCode:論文終于有復現報告了

          PapersWithCode 以 ICML 2020 論文《Training Binary Neural Networks using the Bayesian Learning Rule》為例展示「論文復現報告」這項新功能。可以看到,PapersWithCode 在論文下方提供了復現報告,包括提交日期和報告摘要。


          大家或者注意到了這份復現報告的提交者為「RC 2020」,這是 PapersWithCode 組織的一項 ML 頂會論文復現挑戰(zhàn)賽。這項賽事的目的是鼓勵可靠且可復現研究成果的發(fā)表和分享,ML 社區(qū)的成員可以選擇頂會接收的論文來嘗試復現。


          所有的復現報告都將通過 OpenReview 進行同行評審,并顯示在 PapersWithCode 網站原始論文的下方。在每年的復現挑戰(zhàn)賽中,一批在「洞見性、正確性、邏輯清晰」等方面表現優(yōu)秀的論文會發(fā)表在 ReScience C 期刊上。


          與其他傳統(tǒng)科學期刊截然不同,ReScience C 可以說是一個 GitHub 項目,提供了關于計算研究的每個新實現以及評審、解釋和測試。PapersWithCode 的示例論文《Training Binary Neural Networks using the Bayesian Learning Rule》就發(fā)表在了該期刊上。目前,OpenReview 列出了所有在 RC 2020 挑戰(zhàn)賽中被 ReScience C 接收的論文列表。


          論文列表地址:https://openreview.net/group?id=ML_Reproducibility_Challenge/2020

          用戶現在可以在 PapersWithCode 和 ReScience 上查看所有 RC2020 挑戰(zhàn)賽中的論文復現報告。


          • PapersWithCode 復現報告地址:https://paperswithcode.com/conference/rc-2020

          • ReScience 復現報告地址:http://rescience.github.io/read/#volume-7-2021


          不過,目前提供復現報告的論文覆蓋面還很小。PapersWithCode 的共同創(chuàng)建者 Robert Stojnic 表示:「目前只有經過 OpenReview 同行評審且被 ReScience 接收的論文才能提供復現報告。


          希望未來 PapersWithCode 可以提供其網站上所有提交論文的復現報告。

          從頂會到個人,復現努力一直進行

          可復現性是科學領域長期關注的話題,更是機器學習社區(qū)的重點關注問題。為了解決論文可復現難題,從頂會到個人一直都在努力。

          NeurIPS 組委會從 2019 年起就鼓勵論文作者提交代碼(非強制),目前成效顯著。在 NeurIPS 2019 的最后提交階段,有 75% 的被接收論文附帶了代碼。隨后,NeuIPS 將代碼提交從「鼓勵」變成了「強烈建議」(仍不強制),還提供了提交代碼的準則和模板。

          2020 年底,機器學習資源網站 Papers with Code 宣布與論文預印本平臺 arXiv 進行合作,論文作者在 arXiv 上上傳論文時可以同步上傳官方和社區(qū)代碼


          此外,AAAI Fellow、加拿大計算機科學家 Joelle Pineau 教授創(chuàng)建了「機器學習可復現性調查表」,這個清單為如何使其他研究人員清楚并重現機器學習論文的描述、代碼和數據提供了明確的指導原則。


          網站地址:https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf

          這些措施有助于解決論文可復現性問題,并進一步促進開放性科學研究的發(fā)展。

          參考鏈接:https://paperswithcode.com/rc2020


          如果覺得有用,就請分享到朋友圈吧!

          △點擊卡片關注極市平臺,獲取最新CV干貨

          公眾號后臺回復“CVPR2021 Oral”獲取CVPR2021 Oral論文合集~


          極市干貨
          YOLO教程:一文讀懂YOLO V5 與 YOLO V4大盤點|YOLO 系目標檢測算法總覽全面解析YOLO V4網絡結構
          實操教程:PyTorch vs LibTorch:網絡推理速度誰更快?只用兩行代碼,我讓Transformer推理加速了50倍PyTorch AutoGrad C++層實現
          算法技巧(trick):深度學習訓練tricks總結(有實驗支撐)深度強化學習調參Tricks合集長尾識別中的Tricks匯總(AAAI2021
          最新CV競賽:2021 高通人工智能應用創(chuàng)新大賽CVPR 2021 | Short-video Face Parsing Challenge3D人體目標檢測與行為分析競賽開賽,獎池7萬+,數據集達16671張!


          CV技術社群邀請函 #

          △長按添加極市小助手
          添加極市小助手微信(ID : cvmart2)

          備注:姓名-學校/公司-研究方向-城市(如:小極-北大-目標檢測-深圳)


          即可申請加入極市目標檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術交流群


          每月大咖直播分享、真實項目需求對接、求職內推、算法競賽、干貨資訊匯總、與 10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~



          覺得有用麻煩給個在看啦~  
          瀏覽 64
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  欧美在线A片 | 欧美AⅤ在线 | 免费毛片十八 | 色欲无码精品视频 | 国产精品 久久久 |