↑ 點擊藍(lán)字?關(guān)注極市平臺

作者丨魔王

來源丨機(jī)器之心

編輯丨極市平臺

極市導(dǎo)讀

昨日，NeurlPS 2020會議錄取結(jié)果公布，論文接收率創(chuàng)史上最低。在一片吐槽聲中，領(lǐng)域主席卻發(fā)聲：“這樣做或許能讓會議更好。”>>加入極市CV技術(shù)交流群，走在計算機(jī)視覺的最前沿

昨日，NeurIPS 2020 會議發(fā)送論文錄取通知。

根據(jù)杜克大學(xué)陳怡然教授的微博信息，NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。

相比前幾年，今年 NeurIPS 會議不管從論文投稿數(shù)量還是接收率都創(chuàng)了記錄：論文投稿數(shù)量創(chuàng)歷史最高記錄，相比去年增長了 38%，接收率卻為史上最低。

2013-2020 年 NeurIPS 會議的投稿和接收論文數(shù)量。（圖源：AMiner 科技）

這或許與 NeurIPS 2020 的投稿、評審制度變化有關(guān)。

NeurIPS 2020 政策變動

今年初，NeurIPS 2020 公布了新一屆大會的變化：投稿截止日期提前；部分論文會被提前拒稿；絕大多數(shù)作者可能會參與審稿工作等。

具體而言：

1. 今年摘要提交的截稿日期提前到 2020 年 5 月 5 日（后延期至 5 月 27 日），而論文提交的截止日期是 2020 年 5 月 12 日（后延期至 6 月 5 日），此次調(diào)整旨在讓社區(qū)能夠合理地處理完增加的投稿量，以及配合「提前拒稿」這一新政策。

2. 提前拒稿：每篇論文都會經(jīng)過兩名不同有經(jīng)驗的研究者評估（領(lǐng)域主席 AC 和高級領(lǐng)域主席 SAC），決定論文是否需要接受進(jìn)一步的評審。領(lǐng)域主席會有兩個星期時間建議哪些論文會被提前拒絕，然后高級領(lǐng)域主席會有一個星期的時間來審核及批準(zhǔn)這一決定。批準(zhǔn)之后，這些論文作者將會得到通知。最終這一階段刷掉了 11% 的論文。

3. 作者也是審稿人：此次改變提出，在需要時，論文作者或聯(lián)合作者都需要同意審稿。這一改變有助于增加審稿人員的總量，并可以在提交論文的員中更加公平地分配審稿的工作量。

4. 更廣泛的影響：作者被要求在他們提交的文件中包含新的討論部分，而討論部分是關(guān)于他們的研究工作可能產(chǎn)生的影響，包括一些可能導(dǎo)致的正面的或者負(fù)面的社會影響。

5. Spotlight 視頻：社區(qū)要求所有作者在提交作品時上傳一段視頻，主要是記錄該工作的 Spotlight 展示，該視頻和 camera-ready 版論文一同提交。同時，社區(qū)也在推進(jìn)遠(yuǎn)程演示以及遠(yuǎn)程參會，他們也能看到這樣的視頻展示。

NeurIPS 2020 在 7 月份透露，在「提前拒稿」階段，約 11% 的論文被拒；組委會基于論文發(fā)表情況、評審經(jīng)驗和學(xué)科領(lǐng)域匯集了 7800 名合格的論文評審者，其中 2400 名是 NeurIPS 2020 會議的投稿作者。

盡管這些舉措出于解決論文投稿數(shù)量大、研究的倫理問題和算法應(yīng)用問題，以及遠(yuǎn)程會議的考慮，但新的變動仍引發(fā)了大量爭議。

上個月，NeurIPS 2020 論文評審結(jié)果一出就引來了大量吐槽，矛頭指向「提前拒稿」和「作者也是審稿人」。

領(lǐng)域主席發(fā)聲：這樣做或許能讓 NeurIPS 會議更好

而這次，在眾多吐槽聲中，NeurIPS 2020 領(lǐng)域主席之一、紐約大學(xué)副教授 Julian Togelius 作為評審人員發(fā)表了自己的看法，他認(rèn)為「會議的低接收率使得論文的新奇度、有趣度下降，不再向研究者施加向大型嚴(yán)格會議提交論文的壓力或許會讓 NeurIPS 等會議變得更好、規(guī)模也更小」。

我理解大家被 NeurIPS 會議拒稿后的沮喪。作為領(lǐng)域主席，我可以確定我給一些不錯論文的推薦結(jié)果是「rejection」。它們的問題在于不夠新奇有趣、不夠令人興奮。

當(dāng)然，所有被拒的論文都存在某種問題。比如，錯誤的基準(zhǔn)、控制變量研究不足、沒有引用一些重要的工作等。但是，其實所有論文都有錯誤。想想那些影響你最深的機(jī)器學(xué)習(xí)論文，它們難道就是完美的嗎？

如果你覺得一篇論文足夠新奇有趣，你會忽略它的缺點（在合理范圍內(nèi)）。然而，在評審 NeurIPS 論文的時候，即使用了所有 sorting 函數(shù)，我仍然難以找到讓我覺得興奮的亮點。

一大問題是低接收率，它讓評審過程變成了「找茬游戲」。會議 tenure 和 promotion 委員會的要求使得論文接收率較低。因此很多作者把論文寫得很周全、符合要求，而這也讓論文變得無聊和平庸了。

一個隱形的更大問題是 NeurIPS 會議規(guī)模太大了。它匯集了不同研究興趣的人，但無法保證評審的興趣與論文最大程度地匹配，因此這些評審會找理由拒稿。

按照我的經(jīng)驗，在高接收率的小型會議和 workshop 上，我會找到較多感興趣的論文。部分原因在于，在拒稿威脅較小時，你才能寫出更有趣的論文。

還有一個更大的原因是，我對小型會議和 workshop 的領(lǐng)域更感興趣。我的意思是，為什么要把時間浪費(fèi)在 95% 的議程你都不感興趣的會議上呢？

我希望，機(jī)構(gòu)不要向作者施加向大型、嚴(yán)格篩選的會議提交論文的壓力。如果只有那些真的想向 NeurIPS 投稿的人投稿，那這個會議可能會變得更好，規(guī)模也會變小。

近年來，機(jī)器學(xué)習(xí)會議的論文投稿數(shù)量激增，論文評審變成了亟待解決的問題。各家會議紛紛出臺新政策，然而不管是 NeurIPS 2020 的「提前拒稿」還是 EMNLP 2020 的 Findings，都引起了一些爭議。

如何解決評審難題，道阻且長，但行則將至。這或許不只需要學(xué)術(shù)會議的努力。

參考鏈接

https://mp.weixin.qq.com/s/t5g9ArFtCTWok83oakaPWw

推薦閱讀

我有一個頂會idea還沒做實驗，NeurIPS：先占坑再實驗！
NeurIPS 2020論文評審結(jié)果出爐，提前拒稿、作者審稿惹爭議，網(wǎng)友：改投別家吧
神經(jīng)網(wǎng)絡(luò)中的蒸餾技術(shù)，從Softmax開始說起

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測-深圳），即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??

NeurIPS 2020放榜，接收率史上最低！AC：低接收率帶不來有趣的論文

NeurIPS 2020 政策變動

領(lǐng)域主席發(fā)聲：這樣做或許能讓 NeurIPS 會議更好