NeurIPS 2020論文評審結(jié)果出爐,提前拒稿、作者審稿惹爭議,網(wǎng)友:改投別家吧
點擊藍字
?關(guān)注我們

來源|機器之心
NeurIPS 2020 論文評審結(jié)果出來了,你有被評審結(jié)果「摧殘」到嗎?

評審結(jié)果一出來,眾多作者「在線攤手」

我花了一年時間寫的論文,解決了開放性問題,性能大幅超越 SOTA 結(jié)果,得了 6/4/4 分;提交前一個月才開始做項目,不到 48 小時寫完論文,而且實驗大多比較初級,這篇論文竟然得了 8/6/6 分。 現(xiàn)在我確信,評審結(jié)果大部分是噪聲了。從現(xiàn)在開始,我要保存自己的論文草稿和 NeurIPS 認為不好的論文,將自己最好的工作投到別的渠道。


NeurIPS 2020 新審稿機制惹爭議
提前拒稿:領(lǐng)域主席會有兩個星期時間去建議哪些論文會被提前拒絕,而且目前預(yù)計將有 20% 左右的論文會被提前拒絕。緊接著高級領(lǐng)域主席會有一個星期的時間來審核及批準這一決定。批準之后,這些論文作者將會得到通知。
作者也是審稿人:此次改變提出,在需要時,論文作者或聯(lián)合作者都需要同意審稿。這一改變有助于增加審稿人員的總量,并可以在提交論文的人員中更加公平地分配審稿的工作量。
再一次看到 NeurIPS 會議糟糕的論文評審結(jié)果,我確認了一點:如果評審人員沒辦法真誠地寫評審結(jié)果,那就應(yīng)該禁止他們同時作為作者提交論文。我們的 AI 會議需要更有可信度。

目前在 ICML 和 NeurIPS 會議評審過程中,領(lǐng)域主席(AC)已經(jīng)對評審人員進行評分了。據(jù)我所知,這個分數(shù)僅用于發(fā)現(xiàn)優(yōu)秀的評審人員,進而激勵評審者。它其實可以有另一種類似的用途:摒棄不好的評審人員(這一過程應(yīng)該接受更多 AC 的監(jiān)督)。

認真工作了好幾個月或好幾年,評審一兩天就結(jié)束了,評審結(jié)果還像出自機器人之手——不具備恰當(dāng)?shù)?pointer、敘述、構(gòu)造、善意等。大部分學(xué)術(shù)研究評審結(jié)果都是這樣,唉!

論文提交數(shù)量日益增長,肯定會有更多初級研究者擔(dān)任評審(論文作者兼任評審加劇了這一點),因此我認為評審質(zhì)量變差在情理之中。但是 NeurIPS 會議仍然具備很高的聲譽。其他不錯的會議(如 UAI、AISTATS)也收到了大量投稿。我認為我們?nèi)狈ψ銐蚝?、具備較高聲譽的子領(lǐng)域會議,不然評審和作者能夠得到更好的匹配,這方面還大有可為。

禁止并非解決問題的良策。我們需要更好地教育論文評審(和作者)。我們還需要重新思考 21 世紀的會議論文發(fā)表系統(tǒng)。


我對此的建議包括四部分。 核心部分是包含以下三個主要組件的 wiki:1)已發(fā)表論文的有標(biāo)注、有組織的目錄;2)機器學(xué)習(xí)實驗設(shè)計和分析流程(包含代碼)的集合;3)證明優(yōu)化和學(xué)習(xí)理論發(fā)現(xiàn)的數(shù)學(xué)結(jié)果和分析技術(shù)集合。 該 wiki 應(yīng)由包含高級編輯的研究社區(qū)維護,這些人員分別歸屬于三個專家組:1)領(lǐng)域?qū)<医M,負責(zé)持續(xù)跟進某些研究領(lǐng)域;2)方法論專家組,負責(zé)實驗設(shè)計和統(tǒng)計分析部分;3)數(shù)學(xué)專家組,負責(zé)分析機器學(xué)習(xí)算法。 高級編輯應(yīng)擁有不錯的職業(yè)路徑,具備相關(guān)的知名度和獎項。作者應(yīng)查詢該 wiki,找到相關(guān)的研究結(jié)果和方法。沒有引用該 wiki 中的相關(guān)工作或方法的論文可被拒。
第二部分:論文投稿應(yīng)包括結(jié)構(gòu)化的摘要和附錄。摘要應(yīng)表明研究動機、研究問題、方法和貢獻。附錄應(yīng)包含:a)解釋作者認為論文與哪些 wiki 類別相關(guān),與哪些不相關(guān);b)實驗設(shè)計和分析流程的偽代碼;c)對所有形式化結(jié)果的陳述和證明。 第三部分:每篇論文分配一名編輯 / 指導(dǎo)者,負責(zé)幫助作者改進論文。 編輯閱讀論文并就其「敘事」提供反饋,然后將建議以 pointer 的形式發(fā)送給作者。作者根據(jù)編輯的反饋更新論文,然后編輯通過,將該論文發(fā)布在某個平臺上(如 Open Review),邀請研究社區(qū)進行評審和復(fù)現(xiàn)。 第四部分:如果研究社區(qū)認為某篇論文很重要或效果驚人,則論文進入深入的正確性檢查環(huán)節(jié)。
由某個受資助組織接受聘請評審進行此類檢查。論文發(fā)送給三類評審人員:a)研究類似問題的人員:這類評審負責(zé)評估論文的研究問題、論斷和證據(jù)是否得到準確描述;b)方法論專家(如果論文包含實驗的話):這類評審負責(zé)評估方法和分析的正確性;c)分析專家(如果論文做出了形式化論斷):這類專家負責(zé)檢查理論論斷和證明。 其整體目標(biāo)是對重要的論文進行再次檢查,相當(dāng)于「可編輯的 arXiv」,擴展性優(yōu)于現(xiàn)有系統(tǒng)。 社區(qū)創(chuàng)建和維護 wiki 以跟蹤領(lǐng)域最新知識,與為作者提供「doing research right」的更好工具同等重要。
推薦閱讀

評論
圖片
表情
