<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          NeurIPS 2020論文評審結(jié)果出爐,提前拒稿、作者審稿惹爭議,網(wǎng)友:改投別家吧

          共 3424字,需瀏覽 7分鐘

           ·

          2020-08-12 16:49

          點擊藍字


          ?關(guān)注我們



          來源|機器之心

          NeurIPS 2020 論文評審結(jié)果出來了,你有被評審結(jié)果「摧殘」到嗎?


          經(jīng)歷了兩次 deadline 推遲之后,NeurIPS 2020 的論文評審結(jié)果終于出來了!一如既往,評審結(jié)果一出就引發(fā)了大量吐槽。

          評審結(jié)果一出來,眾多作者「在線攤手」


          或許很多投稿作者的內(nèi)心 OS 是:收到這樣的評審結(jié)果,我該怎么辦?

          評審意見不一,rebuttal 可怎么寫?

          投稿人 Adarsh Jamadandi 表示自己收到的評審意見截然相反。一個認為論文寫作思路不清晰,另一個則認為寫得很好,很適合 NeurIPS 會議。他對此發(fā)出了靈魂一問:作為第一次投稿 NeurIPS 的人,我應(yīng)該怎么寫 rebuttal 呢?


          辛苦做的研究得了低分,一個月搞定的工作拿到高分:NeurIPS 不值得

          reddit 用戶 enematurret 則表示:算了,改投別家吧……

          我花了一年時間寫的論文,解決了開放性問題,性能大幅超越 SOTA 結(jié)果,得了 6/4/4 分;提交前一個月才開始做項目,不到 48 小時寫完論文,而且實驗大多比較初級,這篇論文竟然得了 8/6/6 分。

          現(xiàn)在我確信,評審結(jié)果大部分是噪聲了。從現(xiàn)在開始,我要保存自己的論文草稿和 NeurIPS 認為不好的論文,將自己最好的工作投到別的渠道。


          評審讓我對比投稿時還沒發(fā)布的論文……

          更奇葩的還有這個。

          reddit 用戶 Lolikyon 表示,評審者認為 ta 沒有與另一篇論文進行對比,而那篇論文 7 月 12 日才上傳到 arXiv!

          另一位用戶提建議:「你的 rebuttal 可以這樣寫:『很遺憾,我們沒有時光機器,能讓我們對比還沒發(fā)表的工作?!弧?/span>


          NeurIPS 2020 新審稿機制惹爭議


          除了和往年一樣,大家對評審結(jié)果表示不理解和不認同外,今年還有很多爭議圍繞著 NeurIPS 2020 的新審稿機制。

          頂會論文數(shù)量增長迅猛,隨之而來的是評審人員不足、評審質(zhì)量不夠等問題。針對這一現(xiàn)象,2020 年收到將近 10000 篇提交論文、提交數(shù)量再次刷新記錄的 NeurIPS 會議決定采取一些措施:

          • 提前拒稿:領(lǐng)域主席會有兩個星期時間去建議哪些論文會被提前拒絕,而且目前預(yù)計將有 20% 左右的論文會被提前拒絕。緊接著高級領(lǐng)域主席會有一個星期的時間來審核及批準這一決定。批準之后,這些論文作者將會得到通知。

          • 作者也是審稿人:此次改變提出,在需要時,論文作者或聯(lián)合作者都需要同意審稿。這一改變有助于增加審稿人員的總量,并可以在提交論文的人員中更加公平地分配審稿的工作量。


          然而,這些試圖解決論文評審問題的機制就執(zhí)行結(jié)果而言真的符合設(shè)置初衷嗎?

          7 月中旬,NeurIPS 提前拒稿結(jié)果出來后,即引發(fā)大量吐槽。研究者們吐槽最多的問題是,這種提前拒稿機制著實有點「隨機拒稿」的樣子。提前拒稿確實減少了審稿人的負擔(dān),但這會讓被拒絕的投稿人相當(dāng)痛苦——失望來得太快,并且無法從中獲得任何建設(shè)性的意見來改進論文。

          剛剛,NeurIPS 2020 論文評審結(jié)果出來后,再次引發(fā)了對 NeurIPS 評審制度的批評和思考。英偉達機器學(xué)習(xí)研究負責(zé)人 Anima Anandkumar 直言:

          再一次看到 NeurIPS 會議糟糕的論文評審結(jié)果,我確認了一點:如果評審人員沒辦法真誠地寫評審結(jié)果,那就應(yīng)該禁止他們同時作為作者提交論文。我們的 AI 會議需要更有可信度。


          ?在這條推特的留言區(qū),大家也是眾說紛紜。

          谷歌 AI 研究科學(xué)家 Hossein Mobahi 表示:

          目前在 ICML 和 NeurIPS 會議評審過程中,領(lǐng)域主席(AC)已經(jīng)對評審人員進行評分了。據(jù)我所知,這個分數(shù)僅用于發(fā)現(xiàn)優(yōu)秀的評審人員,進而激勵評審者。它其實可以有另一種類似的用途:摒棄不好的評審人員(這一過程應(yīng)該接受更多 AC 的監(jiān)督)。


          ?加德滿都大學(xué)計算機科學(xué)與工程博士生、前華為網(wǎng)絡(luò)工程師 Shashi Raj Pandey 表示:

          認真工作了好幾個月或好幾年,評審一兩天就結(jié)束了,評審結(jié)果還像出自機器人之手——不具備恰當(dāng)?shù)?pointer、敘述、構(gòu)造、善意等。大部分學(xué)術(shù)研究評審結(jié)果都是這樣,唉!


          oblivious.ai 聯(lián)合創(chuàng)始人 Jack Fitzsimons 從更宏觀的角度思考了這個問題 :

          論文提交數(shù)量日益增長,肯定會有更多初級研究者擔(dān)任評審(論文作者兼任評審加劇了這一點),因此我認為評審質(zhì)量變差在情理之中。但是 NeurIPS 會議仍然具備很高的聲譽。其他不錯的會議(如 UAI、AISTATS)也收到了大量投稿。我認為我們?nèi)狈ψ銐蚝?、具備較高聲譽的子領(lǐng)域會議,不然評審和作者能夠得到更好的匹配,這方面還大有可為。


          俄勒岡州立大學(xué)杰出教授 Thomas G. Dietterich 發(fā)表了較為審慎的觀點:

          禁止并非解決問題的良策。我們需要更好地教育論文評審(和作者)。我們還需要重新思考 21 世紀的會議論文發(fā)表系統(tǒng)。



          此外,Thomas G. Dietterich 教授連發(fā) 21 條推文,介紹了自己設(shè)想的 ML 研究和論文發(fā)表系統(tǒng)。


          我對此的建議包括四部分。

          核心部分是包含以下三個主要組件的 wiki:1)已發(fā)表論文的有標(biāo)注、有組織的目錄;2)機器學(xué)習(xí)實驗設(shè)計和分析流程(包含代碼)的集合;3)證明優(yōu)化和學(xué)習(xí)理論發(fā)現(xiàn)的數(shù)學(xué)結(jié)果和分析技術(shù)集合。

          該 wiki 應(yīng)由包含高級編輯的研究社區(qū)維護,這些人員分別歸屬于三個專家組:1)領(lǐng)域?qū)<医M,負責(zé)持續(xù)跟進某些研究領(lǐng)域;2)方法論專家組,負責(zé)實驗設(shè)計和統(tǒng)計分析部分;3)數(shù)學(xué)專家組,負責(zé)分析機器學(xué)習(xí)算法。

          高級編輯應(yīng)擁有不錯的職業(yè)路徑,具備相關(guān)的知名度和獎項。作者應(yīng)查詢該 wiki,找到相關(guān)的研究結(jié)果和方法。沒有引用該 wiki 中的相關(guān)工作或方法的論文可被拒。
          第二部分:論文投稿應(yīng)包括結(jié)構(gòu)化的摘要和附錄。摘要應(yīng)表明研究動機、研究問題、方法和貢獻。附錄應(yīng)包含:a)解釋作者認為論文與哪些 wiki 類別相關(guān),與哪些不相關(guān);b)實驗設(shè)計和分析流程的偽代碼;c)對所有形式化結(jié)果的陳述和證明。

          第三部分:每篇論文分配一名編輯 / 指導(dǎo)者,負責(zé)幫助作者改進論文。

          編輯閱讀論文并就其「敘事」提供反饋,然后將建議以 pointer 的形式發(fā)送給作者。作者根據(jù)編輯的反饋更新論文,然后編輯通過,將該論文發(fā)布在某個平臺上(如 Open Review),邀請研究社區(qū)進行評審和復(fù)現(xiàn)。

          第四部分:如果研究社區(qū)認為某篇論文很重要或效果驚人,則論文進入深入的正確性檢查環(huán)節(jié)。
          由某個受資助組織接受聘請評審進行此類檢查。論文發(fā)送給三類評審人員:a)研究類似問題的人員:這類評審負責(zé)評估論文的研究問題、論斷和證據(jù)是否得到準確描述;b)方法論專家(如果論文包含實驗的話):這類評審負責(zé)評估方法和分析的正確性;c)分析專家(如果論文做出了形式化論斷):這類專家負責(zé)檢查理論論斷和證明。

          其整體目標(biāo)是對重要的論文進行再次檢查,相當(dāng)于「可編輯的 arXiv」,擴展性優(yōu)于現(xiàn)有系統(tǒng)。

          社區(qū)創(chuàng)建和維護 wiki 以跟蹤領(lǐng)域最新知識,與為作者提供「doing research right」的更好工具同等重要。

          Thomas G. Dietterich 教授表示:這個系統(tǒng)或許可以解決機器學(xué)習(xí)領(lǐng)域研究工作大爆炸的問題。

          推薦閱讀



          添加極市小助手微信(ID : cv-mart),備注:姓名-學(xué)校/公司-研究方向-城市(如:小極-北大-目標(biāo)檢測-深圳),即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR等技術(shù)交流群,更有每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、行業(yè)技術(shù)交流,一起來讓思想之光照的更遠吧~

          △長按添加極市小助手

          △長按關(guān)注極市平臺,獲取最新CV干貨

          覺得有用麻煩給個在看啦~??
          瀏覽 36
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  啪啪啪啪网页 | 亚洲1级片在线 | 色综合天天综合成人网 | 无码A区| 日韩欧美亚 |