??新智元報(bào)道??

編輯：David 時(shí)光

【新智元導(dǎo)讀】ICML2022最終審稿結(jié)果陸續(xù)出爐，作者們開(kāi)始收到官方通知，和往屆AI學(xué)術(shù)會(huì)議一樣，今年同樣少不了對(duì)審稿流程和質(zhì)量的吐槽。

備受關(guān)注的AI頂會(huì)之一——國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML 2022），目前審稿流程已經(jīng)結(jié)束，終審結(jié)果已經(jīng)陸續(xù)出爐。

ICML官方微博宣布，目前已經(jīng)開(kāi)始通過(guò)電郵將最終結(jié)果通知論文作者。

本次ICML2022采用兩階段審稿模式，這與今年AAAI、IJCAI等會(huì)議相同，即審稿人不打分，只提供評(píng)審意見(jiàn)、以及對(duì)優(yōu)點(diǎn)和缺點(diǎn)的權(quán)衡。

另外，本次會(huì)議設(shè)立的「元審稿人」（MR）負(fù)責(zé)確保他們處理的論文得到專(zhuān)業(yè)評(píng)審，并在總體上得到公平對(duì)待。

「元審稿人」具體是干啥的？

按照大會(huì)發(fā)布的「元審稿人」規(guī)范指導(dǎo)，這個(gè)職位的作用相當(dāng)于「審稿人的審稿人」。

具體點(diǎn)說(shuō)，就是負(fù)責(zé)檢查審稿的質(zhì)量，敦促進(jìn)度落后的審稿人，讓審稿人修改質(zhì)量差的審稿意見(jiàn)。

如果一篇論文被兩個(gè)審稿人標(biāo)記為第1階段拒稿，MR需要仔細(xì)評(píng)估原因，并提出相應(yīng)建議。如果MR決定保守地推薦被拒稿件，要寫(xiě)一份尊重他人的元審稿意見(jiàn)，解釋原因，并提供證據(jù)。

而且在流程上，MR有兩個(gè)級(jí)別：普通MR和資深MR。

PC分配每篇文章給2個(gè)審稿人和一位MR，2位審稿人出具拒稿意見(jiàn)后，先后交由兩級(jí)MR審查這個(gè)意見(jiàn)，只有所有人同意這個(gè)意見(jiàn)，才會(huì)給作者發(fā)拒稿通知。

從設(shè)計(jì)上來(lái)看，這個(gè)機(jī)制旨在提高審稿質(zhì)量，避免因?yàn)閷徃迦说膶徃遒|(zhì)量問(wèn)題，在第一階段就拒掉潛在的好文章，畢竟第1階段就被拒的文章，是沒(méi)有rebuttal機(jī)會(huì)的。

如果文章順理通過(guò)了第1階段，進(jìn)入第2階段后，會(huì)為每篇文章增加一位MR，PC要確保每篇文章至少有3位審稿人，新增的審稿人需要重新審稿，不能只參考之前審稿人的意見(jiàn)。

之后進(jìn)入rebuttal階段，審稿人視情況決定是否接受意見(jiàn)，并交由MR閱讀審稿意見(jiàn)和rubuttal內(nèi)容后給出MR意見(jiàn)，在交由資深MR審核討論、出具最終意見(jiàn)。

最后，PC會(huì)在監(jiān)督整個(gè)過(guò)程后經(jīng)討論，最終接受/拒稿的最終決定，并通知作者。

按照ICML2022大會(huì)官網(wǎng)公布的日程安排，第一階段的拒稿通知在今年3月11日起陸續(xù)發(fā)送。

收到通知，隨后于4月6日對(duì)作者開(kāi)放意見(jiàn)反饋通道。

也就是說(shuō)，如果沒(méi)有在第一階段就被拒，如果在此期間能夠說(shuō)服審稿人或MR，在第二階段被拒論文還是有機(jī)會(huì)「起死回生」的。

而且，從新的審稿流程上看，MR的設(shè)立從理論上讓這個(gè)機(jī)會(huì)變得更大了。畢竟，審稿人的意見(jiàn)和作者的rebuttal都要經(jīng)過(guò)MR和資深MR的審閱和討論，而且還是兩輪。

吐槽：為啥取消打分？說(shuō)好的MR意見(jiàn)呢？

現(xiàn)在，最后結(jié)果出來(lái)了，反響如何呢？

與以往一樣，結(jié)果一出，又是幾家歡喜幾家愁！

為此，知乎上出現(xiàn)了一個(gè)關(guān)于「如何看待ICML2022結(jié)果」的討論。

從問(wèn)題描述來(lái)看，這次的「新規(guī)矩」把他折騰得夠嗆。

無(wú)論制度設(shè)計(jì)千好萬(wàn)好，歸根結(jié)底，審稿的活還是由人來(lái)干。他表示，很多審稿人還是主要看實(shí)驗(yàn)和結(jié)果。

「不要對(duì)審稿人有過(guò)高的期望，沒(méi)有實(shí)驗(yàn)，比不過(guò)sota，都要被拉分?！顾f(shuō)。

這一話題也引來(lái)了眾多參會(huì)者、審稿人、機(jī)器學(xué)習(xí)愛(ài)好者的興趣，目前被瀏覽次數(shù)接近27w。

大家的討論主要聚焦在審稿質(zhì)量問(wèn)題上。

首先，有些人表示并沒(méi)看見(jiàn)說(shuō)好的「MR意見(jiàn)」。

網(wǎng)友Francesco Orabona指出，他已經(jīng)收到了審稿結(jié)果，但沒(méi)有大會(huì)審稿流程里說(shuō)的MR意見(jiàn)。

不過(guò)，有人回復(fù)稱，這可能是意外事故，評(píng)審結(jié)果可能也不是最終的，可能MR意見(jiàn)已經(jīng)給了，但是作者看不見(jiàn)，「要不再等等」？

也有人看到了MR意見(jiàn)，但表示和自己預(yù)想得有很大差異，大部分只有寥寥數(shù)語(yǔ)，且是審稿人意見(jiàn)的機(jī)械總結(jié)，沒(méi)有自己的理解。

按照這樣的情況，MR「給審稿人糾錯(cuò)」的設(shè)立初衷可能就無(wú)法實(shí)現(xiàn)。

其次，沒(méi)有分?jǐn)?shù)，拿什么rebuttal？

今年的評(píng)審沒(méi)有分?jǐn)?shù)，這個(gè)大改也讓很多人不習(xí)慣。

因?yàn)?，不僅作者要看分?jǐn)?shù)，審稿人要參考分?jǐn)?shù)，MR也要視分?jǐn)?shù)對(duì)審稿意見(jiàn)作出大概判斷。

現(xiàn)在沒(méi)有分?jǐn)?shù)了，可能在rebuttal環(huán)節(jié)會(huì)更加茫然，不知道從哪下嘴。

網(wǎng)友Reinhold認(rèn)為，「這沒(méi)分?jǐn)?shù)讓人有點(diǎn)心慌」。

其實(shí)，不管是對(duì)作者還是審稿人，可能都很不適應(yīng)。沒(méi)有分?jǐn)?shù)就沒(méi)有一個(gè)量化標(biāo)準(zhǔn)，缺失了自我評(píng)估的重要依據(jù)。

盡管，沒(méi)有分?jǐn)?shù)可以避免分?jǐn)?shù)給人的刻板印象，但是，現(xiàn)在把分?jǐn)?shù)取消了是不是適得其反，反而降低了審稿質(zhì)量呢？

另外，一些審稿人的評(píng)審水平不敢恭維。

有投稿人認(rèn)為，此次評(píng)審的質(zhì)量很低，沒(méi)有直擊論文要害，只評(píng)議邊緣問(wèn)題。4月15日，一位知乎匿名用戶寫(xiě)到：

「他們通常停留在Problem setting的討論，涉及到technical detail的改進(jìn)意見(jiàn)幾乎都是勉強(qiáng)湊數(shù)亂寫(xiě)，不懂裝懂，當(dāng)然有的知道自己不熟悉也不去多評(píng)價(jià)?！?/span>

為什么會(huì)出現(xiàn)這種「勉強(qiáng)湊數(shù)」的評(píng)審情況呢？可能與今年的評(píng)審機(jī)制改革有關(guān)，正如一位知乎用戶所說(shuō)的：?

「以投稿人作為審稿人的機(jī)制，看似平攤了審稿壓力，實(shí)則增加了大量低質(zhì)量評(píng)審，反而增加了隨機(jī)性和不公平性，這極有可能讓ICML的聲譽(yù)受到極大打擊?！?/span>

以「以投稿人作為審稿人」的機(jī)制，必然會(huì)出現(xiàn)評(píng)審質(zhì)量參差不齊的狀況，這似乎是可以預(yù)見(jiàn)的問(wèn)題。

還有強(qiáng)迫引用評(píng)審者論文的現(xiàn)象。

在論文評(píng)審中，不乏一些評(píng)審人會(huì)使用「黑手段」來(lái)提高自己論文的知名度，比如，強(qiáng)制他人引用自己論文，并將此作為評(píng)審意見(jiàn)的一部分。

在這次評(píng)審中，也不例外存在此種不良現(xiàn)象。

總而言之，這屆機(jī)器學(xué)習(xí)頂會(huì)評(píng)審被網(wǎng)友狂吐槽。無(wú)論是沒(méi)有「元評(píng)審」、沒(méi)有分?jǐn)?shù)，還是評(píng)審人水平低、強(qiáng)迫引用等情況，均遭到不少負(fù)面意見(jiàn)。

當(dāng)然也有心平氣和的

正是因?yàn)榻衲甏髸?huì)在審稿上的機(jī)制改革，讓每個(gè)人的評(píng)審際遇不一樣。也并不是每個(gè)意見(jiàn)都是負(fù)面的吐槽，畢竟改變總有代價(jià)，只要文章質(zhì)量好，良性的學(xué)術(shù)環(huán)境是可以共同維護(hù)的。

有網(wǎng)友認(rèn)為，頂會(huì)質(zhì)量不在評(píng)審好，而在于論文好。?

私以為，頂級(jí)會(huì)議之所以好，是因?yàn)橛泻玫奈恼?，而不是因?yàn)橛泻玫膶徃迦恕?/span>

還有網(wǎng)友比較心平氣和，認(rèn)為投稿、審稿工作都做得不錯(cuò)。

我審稿的文章大多數(shù)都收到了比較詳盡的review，reviewer也在積極參與討論，我個(gè)人也投入了大量的精力參與審稿工作。同時(shí)，我也看到了一些非常優(yōu)秀的作品。

網(wǎng)友呼吁，要堅(jiān)守純粹的學(xué)術(shù)之心，維護(hù)好的學(xué)術(shù)環(huán)境。?

對(duì)于ICML或者接下來(lái)其他的會(huì)議，無(wú)論是作者還是審稿人，都希望大家可以盡力而為，杜絕黑化，堅(jiān)守自己純粹的學(xué)術(shù)之心，環(huán)境需要共同維護(hù)。

正如ICML審稿指導(dǎo)意見(jiàn)中所說(shuō)地那樣，「審稿永遠(yuǎn)也不會(huì)是完美無(wú)缺的，總有一些作者最后不高興。」

ICML表示，「我們想打造一個(gè)公平和透明的審稿流程，為什么接受或被拒？對(duì)于每篇文章、作者都會(huì)被明確告知原因?！?/span>

諸位，今年投稿ICML沒(méi)有？中了幾篇？對(duì)于審稿感受如何？歡迎討論。

參考鏈接：

https://www.zhihu.com/question/524486916

https://media.icml.cc/Conferences/ICML2022/ICML2022_AC_Tutorial.pdf

https://www.icmlonline.com/

https://zhuanlan.zhihu.com/p/474283816#ref_2

ICML2022「元審稿」意見(jiàn)形同虛設(shè)！審稿結(jié)果出爐，評(píng)分取消引不滿

??新智元報(bào)道??

【新智元導(dǎo)讀】ICML2022最終審稿結(jié)果陸續(xù)出爐，作者們開(kāi)始收到官方通知，和往屆AI學(xué)術(shù)會(huì)議一樣，今年同樣少不了對(duì)審稿流程和質(zhì)量的吐槽。

「元審稿人」具體是干啥的？

吐槽：為啥取消打分？說(shuō)好的MR意見(jiàn)呢？

當(dāng)然也有心平氣和的

ICML2022「元審稿」意見(jiàn)形同虛設(shè)！審稿結(jié)果出爐，評(píng)分取消引不滿

【新智元導(dǎo)讀】ICML2022最終審稿結(jié)果陸續(xù)出爐，作者們開(kāi)始收到官方通知，和往屆AI學(xué)術(shù)會(huì)議一樣，今年同樣少不了對(duì)審稿流程和質(zhì)量的吐槽。

吐槽：為啥取消打分？說(shuō)好的MR意見(jiàn)呢？