↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

來源丨新智元

編輯丨極市平臺(tái)

極市導(dǎo)讀

ICML2022最終審稿結(jié)果陸續(xù)出爐，作者們開始收到官方通知，和往屆AI學(xué)術(shù)會(huì)議一樣，今年同樣少不了對(duì)審稿流程和質(zhì)量的吐槽。>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺的最前沿

備受關(guān)注的AI頂會(huì)之一——國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML 2022），目前審稿流程已經(jīng)結(jié)束，終審結(jié)果已經(jīng)陸續(xù)出爐。

ICML官方微博宣布，目前已經(jīng)開始通過電郵將最終結(jié)果通知論文作者。

本次ICML2022采用兩階段審稿模式，這與今年AAAI、IJCAI等會(huì)議相同，即審稿人不打分，只提供評(píng)審意見、以及對(duì)優(yōu)點(diǎn)和缺點(diǎn)的權(quán)衡。

另外，本次會(huì)議設(shè)立的「元審稿人」（MR）負(fù)責(zé)確保他們處理的論文得到專業(yè)評(píng)審，并在總體上得到公平對(duì)待。

「元審稿人」具體是干啥的？

按照大會(huì)發(fā)布的「元審稿人」規(guī)范指導(dǎo)，這個(gè)職位的作用相當(dāng)于「審稿人的審稿人」。

具體點(diǎn)說，就是負(fù)責(zé)檢查審稿的質(zhì)量，敦促進(jìn)度落后的審稿人，讓審稿人修改質(zhì)量差的審稿意見。

如果一篇論文被兩個(gè)審稿人標(biāo)記為第1階段拒稿，MR需要仔細(xì)評(píng)估原因，并提出相應(yīng)建議。如果MR決定保守地推薦被拒稿件，要寫一份尊重他人的元審稿意見，解釋原因，并提供證據(jù)。

而且在流程上，MR有兩個(gè)級(jí)別：普通MR和資深MR。

PC分配每篇文章給2個(gè)審稿人和一位MR，2位審稿人出具拒稿意見后，先后交由兩級(jí)MR審查這個(gè)意見，只有所有人同意這個(gè)意見，才會(huì)給作者發(fā)拒稿通知。

從設(shè)計(jì)上來看，這個(gè)機(jī)制旨在提高審稿質(zhì)量，避免因?yàn)閷徃迦说膶徃遒|(zhì)量問題，在第一階段就拒掉潛在的好文章，畢竟第1階段就被拒的文章，是沒有rebuttal機(jī)會(huì)的。

如果文章順理通過了第1階段，進(jìn)入第2階段后，會(huì)為每篇文章增加一位MR，PC要確保每篇文章至少有3位審稿人，新增的審稿人需要重新審稿，不能只參考之前審稿人的意見。

之后進(jìn)入rebuttal階段，審稿人視情況決定是否接受意見，并交由MR閱讀審稿意見和rubuttal內(nèi)容后給出MR意見，在交由資深MR審核討論、出具最終意見。

最后，PC會(huì)在監(jiān)督整個(gè)過程后經(jīng)討論，最終接受/拒稿的最終決定，并通知作者。

按照ICML2022大會(huì)官網(wǎng)公布的日程安排，第一階段的拒稿通知在今年3月11日起陸續(xù)發(fā)送。

收到通知，隨后于4月6日對(duì)作者開放意見反饋通道。

也就是說，如果沒有在第一階段就被拒，如果在此期間能夠說服審稿人或MR，在第二階段被拒論文還是有機(jī)會(huì)「起死回生」的。

而且，從新的審稿流程上看，MR的設(shè)立從理論上讓這個(gè)機(jī)會(huì)變得更大了。畢竟，審稿人的意見和作者的rebuttal都要經(jīng)過MR和資深MR的審閱和討論，而且還是兩輪。

吐槽：為啥取消打分？說好的MR意見呢？

現(xiàn)在，最后結(jié)果出來了，反響如何呢？

與以往一樣，結(jié)果一出，又是幾家歡喜幾家愁！

為此，知乎上出現(xiàn)了一個(gè)關(guān)于「如何看待ICML2022結(jié)果」的討論。

從問題描述來看，這次的「新規(guī)矩」把他折騰得夠嗆。

無論制度設(shè)計(jì)千好萬好，歸根結(jié)底，審稿的活還是由人來干。他表示，很多審稿人還是主要看實(shí)驗(yàn)和結(jié)果。

「不要對(duì)審稿人有過高的期望，沒有實(shí)驗(yàn)，比不過sota，都要被拉分?！顾f。

這一話題也引來了眾多參會(huì)者、審稿人、機(jī)器學(xué)習(xí)愛好者的興趣，目前被瀏覽次數(shù)接近27w。

大家的討論主要聚焦在審稿質(zhì)量問題上。

首先，有些人表示并沒看見說好的「MR意見」。

網(wǎng)友Francesco Orabona指出，他已經(jīng)收到了審稿結(jié)果，但沒有大會(huì)審稿流程里說的MR意見。

不過，有人回復(fù)稱，這可能是意外事故，評(píng)審結(jié)果可能也不是最終的，可能MR意見已經(jīng)給了，但是作者看不見，「要不再等等」？

也有人看到了MR意見，但表示和自己預(yù)想得有很大差異，大部分只有寥寥數(shù)語(yǔ)，且是審稿人意見的機(jī)械總結(jié)，沒有自己的理解。

按照這樣的情況，MR「給審稿人糾錯(cuò)」的設(shè)立初衷可能就無法實(shí)現(xiàn)。

其次，沒有分?jǐn)?shù)，拿什么rebuttal？

今年的評(píng)審沒有分?jǐn)?shù)，這個(gè)大改也讓很多人不習(xí)慣。

因?yàn)?，不僅作者要看分?jǐn)?shù)，審稿人要參考分?jǐn)?shù)，MR也要視分?jǐn)?shù)對(duì)審稿意見作出大概判斷。

現(xiàn)在沒有分?jǐn)?shù)了，可能在rebuttal環(huán)節(jié)會(huì)更加茫然，不知道從哪下嘴。

網(wǎng)友Reinhold認(rèn)為，「這沒分?jǐn)?shù)讓人有點(diǎn)心慌」。

其實(shí)，不管是對(duì)作者還是審稿人，可能都很不適應(yīng)。沒有分?jǐn)?shù)就沒有一個(gè)量化標(biāo)準(zhǔn)，缺失了自我評(píng)估的重要依據(jù)。

盡管，沒有分?jǐn)?shù)可以避免分?jǐn)?shù)給人的刻板印象，但是，現(xiàn)在把分?jǐn)?shù)取消了是不是適得其反，反而降低了審稿質(zhì)量呢？

另外，一些審稿人的評(píng)審水平不敢恭維。

有投稿人認(rèn)為，此次評(píng)審的質(zhì)量很低，沒有直擊論文要害，只評(píng)議邊緣問題。4月15日，一位知乎匿名用戶寫到：

「他們通常停留在Problem setting的討論，涉及到technical detail的改進(jìn)意見幾乎都是勉強(qiáng)湊數(shù)亂寫，不懂裝懂，當(dāng)然有的知道自己不熟悉也不去多評(píng)價(jià)?！?/span>

為什么會(huì)出現(xiàn)這種「勉強(qiáng)湊數(shù)」的評(píng)審情況呢？可能與今年的評(píng)審機(jī)制改革有關(guān)，正如一位知乎用戶所說的：?

「以投稿人作為審稿人的機(jī)制，看似平攤了審稿壓力，實(shí)則增加了大量低質(zhì)量評(píng)審，反而增加了隨機(jī)性和不公平性，這極有可能讓ICML的聲譽(yù)受到極大打擊。」

以「以投稿人作為審稿人」的機(jī)制，必然會(huì)出現(xiàn)評(píng)審質(zhì)量參差不齊的狀況，這似乎是可以預(yù)見的問題。

還有強(qiáng)迫引用評(píng)審者論文的現(xiàn)象。

在論文評(píng)審中，不乏一些評(píng)審人會(huì)使用「黑手段」來提高自己論文的知名度，比如，強(qiáng)制他人引用自己論文，并將此作為評(píng)審意見的一部分。

在這次評(píng)審中，也不例外存在此種不良現(xiàn)象。

總而言之，這屆機(jī)器學(xué)習(xí)頂會(huì)評(píng)審被網(wǎng)友狂吐槽。無論是沒有「元評(píng)審」、沒有分?jǐn)?shù)，還是評(píng)審人水平低、強(qiáng)迫引用等情況，均遭到不少負(fù)面意見。

當(dāng)然也有心平氣和的

正是因?yàn)榻衲甏髸?huì)在審稿上的機(jī)制改革，讓每個(gè)人的評(píng)審際遇不一樣。也并不是每個(gè)意見都是負(fù)面的吐槽，畢竟改變總有代價(jià)，只要文章質(zhì)量好，良性的學(xué)術(shù)環(huán)境是可以共同維護(hù)的。

有網(wǎng)友認(rèn)為，頂會(huì)質(zhì)量不在評(píng)審好，而在于論文好。?

私以為，頂級(jí)會(huì)議之所以好，是因?yàn)橛泻玫奈恼拢皇且驗(yàn)橛泻玫膶徃迦恕?/span>

還有網(wǎng)友比較心平氣和，認(rèn)為投稿、審稿工作都做得不錯(cuò)。

我審稿的文章大多數(shù)都收到了比較詳盡的review，reviewer也在積極參與討論，我個(gè)人也投入了大量的精力參與審稿工作。同時(shí)，我也看到了一些非常優(yōu)秀的作品。

網(wǎng)友呼吁，要堅(jiān)守純粹的學(xué)術(shù)之心，維護(hù)好的學(xué)術(shù)環(huán)境。?

對(duì)于ICML或者接下來其他的會(huì)議，無論是作者還是審稿人，都希望大家可以盡力而為，杜絕黑化，堅(jiān)守自己純粹的學(xué)術(shù)之心，環(huán)境需要共同維護(hù)。

正如ICML審稿指導(dǎo)意見中所說地那樣，「審稿永遠(yuǎn)也不會(huì)是完美無缺的，總有一些作者最后不高興。」

ICML表示，「我們想打造一個(gè)公平和透明的審稿流程，為什么接受或被拒？對(duì)于每篇文章、作者都會(huì)被明確告知原因?！?/span>

諸位，今年投稿ICML沒有？中了幾篇？對(duì)于審稿感受如何？歡迎討論。

參考鏈接：

https://www.zhihu.com/question/524486916

https://media.icml.cc/Conferences/ICML2022/ICML2022_AC_Tutorial.pdf

https://www.icmlonline.com/

https://zhuanlan.zhihu.com/p/474283816#ref_2

公眾號(hào)后臺(tái)回復(fù)“CVPR 2022”獲取論文合集打包下載～

△點(diǎn)擊卡片關(guān)注極市平臺(tái)，獲取最新CV干貨

極市干貨

數(shù)據(jù)集資源匯總：90+深度學(xué)習(xí)開源數(shù)據(jù)集整理｜包括目標(biāo)檢測(cè)、工業(yè)缺陷、圖像分割等多個(gè)方向

實(shí)操教程：Pytorch - 彈性訓(xùn)練極簡(jiǎn)實(shí)現(xiàn)( 附源碼)｜PyTorch常用代碼段合集

#?CV技術(shù)社群邀請(qǐng)函?#

△長(zhǎng)按添加極市小助手

添加極市小助手微信（ID : cvmart4）

備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳）

即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群

每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動(dòng)交流~

覺得有用麻煩給個(gè)在看啦~??

ICML2022「元審稿」意見形同虛設(shè)！審稿結(jié)果出爐，評(píng)分取消引不滿

「元審稿人」具體是干啥的？

吐槽：為啥取消打分？說好的MR意見呢？

當(dāng)然也有心平氣和的

吐槽：為啥取消打分？說好的MR意見呢？