又爆作弊丑聞？AAAI 2023審稿人被作者找上門，才發(fā)現(xiàn)rebuttal階段審稿人互相可見

---

  新智元報(bào)道  

前幾天，AAAI 2023的第二輪審稿意見已經(jīng)出爐。

但誰能想到，一位審稿人身上發(fā)生了一件怪事。

他審過的一篇論文的作者竟然找上門來，要求他給自己更改分?jǐn)?shù)。

等等，一向是匿名的AAAI，是怎么讓作者找到審稿人的呢？

這個(gè)問題，很可能就出在了今年的政策上。

在rebuttal期間，這位審稿人震驚地發(fā)現(xiàn)，審稿人之間竟然可以互相看到對方的名字！

如果審稿人能互相看到名字，就滋生了大量的灰色地帶。

因?yàn)椴荒芘懦渌麑徃迦撕驼撐淖髡哒J(rèn)識的可能性，所以這種「透明」給了論文作者很大的作弊空間。

而在所有會議和期刊中，作者聯(lián)系審稿人都是被明令禁止的。

這位審稿人在帖子中表示，自己并沒有去聯(lián)系meta審稿人。而且很顯然，自己的身份已經(jīng)暴露了，無論自己接下來做什么，論文作者都會知道。

對于這個(gè)事件，他是這樣處理的：給主席發(fā)了匿名郵件，提醒他們修改這種不合理的匿名制度，在此過程中，他并沒有透露作者的名字。

而主席的回復(fù)是一句「謝謝」。

有網(wǎng)友提出，這篇論文應(yīng)該立刻被主席拒絕。

此外，除了這種被作者找上門的「極端」情況，「公開」審稿人的操作還可能會引發(fā)其他的問題。

來自香港理工的在讀博士生「睡不醒的芋泥」就舉了個(gè)例子，比如你和你熟人兩人持相反意見，誰都不想駁誰面子，可能就會各自維持分?jǐn)?shù)不變了。

知乎網(wǎng)友「ICOZ」也表示：「這樣更容易搞關(guān)系和得罪人。而且投稿人有更多可能性打聽到誰在審他的稿。」

果然無論走到哪里，「關(guān)系社會」都是不可能避開的。

當(dāng)然，格局打開一點(diǎn)，這樣倒是可以反向操作，篩一下充值過的審稿人。（手動(dòng)狗頭）

雖然大家一致認(rèn)為這種審稿人能互相看到的設(shè)定很奇怪，但有網(wǎng)友表示，沒什么可大驚小怪的，在很多小型會議中，這其實(shí)是基操了。因?yàn)橥性u審本質(zhì)上是一種「榮譽(yù)制度」。

根據(jù)大會的安排，作者會在10月20日到24日收到反饋，也就是第二輪審稿的結(jié)果。

11月18日，就會通知錄用結(jié)果。

官方在郵件中稱，69%的論文有4個(gè)或4個(gè)以上的審稿人，96%有3個(gè)或3個(gè)以上的審稿人。

但有趣的是，不止一位網(wǎng)友表示自己的論文只分到了2個(gè)，大概這就是剩下的那4%吧。

更有網(wǎng)友表示，自己只收到了1個(gè)評審結(jié)果。而理論上，每篇論文至少會有2位審稿人。

不過，也不用擔(dān)心，因?yàn)樾碌慕Y(jié)果很可能已經(jīng)在路上了！

比如，審稿人審著審著突然發(fā)現(xiàn)自己的工作量喜加一……

來源：王文昊

而作者這邊也很可能會突然蹦出一個(gè)新的意見。如果運(yùn)氣「好」的話，甚至還會是在rebuttal快些好的時(shí)候。

這個(gè)問題的絕望之處在于，rebuttal的字?jǐn)?shù)是限定的——就5000個(gè)。

來源：zodiacg

另外，也有網(wǎng)友表示，審稿人給出的結(jié)果差異是不是有點(diǎn)太大了（3, 10, 4），同行評審簡直就是刮彩票啊……

對此有網(wǎng)友回復(fù)說，你是打算搖一個(gè)777出來么？

不過還真別說，雖然777沒有，但是7777是有的。（手動(dòng)狗頭）

來源：聚丙烯酰胺

在去年，AAAI2022在第一輪審稿意見郵件中的說法，是錄用率將控制在25%左右，而最終錄用率僅為15%。

對于AAAI 2023來說，采用的依然是兩階段+雙盲的審稿形式。

在第1階段中，每篇論文會得到兩名審稿人。如果收到的兩份意見都是負(fù)面的，那么這篇論文就會被直接拒絕。其余的將進(jìn)入到第2階段。

在第2階段中，每篇論文會得到至少兩名新的審稿人。在新的審稿人提交自己的意見之前，他們是不會看到第1階段的審稿結(jié)果的。而進(jìn)入第2階段的論文作者，可以針對所有的審稿意見進(jìn)行rebuttal。程序委員會和高級程序委員會將會根據(jù)作者的反饋進(jìn)行討論。

至于具體的操作方法，可以參考下面的這篇論文。該論文提出了一種新穎的審稿人-論文匹配方法，并且已經(jīng)在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上被全部或部分采用。

論文地址：https://arxiv.org/abs/2202.12273

就在今年8月，AAAI就鬧出過一次風(fēng)波。

當(dāng)時(shí)正值A(chǔ)AAI 2023論文截止提交之際，知乎上突然出現(xiàn)了一張AI投稿群的匿名聊天截圖。其中有人聲稱，自己可以提供「3000塊一個(gè)strong accept」的服務(wù)。

此截圖一出，一度在網(wǎng)上鬧出軒然大波。后來被證明，大概率是網(wǎng)友口嗨。

不過，這個(gè)梗顯然還沒翻篇。

從拒稿率太高被吐槽、審稿結(jié)果詭異（得到4個(gè)accept結(jié)果被拒），到現(xiàn)在被爆出作者走后門，AAAI是有些「腥風(fēng)血雨」的體質(zhì)在身上的。

截至發(fā)稿前，不知出于何種原因，當(dāng)事人已經(jīng)在刪除了相關(guān)帖文。

https://www.reddit.com/r/MachineLearning/comments/ydyzlk/dcheating_in_aaai_2023_rebuttal/

https://www.reddit.com/r/MachineLearning/comments/y9d6f6/d_aaai_2023_reviews/

https://www.zhihu.com/question/549071929