懷才不遇、生來委屈！那些被拒稿的優(yōu)秀AI成果
鏈接 https://www.zhihu.com/question/356973658
ICCV、CVPR等頂會(huì)產(chǎn)生了許多人工智能領(lǐng)域的優(yōu)秀作品，這些作品很多也被運(yùn)用于生活實(shí)踐中，但也有一些優(yōu)秀的研究工作最開始的時(shí)候被忽視或者不被認(rèn)可。那么人工智能領(lǐng)域有哪些優(yōu)秀的工作第一次是被拒稿的？被什么拒了？現(xiàn)在如何? 當(dāng)初的拒稿理由又是什么？
Hinton的知識(shí)蒸餾開山作品：Distilling the Knowledge in a Neural Network。
鏈接：https://arxiv.org/abs/1503.02531
當(dāng)年被NIPS2014拒了：
https://twitter.com/OriolVinyalsML/status/1129420305246629899
（Oriol Vinyals是這篇文章的作者之一）
這篇論文非常好，我個(gè)人非常喜歡。簡單的idea，啟發(fā)了后續(xù)很多工作，算是開了一個(gè)新的方向。眾所周知，現(xiàn)在提到神經(jīng)網(wǎng)絡(luò)模型壓縮，一定是剪枝、量化、蒸餾三個(gè)方法了?？梢娺@篇工作的意義。
拒稿原因嘛，我不清楚，知道的知友歡迎補(bǔ)充。
P.S. 其實(shí)好的工作被拒也是常有的事情，一些工作想法太超前，或是不符合會(huì)議評(píng)審的品味，或者一些更奇怪的原因，就被拒啦~Hinton之前也吐槽過(圖片截取自講習(xí)班視頻：https://fcrc.acm.org/turing-lecture-at-fcrc-2019：
量化算法dorefa-net，至今只是arxiv，但是結(jié)果很solid，簡單有效，引用幾百了吧。
說兩篇比較冷門的吧，Cutout regularization，就是圖片隨機(jī)抹除一小塊，在很多視覺領(lǐng)域基本上都可以漲點(diǎn)，但是兩篇文章都沒中，因?yàn)榉椒ㄌ唵瘟税?，現(xiàn)在兩篇文章引用都是200+。
論文鏈接：https://arxiv.org/abs/1708.04896
論文鏈接：https://arxiv.org/abs/1708.04552
有意思的是兩篇文章idea差不多，放出來時(shí)間間隔差了一天...
分享兩個(gè)被拒過的最佳論文（Best Paper）
DenseNet 最早投 ECCV，沒有 ImageNet 實(shí)驗(yàn)而被拒，轉(zhuǎn)投 CVPR 后拿下 Best Paper （現(xiàn)在 6000 引用）。
論文鏈接：https://arxiv.org/abs/1608.06993
Lottery Ticket 最早投 NIPS，沒有 ImageNet 實(shí)驗(yàn)而被拒，轉(zhuǎn)投 ICLR 后拿下 Best Paper。
論文鏈接：https://arxiv.org/abs/1803.03635
建議，審稿的時(shí)候不要拿“實(shí)驗(yàn)不足”當(dāng)作萬能拒稿理由，萬一日后 best paper 就尷尬了。
計(jì)算機(jī)視覺里有個(gè)SIFT特征，在深度學(xué)習(xí)之前獨(dú)領(lǐng)風(fēng)騷，但是原作者David Lowe 親自承認(rèn)原稿被CVPR 和 ICCV 拒了兩次：
I did submit papers on earlier versions of SIFT to both ICCV and CVPR (around 1997/98) and both were rejected. I then added more of a systems flavor and the paper was published at ICCV 1999, but just as a poster. By then I had decided the computer vision community was not interested, so I applied for a patent and intended to promote it just for industrial applications.
Another recent example is Rob Fergus's tiny images paper, which never did appear in a conference, but already has had a strong impact. I'm sure there are hundreds of other examples.
另一個(gè)例子來自Alan Yuille，他平庸的文章被收作Oral，在意的文章卻被拒多次。他認(rèn)為論文評(píng)審制度已經(jīng)崩潰，因?yàn)槊磕晏峤坏巾敿?jí)會(huì)議的文章太多，reviewer都不夠用了。這些會(huì)議鼓勵(lì)漸進(jìn)性的創(chuàng)新和短期的影響，甚至獎(jiǎng)勵(lì)表面上好看但存在嚴(yán)重內(nèi)在缺陷的文章：
At present, my mediocre papers get accepted with oral presentations, while my interesting novel work gets rejected several times. By contrast, my journal reviewers are a lot slower but give much better comments and feedback. [....]
I think the current system is breaking down badly due to the enormous number of papers submitted to these meetings (NIPS, ICML, CVPR, ICCV, ECCV) and the impossibility of getting papers reviewed properly. The system encourages the wrong type of papers and encourages attention on short term results and minor variations of existing methods. Even worse it rewards papers which look superficially good but which fail to survive the more serious reviewing done by good journals (there have been serious flaws in some of the recent prize-winning computer vision papers).
上面幾個(gè)例子都是Yann Lecun 引用來說明ICLR 的open review重要性的。雖然沒有證據(jù)表明ICLR 審稿質(zhì)量比別的會(huì)好多少，但至少可以公開出來讓人們看清楚現(xiàn)實(shí)。
YOLOv1
被NIPS拒過。這里是作者掛出的NIPS review:?
You Only Look Once: Unified, Real-Time Object Detection
鏈接：https://pjreddie.com/publications/yolo/
猜您喜歡：
附下載 |?《可解釋的機(jī)器學(xué)習(xí)》中文版
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》
附下載 |《計(jì)算機(jī)視覺中的數(shù)學(xué)方法》分享
《基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述》