欧美国产手机在线,亚洲天堂视频在线观看,美女被插网站,伊久大香蕉,尻屄视频可以在线观看,麻豆久久艹,色国产精品一区,51精品一区

機(jī)器之心報(bào)道

機(jī)器之心編輯部

仔細(xì)一查嚇?biāo)廊恕?/span>

在機(jī)器學(xué)習(xí)等領(lǐng)域，是否被頂會(huì)接收被認(rèn)為是一種論文質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，但并不是唯一的標(biāo)準(zhǔn)。隨著深度學(xué)習(xí)的廣泛發(fā)展，機(jī)器學(xué)習(xí)頂會(huì)的投稿數(shù)量呈爆炸式增長，在被拒稿的論文中也有很多頗具影響力的研究。

近日，Reddit 上就有一個(gè)帖子引起網(wǎng)友熱議：哪些論文是被頂會(huì)拒稿，但卻非常有影響力？令人驚訝的是網(wǎng)友列舉出一些家喻戶曉的研究，包括 YOLO、transformer XL，甚至還有 Google 搜索引擎的網(wǎng)頁排名算法 PageRank。

發(fā)帖人表示機(jī)器學(xué)習(xí)頂會(huì)的審稿機(jī)制存在問題，讓一些論文難以脫穎而出。這可能是出現(xiàn)這種現(xiàn)象的原因之一。

實(shí)際上，很多優(yōu)秀的研究在一開始并不被看好。就像 2021 年諾貝爾物理學(xué)獎(jiǎng)獲得者 Parisi 博士在頒獎(jiǎng)典禮上提到的，對(duì)于他獲得諾貝爾獎(jiǎng)的研究，最初論文審稿人給出的評(píng)價(jià)是：「這篇文章不值得浪費(fèi)紙張打印出來」。然而，經(jīng)過時(shí)間和實(shí)驗(yàn)的檢驗(yàn)，一些論文中的觀點(diǎn)被證明是正確的，甚至卓越的。機(jī)器學(xué)習(xí)領(lǐng)域也是如此。

我們來具體看一下在這次討論中，網(wǎng)友列舉出哪些優(yōu)秀的研究。

YOLO

大名鼎鼎的 YOLO 算法，作為計(jì)算機(jī)視覺領(lǐng)域最知名的目標(biāo)檢測算法之一，在投稿 NIPS 時(shí)也不是一帆風(fēng)順。NIPS 給出的評(píng)價(jià)大體為：這是一篇不錯(cuò)的論文，但還不夠好。之后 YOLO 這篇文章被 CVPR 2016 接收。有了這次教訓(xùn)，YOLO2 也是第一時(shí)間投稿 CVPR。

圖源：https://pjreddie.com/publications/yolo/

論文地址：https://arxiv.org/pdf/1506.02640.pdf

Transformer XL

Transformer-XL 為 Zihang Dai、Zhilin Yang 等人在 2019 年提出。這篇論文旨在進(jìn)一步提升 Transformer 建模長期依賴的能力。核心算法包括：segment-level 遞歸機(jī)制、相對(duì)位置編碼機(jī)制。Transformer-XL 可以捕獲長期依賴，解決了上下文碎片問題，還提升了模型的預(yù)測速度和準(zhǔn)確率。

然而Transformer-XL 在投稿 ICLR 2019 時(shí)被拒稿，之后作者基于 Transformer-XL 進(jìn)行改進(jìn)，提出了 XLNet，被 NeurIPS 2019 接收。而 Transformer-XL 則被 ACL 2019 接收。

論文地址 https://arxiv.org/abs/1901.02860

Dropout

2012 年，Hinton 在其論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出 Dropout。當(dāng)一個(gè)復(fù)雜的前饋神經(jīng)網(wǎng)絡(luò)用來訓(xùn)練小數(shù)據(jù)集時(shí)，會(huì)造成過擬合。為了防止過擬合，可以通過阻止特征檢測器的共同作用來提高神經(jīng)網(wǎng)絡(luò)的性能。

這篇論文在 2012 年被 NIPS 拒絕，現(xiàn)在 arXiv 上作為預(yù)印本發(fā)布。

論文地址：https://arxiv.org/pdf/1207.0580.pdf

PageRank

PageRank 是谷歌兩大創(chuàng)始人謝爾蓋布林（Sergey Brin）和拉里佩奇（Lawrence Page）在 1998 年聯(lián)合撰寫的論文《The anatomy of a large-scale hypertextual Web search engine》中提出的。PageRank 是 Google 搜索引擎中使用的網(wǎng)頁排名算法，它的成功早已經(jīng)過全球谷歌用戶的考驗(yàn)。然而，或許是因?yàn)樘岢龅南敕ㄌ?，這篇論文在 1998 年被 SIGIR 拒稿，后被 WWW 接收。

論文地址：https://snap.stanford.edu/class/cs224w-readings/Brin98Anatomy.pdf

支持向量機(jī)（SVM）

SVM 算法分幾個(gè)階段提出。首先，它建立在早期工作的基礎(chǔ)上，包括 1960 年代和 70 年代 Vladimir Vapnik 和 Alexey Chervonenkis 的研究之上。

1992 年，Bernhard E. Boser 、 Isabelle Guyon 以及 Vladimir Vapnik 合作寫了一篇論文《A Training Algorithm for Optimal Margin Classifiers》，文中解釋了如何獲得這個(gè)函數(shù)以便它在干凈的數(shù)據(jù)上工作。

這篇論文在一個(gè)相對(duì)面向應(yīng)用、以神經(jīng)網(wǎng)絡(luò)為主導(dǎo)的機(jī)器學(xué)習(xí)會(huì)議 NIPS 上被拒絕，但在第二年一個(gè)更注重理論的會(huì)議 COLT 上被接收。

論文地址：https://dl.acm.org/doi/pdf/10.1145/130385.130401

知識(shí)蒸餾

知識(shí)蒸餾這一概念是 Hinton 等人在 2014 年提出，論文題目為《 Distilling the Knowledge in a Neural Network 》。知識(shí)蒸餾旨在把一個(gè)大模型或者多個(gè)模型組合學(xué)到的知識(shí)遷移到另一個(gè)輕量級(jí)單模型上，方便研究者部署。簡單的說就是用新的小模型去學(xué)習(xí)大模型的預(yù)測結(jié)果。

這篇研究被 NIPS 2014 拒絕。

論文地址：https://arxiv.org/pdf/1503.02531.pdf

SIFT

計(jì)算機(jī)視覺當(dāng)中的 SIFT 特征，在深度學(xué)習(xí)大火之前影響巨大，但是原作者 David Lowe 承認(rèn)原稿被 CVPR 和 ICCV 拒了兩次。

SIFT（Scale-Invariant Feature Transform）是一種用于檢測和描述數(shù)字圖像中的局部特征算法。它定位關(guān)鍵點(diǎn)并以量化信息呈現(xiàn)，可以用來做目標(biāo)檢測。此特征可以對(duì)抗不同變換而保持不變。

論文地址：https://www.cs.ubc.ca/~lowe/papers/iccv99.pdf

在今天看來，上述所列舉的這些研究在AI領(lǐng)域地位舉足輕重。但也逃不掉被頂會(huì)拒稿的命運(yùn)。

也許，是機(jī)器學(xué)習(xí)頂會(huì)的審稿機(jī)制存在一些問題。去年，圖靈獎(jiǎng)得主 Yann LeCun 在論文被 NeurIPS 拒稿之后，在推特上發(fā)文稱感到「proud」，表達(dá)了自己的不滿。

類似的事情還發(fā)生在 2012 年，LeCun 曾給當(dāng)時(shí)的 CVPR 大會(huì)主席、知名計(jì)算機(jī)視覺專家朱松純寫信，抱怨自己的論文報(bào)告了很好的實(shí)驗(yàn)結(jié)果，但是審稿的三個(gè)人都認(rèn)為論文說不清楚到底為什么有這個(gè)結(jié)果，于是遭到了拒稿。LeCun 認(rèn)為這說明 CVPR 等頂會(huì)的審稿機(jī)制令人失望。

值得一提的是，LeCun 和 Bengio 隨后共同創(chuàng)辦了 ICLR 會(huì)議，希望為「深度學(xué)習(xí)」提供一個(gè)專業(yè)化的交流平臺(tái)。

在機(jī)器學(xué)習(xí)發(fā)展放緩的今天，領(lǐng)域內(nèi)一些研究者提出了新的研究方向。盡管頂會(huì)不是評(píng)判研究價(jià)值的唯一標(biāo)準(zhǔn)，但審稿機(jī)制理應(yīng)不斷優(yōu)化，避免卓越超前的研究思路遭到拒絕。

? THE END


往期精彩回顧




適合初學(xué)者入門人工智能的路線及資料下載
(圖文+視頻)機(jī)器學(xué)習(xí)入門系列下載
中國大學(xué)慕課《機(jī)器學(xué)習(xí)》（黃海廣主講）
機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印
《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯
機(jī)器學(xué)習(xí)交流qq群955171419，加入微信群請(qǐng)掃碼

不要灰心，大名鼎鼎的YOLO、PageRank影響力爆棚的研究，曾被CS頂會(huì)拒稿

不要灰心，大名鼎鼎的YOLO、PageRank影響力爆棚的研究，曾被CS頂會(huì)拒稿