剛剛，ICLR 2021正式放榜：接收率上升，860篇論文創(chuàng)新高

↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺

作者丨澤南、小舟

來源丨機(jī)器之心

編輯丨極市平臺

極市導(dǎo)讀

?

又到了激動人心的揭榜時(shí)刻。?>>極市和CSIG邀你參與2020年度最權(quán)威專業(yè)的計(jì)算機(jī)視覺人才調(diào)研

幾個(gè)小時(shí)前，人工智能頂會 ICLR 2021 放出了今年的論文接收結(jié)果。

和其他著名人工智能會議一樣，今年的 ICLR 論文投稿數(shù)量繼續(xù)增長：共獲得 2997 篇有效投稿，860 篇論文最終被接收（2020 年為 687 篇），其中 53 篇將進(jìn)行口頭講述報(bào)告（Oral），114 篇 Spotlight，其余為 Poster 論文。

今年大會論文 29% 的接收率相比去年的 26.5% 也有提升，與其他一些頂會大幅降低接收率相比，ICLR 似乎更加友好。但在社交網(wǎng)絡(luò)上，我們?nèi)匀豢吹搅恕冈u分 6、8、6、8，但仍被程序主席斃掉」的慘劇。在此之前，所有論文的初審結(jié)果已于去年 11 月 11 日公布。值得注意的是，此次會議收到的論文中有 856 篇是 NeurIPS 2020 Rejection 之后再提交的。

論文結(jié)果放出以后，人們也整理了本次大會的論文評分和鏈接列表：

https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007

其中可見，不同于去年超過 30 篇滿分論文，今年只有 15 篇論文獲得了平均 8 分及以上的分?jǐn)?shù)，也沒出現(xiàn)「滿分論文」。其中排名最高的是來自麻省理工學(xué)院（MIT）Keyulu Xu、馬里蘭大學(xué) Mozhi Zhang、Jingling Li 等人的論文《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks 獲得了 9、8、9、9 四個(gè)評分。

論文鏈接：https://openreview.net/forum?id=UH-cmocLJC

該研究的主題是通過梯度下降訓(xùn)練的神經(jīng)網(wǎng)絡(luò)如何外推（extrapolate），即在訓(xùn)練分布的支持以外還能學(xué)到什么。之前的研究表明用神經(jīng)網(wǎng)絡(luò)外推時(shí)的混合實(shí)驗(yàn)結(jié)果如下：雖然多層感知機(jī)（MLP）在一些簡單任務(wù)中無法很好地外推，但是圖神經(jīng)網(wǎng)絡(luò)（GNN，一種具有 MLP 模塊的結(jié)構(gòu)化網(wǎng)絡(luò)）在一些較為復(fù)雜的任務(wù)中已經(jīng)顯示出一定的成功。通過理論解釋，研究者確定了 MLP 和 GNN 良好推斷的條件。

首先，該研究對 ReLU MLP 從原點(diǎn)沿任何方向快速收斂到線性函數(shù)的觀察結(jié)果進(jìn)行量化。這意味著 ReLU MLP 不會外推大多數(shù)非線性函數(shù)。但是，當(dāng)訓(xùn)練分布足夠多樣化時(shí)，ReLU MLP 被證明可以用于學(xué)習(xí)線性目標(biāo)函數(shù)。其次，結(jié)合分析 GNN 的成功和局限性，這些結(jié)果提出了一種假設(shè)：GNN 在將算法任務(wù)外推到新數(shù)據(jù)（例如較大的圖或邊權(quán)重）方面的成功取決于架構(gòu)或特征中的特定于編碼任務(wù)的非線性性。該研究為這種假設(shè)理論和實(shí)驗(yàn)依據(jù)。該研究的理論分析建立在超參數(shù)網(wǎng)絡(luò)與神經(jīng)正切核的連接上。實(shí)驗(yàn)表明，該研究的理論適用于不同的訓(xùn)練設(shè)置。

圖 1：ReLU MLP 如何外推。研究者訓(xùn)練 MLP 以學(xué)習(xí)非線性函數(shù)（灰色），并從內(nèi)部（藍(lán)色）和外部（黑色）兩方面繪制其預(yù)測結(jié)果。MLP 從原點(diǎn)沿多個(gè)方向迅速收斂至訓(xùn)練數(shù)據(jù)范圍以外的線性函數(shù)。因此，MLP 在大多數(shù)非線性任務(wù)中無法很好地外推，但 MLP 能夠很好地全局外推線性目標(biāo)函數(shù)。

圖 2：GNN 如何外推。由于 MLP 在學(xué)習(xí)線性函數(shù)時(shí)可以很好地進(jìn)行外推，因此研究者作出如下假設(shè)：如果在架構(gòu)（左）和輸入表征（右，借助域知識或表征學(xué)習(xí)）中編碼適當(dāng)?shù)姆蔷€性，GNN 就會在動態(tài)規(guī)劃（DP）中很好地進(jìn)行外推。編碼的非線性可能對于插值（interpolation）是非必需的，因?yàn)樗鼈兛赡苁峭ㄟ^ MLP 模塊近似化的，但是它們有助于外推。

ICLR 全稱為 International Conference on Learning Representations（國際學(xué)習(xí)表征會議）。自 2013 年開始每年舉辦一次，2021 年將舉辦第九屆會議。該會議與 CVPR、ACL、NeurIPS 等學(xué)術(shù)會議一樣被認(rèn)為是國際人工智能頂會，同時(shí)也是 CCF 評選的一類會議。

ICLR 的創(chuàng)始人包括深度學(xué)習(xí)三巨頭之二的 Yoshua Bengio 和 Yann LeCun。數(shù)據(jù)的應(yīng)用表征對機(jī)器學(xué)習(xí)的性能有著重要的影響，表征學(xué)習(xí)對于計(jì)算機(jī)視覺、語音處理、自然語言處理等多個(gè)領(lǐng)域都起著至關(guān)重要的作用，ICLR 旨在打造這一領(lǐng)域交流研究的平臺。

今年的 ICLR 大會原定于奧地利首都維也納舉行，但由于新冠疫情的原因已連續(xù)第二屆改為線上形式，正式的活動將在 5 月 4-8 日進(jìn)行。

雖然參會的人數(shù)還不是最多，但 ICLR 的影響力已不容小覷。在今年的論文結(jié)果放出之后，Yann LeCun 在推特上給出了一些 ICLR 大會的數(shù)據(jù)：

ICLR 的谷歌學(xué)術(shù) h5 指數(shù)已經(jīng)排到了全榜第 17 名，超過了 NeurIPS、ICCV、ICML，落后于 CVPR（該榜單的前三名是 Nature、新英格蘭醫(yī)學(xué)雜志和 Science）。

對于一個(gè) 2013 年剛起步的學(xué)術(shù)會議來說，這是相當(dāng)值得稱贊的成績。LeCun 表示，開放的審稿形式，以及深度學(xué)習(xí)領(lǐng)域近年來的良好發(fā)展趨勢是 ICLR 大會成功的原因。

參考內(nèi)容：

https://iclr.cc/Conferences/2021/Dates

https://scholar.google.com/citations?view_op=top_venues&hl=en

推薦閱讀

• 太牛了，Markdown 幾行字符就可以生成思維導(dǎo)圖了！

• 工作之余如何提高個(gè)人技術(shù)水平

• 深度學(xué)習(xí)和機(jī)器視覺top組都在研究什么？

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測-深圳），即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個(gè)在看啦~??