↑ 點(diǎn)擊藍(lán)字 關(guān)注極市平臺

作者丨蕭簫

來源丨量子位

編輯丨極市平臺

極市導(dǎo)讀

ICLR 2021杰出論文獎出爐！ >>加入極市CV技術(shù)交流群，走在計算機(jī)視覺的最前沿

今年共有2997篇投稿，接收860篇，最后共有8篇獲得杰出論文獎。

這8篇論文中，谷歌成最大贏家，共有4篇論文獲獎（包括DeepMind、谷歌大腦在內(nèi)）。

除此之外，AWS、Facebook等機(jī)構(gòu)，以及CMU、南洋理工等高校也紛紛上榜。

一起來看看都是哪些論文。

共有8篇論文上榜

1、Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters

來自AWS、Google、南洋理工大學(xué)。

這篇論文提出了一種基于四元數(shù)的全連接層（Fully-Connected Layers with Quaternions），用四元數(shù)的哈密頓乘積（Hamilton products），替代了全連接層中的實(shí)值矩陣乘法，節(jié)省了1/4的可學(xué)習(xí)參數(shù)。
論文對超復(fù)數(shù)乘積進(jìn)行了參數(shù)化，允許模型從數(shù)據(jù)中學(xué)習(xí)乘法規(guī)則，無需在意這些規(guī)則是否被預(yù)定義。與普通的全連接層方法相比，這種方法只需要使用1/n（n即維度）的可學(xué)習(xí)參數(shù)。

2、Complex Query Answering with Neural Link Predictors

來自UCL、阿姆斯特丹自由大學(xué)。

這篇論文提出了一種名為復(fù)雜查詢分解（CQD）的框架，通過在嵌入空間實(shí)體集上的推理，來回答相對復(fù)雜的邏輯查詢——回答復(fù)雜查詢，被簡化為回答每個子查詢，并通過t-norm聚合所得分?jǐn)?shù)。
只需要訓(xùn)練原子查詢的神經(jīng)網(wǎng)絡(luò)鏈接預(yù)測模型，就可利用這一框架，來回答給定的復(fù)雜查詢，而不需要用大量生成的復(fù)雜查詢進(jìn)行訓(xùn)練。
同時，無論查詢的復(fù)雜性如何，這一框架還能對查詢回答過程的每一步進(jìn)行解釋。論文所提出的方法與查詢類型無關(guān)，可以在不明確訓(xùn)練特定類型查詢的情況下進(jìn)行歸納。

3、EigenGame: PCA as a Nash Equilibrium

來自DeepMind、Google。

這篇論文提出了一種天然并行化的隨機(jī)梯度上升方法EigenGame（本征博弈），結(jié)合了Oja規(guī)則、Krasulina矩陣和Riemannian優(yōu)化方法的優(yōu)點(diǎn)，來計算Top-K主成分。
其中，PCA即博弈納什均衡、及序列化全局收斂主成分算法。
這種方法為大規(guī)模矩陣的PCA計算提供了一種可擴(kuò)展方法，可計算出近200 TB的Imagenet的RESNET-200激活矩陣的前32個主成分。

4、Learning Mesh-Based Simulation with Graph Networks

來自DeepMind。

這篇論文介紹了MeshGraphNets，一個用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)格仿真學(xué)習(xí)的框架。這一框架可以精確地預(yù)測各種物理系統(tǒng)的動力學(xué)，包括空氣動力學(xué)、結(jié)構(gòu)力學(xué)和織物的形狀等。
這種方法拓寬了神經(jīng)網(wǎng)絡(luò)模擬器可以運(yùn)行的問題范圍，并有望提高復(fù)雜的、科學(xué)的建模任務(wù)的效率。

5、Neural Synthesis of Binaural Speech From Mono Audio

來自Facebook Reality Lab、CMU。

這篇論文提出了一種雙聲道合成的神經(jīng)繪制方法，可以實(shí)時生成逼真、空間精確的雙聲道聲音。所設(shè)計的網(wǎng)絡(luò)以單聲道音頻源為輸入，根據(jù)聽者相對于聲源的相對位置和方向，將雙聲道雙耳聲音合成為輸出。
論文從理論上分析了原始波形上l2損耗的不足，并介紹了克服這些局限性的改進(jìn)損耗。

6、Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime

來自東京大學(xué)。

這篇論文分析了過參數(shù)化（overparameterized）的雙層神經(jīng)網(wǎng)絡(luò)回歸問題的平均隨機(jī)梯度下降的收斂性。
論文證明，平均隨機(jī)梯度下降可以通過利用目標(biāo)函數(shù)的復(fù)雜性以及與神經(jīng)切線核（NTK）相關(guān)的再生希爾伯特空間（RKHS），在保證全局收斂的前提下，達(dá)到極小極大最優(yōu)收斂速度。

7、Rethinking Architecture Selection in Differentiable NAS

來自UCLA、理海大學(xué)、Amazon。

可微神經(jīng)結(jié)構(gòu)搜索(differential Neural Architecture Search，NAS)以搜索效率高、搜索過程簡單等優(yōu)點(diǎn)，成為當(dāng)前最流行的神經(jīng)結(jié)構(gòu)搜索(Neural Architecture Search，NAS)方法之一。
這篇論文分析認(rèn)為，架構(gòu)參數(shù)的大小，并不一定證明操作對貪心超網(wǎng)絡(luò)（supernet）性能的貢獻(xiàn)效果，并提出了一種可供選擇的、基于擾動的體系結(jié)構(gòu)選擇，直接測量每個操作對貪心超網(wǎng)絡(luò)的影響。

8、Score-Based Generative Modeling through Stochastic Differential Equations

來自斯坦福、谷歌、谷歌大腦。

論文提出了一種基于隨機(jī)微分方程(SDEs)的分?jǐn)?shù)式生成模型框架。其中，SDE通過緩慢注入噪聲，平穩(wěn)地將一個復(fù)雜的數(shù)據(jù)分布轉(zhuǎn)換為一個已知的先驗(yàn)分布，相應(yīng)的逆時SDE通過緩慢去除噪聲將先驗(yàn)分布轉(zhuǎn)換回數(shù)據(jù)分布。
逆時SDE只依賴于擾動數(shù)據(jù)分布隨時間變化的梯度場(分?jǐn)?shù))，引入了預(yù)測-校正框架來糾正離散逆時SDE演化中的錯誤，推導(dǎo)了與SDE相同的分布采樣的等效神經(jīng)ODE，使精確的似然計算成為可能，并提高了采樣效率。

關(guān)于杰出論文獎評選

ICLR 2021杰出論文獎，主要從四個方向來考察論文質(zhì)量：技術(shù)質(zhì)量、影響潛力、是否提出新方向、以及是否解決了重要問題。

今年負(fù)責(zé)評獎的委員會，成員分別來自Facebook、DeepMind、德州奧斯汀分校、斯坦福大學(xué)、微軟等各高校和機(jī)構(gòu)。

值得一提的是，雖然ICLR表示：

評分最高的論文也入選了此次獎項(xiàng)。

然而，在這8篇論文中，卻并沒有見到平均分最高的論文身影。

按平均分來看的話，得分最高的論文名為「How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks」，來自MIT、馬里蘭大學(xué)、華盛頓大學(xué)。

它的論文評分是9、9、8、9，平均分8.75，卻并未入選此次的杰出論文獎。

相比于這篇論文，確實(shí)有幾篇入選杰出論文獎的論文，獲得過評委打出的10分。

但這兩篇論文，卻都收到過其他評審6、7分的打分，例如（9、6、6、10）和（7、10、7、7）等。

從打10分的評委評價來看，都是覺得這幾篇論文“提出了開創(chuàng)性的觀點(diǎn)”。

相比之下，評審在給MIT這篇論文打分時用得更多的評價是“有見解、有意思”。

關(guān)于ICLR

ICLR（International Conference on Learning Representations）又名“國際學(xué)習(xí)表征會議”，2013年舉辦第一屆，由Yoshua Bengio和Yann LeCun牽頭創(chuàng)辦。

雖然創(chuàng)立時間較晚，但相比于其他頂會，ICLR推行Open Review公開評審制度，所有論文都會公開學(xué)校、姓名等信息，并接受所有同行的評價及提問。

在公開評審結(jié)束后，作者也能夠?qū)φ撐倪M(jìn)行調(diào)整及修改。

值得一提的是，ICLR歷年會議都只評選過最佳論文獎（Best Papers），今年應(yīng)該是ICLR首次增加杰出論文獎。

這次ICLR 2021評選的杰出論文獎，國內(nèi)并沒有高校和研究機(jī)構(gòu)入選，但有3篇論文的1作為華人作者。

對論文內(nèi)容感興趣的話，可以戳下方鏈接查看~

ICLR 2021杰出論文獎：
https://iclr-conf.medium.com/announcing-iclr-2021-outstanding-paper-awards-9ae0514734ab

參考鏈接：
[1]https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007
[2]https://openreview.net/group?id=ICLR.cc/2021/Conference

推薦閱讀

955 不加班的公司名單！2021 最新版！

2021-04-04