ICLR 2021杰出論文獎公布，8篇論文入選！獲獎華人一作14歲保送清華
本文授權(quán)轉(zhuǎn)載自AI科技評論
就在昨日，ICLR 在推特上官宣了 ICLR 2021 杰出論文獎獲獎名單。本次獲獎從860篇卓越論文中選拔，其中獲得杰出論文獎的工作高達(dá) 8 篇！
8篇獲獎?wù)撐闹校A人一作論文有3篇（如下，獲獎?wù)撐?、7、8）。
其中，獲獎工作1的一作 Aston Zhang 是《動手學(xué)深度學(xué)習(xí)》的作者之一，其余作者有李沐、Alex Smola、Zack Chase Lipton等人。Aston Zhang 博士畢業(yè)于UIUC，目前在亞馬遜擔(dān)任高級科學(xué)家。
圖注：Aston Zhang
圖注：《動手學(xué)深度學(xué)習(xí)》封面
獲獎?wù)撐?的一作宋飏14歲保送清華大學(xué)，本科就讀于數(shù)學(xué)物理專業(yè)，曾跟隨朱軍等人做研究，后在2016年赴斯坦福大學(xué)攻讀計(jì)算機(jī)科學(xué)博士，導(dǎo)師為Stefano Ermon。
圖注：宋飏
獲獎?wù)撐?的一作 Ruochen Wang，本科期間從上海財(cái)經(jīng)大學(xué)轉(zhuǎn)到密歇根大學(xué)計(jì)算機(jī)科學(xué)與統(tǒng)計(jì)學(xué)專業(yè)，目前在UCLA攻讀CS碩士。
圖注：Ruochen Wang
值得一提的是，在這8篇獲獎?wù)撐闹?，并不是所有的論文都是Oral評級，還有兩篇論文是Spotlight評級。論文主題涉及參數(shù)化、復(fù)雜查詢、PCA的博弈論形式、物理模擬、雙耳聲音合成、SGD收斂性、神經(jīng)架構(gòu)搜索、基于得分的模型等。
另外，需要說明的是，去年ICLR 2020并沒有評選杰出論文獎，而今年高達(dá)8篇杰出論文并不是對去年未評選的補(bǔ)償，它更有可能是大會評委的進(jìn)步，照顧到了機(jī)器學(xué)習(xí)社區(qū)中一直以來大家對每年最佳論文/杰出論文太少或論文選拔領(lǐng)域不公平的一個呼聲。
獲獎名單（按字母順序）
獲獎?wù)撐囊唬╯potlight）：
論文鏈接：https://openreview.net/forum?id=rcQdycl0zyk
一句話總結(jié)：
與全連接層相比，本文提出使用任意1 / n個可學(xué)習(xí)參數(shù)對超復(fù)雜乘法進(jìn)行參數(shù)化。
程序主席評價：
作者等人提出了一種新的參數(shù)化方法，能夠跨多個體系結(jié)構(gòu)泛化超復(fù)雜的乘法運(yùn)算，并在節(jié)省大量參數(shù)的情況下提供較小的低維強(qiáng)大性能。所有審稿人都對這項(xiàng)工作的理論貢獻(xiàn)感到滿意，但也希望能獲得更多的經(jīng)驗(yàn)證據(jù)。
論文摘要：
獲獎?wù)撐亩╫ral）：
論文鏈接：https://openreview.net/forum?id=Mos9F9kDwkz
一句話總結(jié)：
本文展示了如何通過神經(jīng)連接預(yù)測變量回答其子查詢，通過t范數(shù)和t-conorm匯總結(jié)果，以及通過求解優(yōu)化問題來確定最佳變量替代（optimal variable substitutions）的方式，來回答復(fù)雜查詢。
程序主席評價：
審稿人一致認(rèn)為這篇論文非常值得被接收。它在提升查詢關(guān)系嵌入模型的能力上取得了重要進(jìn)展。
論文摘要：
獲獎?wù)撐娜╫ral）：
論文鏈接：https://openreview.net/forum?id=NzTU59SYbNq
程序主席評價：
本文介紹了一種關(guān)于PCA的新穎的博弈論觀點(diǎn)，該觀點(diǎn)產(chǎn)生一種能夠以分散的方式評估奇異矢量的算法（EigenGame; 算法2）。根據(jù)其在大規(guī)模數(shù)據(jù)集（ResNet-200激活）上的實(shí)驗(yàn)顯示，該算法的可伸縮性表現(xiàn)突出。論文條理清晰，特別是第2節(jié)，提供了關(guān)于PCA博弈論重構(gòu)的易于理解的推理。
在他們的博弈論重構(gòu)中，我發(fā)現(xiàn)了一個有趣的點(diǎn)：在（6）所示的效用函數(shù)中，正交約束
被移除，取而代之的是表示為正則化項(xiàng)的軟約束，以此鼓勵正交性。盡管正則化項(xiàng)的其他幾種替代形式也許是可行的，但正是文中所提出的這種特殊形式能夠帶來有效的梯度上升算法，無需顯式正交歸一化，或者矩陣求逆可直接并行化。
優(yōu)點(diǎn)：
提供PCA的一種新穎博弈論形式。 基于博弈論重構(gòu)，提出了PCA的順序算法和分散算法。 為順序算法的全局收斂提供理論保證。 證明所提出的分散算法可擴(kuò)展到大規(guī)模問題。
缺點(diǎn)：
定理4.1的后半部分陳述需要關(guān)于初始化的條件，這些條件在高維設(shè)置中很難滿足。 在博弈論背景下，文中提到的博弈論公式意義沒有被充分探索。
論文摘要：
獲獎?wù)撐乃模╯potlight）：
論文鏈接：https://openreview.net/forum?id=roNqYL0_XP
一句話總結(jié)：
本文介紹了一種在網(wǎng)格上準(zhǔn)確高效地學(xué)習(xí)復(fù)雜物理系統(tǒng)動力學(xué)的通用方法。
程序主席評價：
本文提出了一種利用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)格物理模擬的方法。這將專注于網(wǎng)格或粒子的最新工作擴(kuò)展到基于網(wǎng)格的域，這項(xiàng)工作由于不規(guī)則且可能會改變的連接性而具有挑戰(zhàn)性。審稿人有一些擔(dān)憂，但知曉這是一項(xiàng)重要的工作，將引起廣泛關(guān)注，并可能產(chǎn)生重大影響。
論文摘要：
獲獎?wù)撐奈澹╫ral）：
論文鏈接：https://openreview.net/forum?id=uAX8q61EVRu
一句話總結(jié)：
我們提出了一個端到端的方法神經(jīng)雙耳聲音合成，第一次優(yōu)于基于 DSP 的方法在定性評估和感知研究。
程序主席評價：
從移動單音頻進(jìn)行雙耳合成的有趣方法。 很好地解釋了為什么L_2不是雙耳重建的最佳損失。 有趣的架構(gòu)選擇，效果不錯。 很好的動機(jī)和清晰的想法——特別是在回復(fù)了審稿人的評論之后。
我同意關(guān)于標(biāo)題的修改意見。雖然我認(rèn)為它暗示了聲源可能是單個的，但明確的表述會讓那些不太緊密相關(guān)的主題中工作的人更清楚。因此，“從單聲道音頻的雙耳語音的神經(jīng)合成”的建議聽起來相當(dāng)合理。
論文摘要：
獲獎?wù)撐牧╫ral）：
論文鏈接：https://openreview.net/forum?id=PULSD5qI2N1
論文介紹：
本文分析了用于回歸問題的超參數(shù)化兩層神經(jīng)網(wǎng)絡(luò)的平均隨機(jī)梯度下降（SGD）的收斂性。最近研究發(fā)現(xiàn)，神經(jīng)正切核（NTK）在顯示NTK體制下基于梯度方法的全局收斂中起著重要作用，其中過參數(shù)化神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)動力學(xué)（learning dynamics）幾乎可以通過相關(guān)的再生核希爾伯特空間（RKHS）的學(xué)習(xí)動力學(xué)來表征。
但是，在NTK體制中，仍有進(jìn)行收斂速度分析的空間。在這項(xiàng)研究中，我們表明，通過利用目標(biāo)函數(shù)和與NTK相關(guān)的RKHS的復(fù)雜性，平均SGD下降可以達(dá)到最小最大最優(yōu)（minimax optimal ）收斂速度，并且具有全局收斂性保證。此外，我們表明，在一定條件下，通過ReLU網(wǎng)絡(luò)的平滑逼近，可以以最佳收斂速率學(xué)習(xí)ReLU網(wǎng)絡(luò)的NTK指定的目標(biāo)函數(shù)。
一句話總結(jié)：
這是第一篇以克服技術(shù)挑戰(zhàn)、實(shí)現(xiàn)最佳收斂速度下的NTK制度的論文。
程序主席評價：
本文給出了超參數(shù)化兩層神經(jīng)網(wǎng)絡(luò)平均SGD收斂性的一些令人激動人心的結(jié)果。AC和評審們都同意這些貢獻(xiàn)是非常重要的。同時要感謝作者對評審的反饋：對假設(shè)和參考文獻(xiàn)作了相應(yīng)的修改，并在論文介紹中增加了簡化的命題論點(diǎn)，使原稿有了很好的改進(jìn)。
論文摘要：
獲獎?wù)撐钠撸╫ral）：
論文鏈接：https://openreview.net/forum?id=PKubaeJkw3
程序主席評價：
本文提出了一種新的選擇范式，用于在神經(jīng)架構(gòu)搜索（NAS）中選擇最佳架構(gòu)，特別是針對涉及單樣本模型并部署基于梯度的搜索方法的方法。基本上，本文著重于非常仔細(xì)地檢查最大選擇（max selection），并發(fā)現(xiàn)架構(gòu)權(quán)重的大小具有誤導(dǎo)性。取而代之的是，本文提出了更為直觀的最終確定步驟，選擇當(dāng)邊被去除的時候驗(yàn)證性能下降幅度最大的算子。所有審稿人都認(rèn)為這個想法很有趣，論文寫得也很好，而且論文中的結(jié)果也很有趣。此外，作者的回答令人滿意地解決了審稿人提出的大多數(shù)問題，并且大多數(shù)rebuttal都增加了他們的原始評分。因此，我建議接受。
論文摘要：
獲獎?wù)撐陌耍╫ral）：
論文鏈接：https://openreview.net/forum?id=PxTIG12RRHS
一句話總結(jié)：
用于從基于得分的模型進(jìn)行訓(xùn)練和采樣的通用框架，該框架統(tǒng)一并泛化了先前的方法，允許進(jìn)行似然計(jì)算，并實(shí)現(xiàn)可控的生成。
程序主席評價：
所有審稿人都同意，這是一篇寫得很好且有趣的論文，ICLR和更廣泛的ML社區(qū)都會感興趣。
論文摘要：
杰出論文評選標(biāo)準(zhǔn)
1、在論文評審的基礎(chǔ)上構(gòu)建候選論文的候選名單；
2、入圍的論文送交杰出論文委員會作進(jìn)一步評審；
3、評審專家們不僅要評估技術(shù)質(zhì)量，還要評估論文潛在的影響力，包括提出新的觀點(diǎn)、開辟令人激動興奮的新方向、為解決一個重要問題作出了重大貢獻(xiàn)；
4、排名最高的8篇論文被選為獲獎?wù)撐摹?/span>
杰出論文獎評選委員
參考鏈接：
