99视频免费,无码国产精品一区二区三,欧美激情久久久,国产麻豆精品免费,91精品无码人妻系列,一级黄色电影免费在线观看,欧美肏逼视频,国产特级黄色

?Datawhale干貨?

編輯：陳萍、小舟，來源：機(jī)器之心

ICLR 2022 公布獲獎(jiǎng)名單，杰出論文獎(jiǎng)有 7 篇，3 篇獲得杰出論文榮譽(yù)提名。

ICLR 2022 杰出論文獎(jiǎng)已公布！今年共有 7 篇論文因其出色的條理性、洞察力、創(chuàng)造力和持久的影響力而被選為杰出論文獎(jiǎng)。此外，ICLR 2022 還公布了 3 篇杰出論文榮譽(yù)提名。

今年年初，ICLR 2022 放出了本屆會議的論文接收結(jié)果：共有 54 篇 Oral（口頭報(bào)告）論文和 176 篇 Spolight 論文，論文接收總數(shù) 1095 篇，最終投稿量 3391 篇，論文接收率 32.3%。

現(xiàn)在，ICLR 2022 官方從 1095 篇接收論文中挑選出了 7 篇杰出論文，獲獎(jiǎng)?wù)撐淖髡叻謩e來自清華大學(xué)、中國人民大學(xué)高瓴人工智能學(xué)院、谷歌研究院、安特衛(wèi)普大學(xué)、斯坦福大學(xué)、康奈爾大學(xué)、多倫多大學(xué)、DeepMind 等機(jī)構(gòu)。其中張鈸院士、朱軍教授的論文《ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS 》獲得杰出論文獎(jiǎng)。

杰出論文

論文 1：ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS

作者：Fan Bao 、李崇軒、朱軍、張鈸
機(jī)構(gòu)：清華大學(xué)、中國人民大學(xué)高瓴人工智能學(xué)院等
論文鏈接：https://openreview.net/pdf?id=0xiJLKH-ufZ

獲獎(jiǎng)理由：擴(kuò)散概率模型（Diffusion probabilistic model，DPM）是一類強(qiáng)大的生成模型，是機(jī)器學(xué)習(xí)中一個(gè)快速發(fā)展的話題。本文旨在解決 DPM 模型的固有局限性，這種局限性為 DPM 中最優(yōu)反向方差的計(jì)算緩慢且昂貴。作者首先給出了一個(gè)令人驚訝的結(jié)果，即 DPM 的最優(yōu)反向方差和相應(yīng)的最優(yōu) KL 散度都有其得分函數(shù)的解析形式。之后他們提出了新穎而優(yōu)雅的免訓(xùn)練推理框架：Analytic-DPM，它使用蒙特卡羅方法和預(yù)訓(xùn)練的基于得分模型來估計(jì)方差和 KL 散度的分析形式。

這篇論文在理論貢獻(xiàn)（表明 DPM 的最優(yōu)反向方差和 KL 散度都具有解析形式）和實(shí)際益處（提出適用于各種 DPM 模型的免訓(xùn)練推理）方面都很重要，并且很可能影響未來對 DPM 的研究。

論文 2：Hyperparameter Tuning with Renyi Differential Privacy

作者：Nicolas Papernot、Thomas Steinke
機(jī)構(gòu)：谷歌研究院
論文鏈接：https://openreview.net/pdf?id=-70L8lpp9DF

獲獎(jiǎng)理由：本文對學(xué)習(xí)算法差分隱私分析的一個(gè)重要盲點(diǎn)提供了新的見解，即學(xué)習(xí)算法在數(shù)據(jù)上進(jìn)行多次運(yùn)行以調(diào)優(yōu)超參數(shù)。作者指出，在某些情況下，部分?jǐn)?shù)據(jù)可能會扭曲最優(yōu)超參數(shù)，從而泄露私人信息。此外，作者在 Renyi 差分隱私框架下為超參數(shù)搜索過程提供了隱私保障。

這是一篇優(yōu)秀的論文，考慮了學(xué)習(xí)算法的日常使用及其對社會隱私的影響，并提出了解決方案。這項(xiàng)工作將為差分隱私機(jī)器學(xué)習(xí)算法的后續(xù)工作提供基礎(chǔ)。

論文 3：Learning Strides in Convolutional Neural Networks

作者：Rachid Riad、Olivier Teboul、David Grangier、Neil Zeghidour
機(jī)構(gòu)：谷歌研究院等
論文鏈接：https://openreview.net/pdf?id=M752z9FKJP

獲獎(jiǎng)理由：本文討論了任何使用卷積網(wǎng)絡(luò)的研究者都面臨的一個(gè)重要問題，即以一種原則性的方式設(shè)置 stride，這種根據(jù)原則性的方法忽略了可能的實(shí)驗(yàn)和試錯(cuò)。作者提出了一種新穎的、非常聰明的、可以用來學(xué)習(xí) stride 的數(shù)學(xué)公式，并展示了一種實(shí)用方法，該方法在綜合基準(zhǔn)中實(shí)現(xiàn)了 SOTA 結(jié)果。文中主要思想是 DiffStride，這是第一個(gè)具有可學(xué)習(xí) stride 的下采樣層，它允許學(xué)習(xí)傅里葉域中裁剪掩碼的大小，以適合可微編程的方式有效地調(diào)整大小。

這是一篇優(yōu)秀的論文，它提出了一種可能成為常用工具箱以及深度學(xué)習(xí)課程一部分的方法。

論文 4：Expressiveness and Approximation Properties of Graph Neural Networks

作者：Floris Geerts、Juan L Reutter
機(jī)構(gòu)：安特衛(wèi)普大學(xué)等
論文地址：https://openreview.net/pdf?id=wIzUeM3TAU

獲獎(jiǎng)理由：這篇理論比較強(qiáng)的論文展示了如何將有關(guān)不同圖神經(jīng)網(wǎng)絡(luò) GNN 架構(gòu)的表達(dá)性和可分離性的問題進(jìn)行簡化（有時(shí)通過檢查它們在張量語言中的計(jì)算來大大簡化），其中這些問題與常見的組合概念有關(guān)，例如樹寬（treewidth）。特別地，本文提出通過 Weisfeiler-Leman (WL) 檢驗(yàn)，可以很容易地得到 GNN 分離力（separation power）的邊界，該檢驗(yàn)已成為衡量 GNN 分離力的標(biāo)準(zhǔn)。該框架對通過 GNN 研究函數(shù)的逼近性也有一定的指導(dǎo)意義。

本文通過提供描述、比較和分析 GNN 架構(gòu)的通用框架，有可能對未來的研究產(chǎn)生重大影響。此外，本文提供了一個(gè)工具箱，GNN 架構(gòu)設(shè)計(jì)人員可以使用該工具箱分析 GNN 的分離能力，而無需了解 WL 測試的復(fù)雜性。

論文 5：Comparing Distributions by Measuring Differences that Affect Decision Making

作者：Shengjia Zhao, Abhishek Sinha, Yutong (Kelly) He, Aidan Perreault, Jiaming Song, Stefano Ermon
機(jī)構(gòu)：斯坦福大學(xué)
論文地址：https://openreview.net/forum?id=KB5onONJIAU

獲獎(jiǎng)理由：該研究提出了一類新的差異（discrepancy），可以根據(jù)決策任務(wù)的最佳損失比較兩個(gè)概率分布。通過適當(dāng)?shù)剡x擇決策任務(wù)，該方法泛化了 Jensen-Shannon 散度（divergence）和最大平均差異族。與各種基準(zhǔn)上的競爭基線相比，該方法實(shí)現(xiàn)了卓越的測試性能，并且具有廣闊的應(yīng)用前景，可用于了解氣候變化對不同社會和經(jīng)濟(jì)活動(dòng)的影響、評估樣本質(zhì)量以及選擇針對不同決策任務(wù)的特征。評審委員會認(rèn)為該論文具有非凡的實(shí)驗(yàn)意義，因?yàn)樵摲椒ㄔ试S用戶在通過決策損失比較分布時(shí)直接指定其偏好，這意味著實(shí)際應(yīng)用將有更高的可解釋性。

論文 6：Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path

作者：X.Y. Han, Vardan Papyan, David L. Donoho
機(jī)構(gòu)：康奈爾大學(xué)、多倫多大學(xué)、斯坦福大學(xué)
論文地址：https://openreview.net/forum?id=w1UbdvWH_R3

獲獎(jiǎng)理由：該研究對當(dāng)今深度網(wǎng)絡(luò)訓(xùn)練范式中普遍存在的「神經(jīng)崩潰（neural collapse）」現(xiàn)象提出了新的理論見解。在神經(jīng)崩潰期間，最后一層特征崩潰到類均值，分類器和類均值都崩潰到相同的 Simplex Equiangular Tight Frame，分類器行為崩潰到最近類均值決策規(guī)則。

該研究沒有采用在數(shù)學(xué)上難以分析的交叉熵?fù)p失，而是提出了一種新的均方誤差 (MSE) 損失分解，以便分析神經(jīng)崩潰下?lián)p失的每個(gè)組成部分，這反過來又形成了一種新的「中心路徑（central path）」理論構(gòu)造，其中線性分類器在整個(gè)動(dòng)態(tài)過程中對特征激活保持 MSE 最優(yōu)。最后，通過探究沿中心路徑的重歸一化（renormalized）梯度流，研究者推導(dǎo)出預(yù)測神經(jīng)崩潰的精確動(dòng)態(tài)。該研究為理解深度網(wǎng)絡(luò)的實(shí)驗(yàn)訓(xùn)練動(dòng)態(tài)提供了新穎且極具啟發(fā)性的理論見解。

論文 7：Bootstrapped Meta-Learning

作者：Sebastian Flennerhag, Yannick Schroecker, Tom Zahavy, Hado van Hasselt, David Silver, Satinder Singh
機(jī)構(gòu)：DeepMind
論文地址：https://openreview.net/forum?id=b-ny3x071E5

獲獎(jiǎng)理由：元學(xué)習(xí)具有增強(qiáng)人工智能的潛力，但元優(yōu)化一直是釋放這種潛力的巨大挑戰(zhàn)，該研究為元學(xué)習(xí)開辟了一個(gè)新方向。受 TD 學(xué)習(xí)的啟發(fā)，研究者提出一種從自身或其他更新規(guī)則引導(dǎo)元學(xué)習(xí)器的方法。該研究進(jìn)行了透徹的理論分析和多項(xiàng)實(shí)驗(yàn)，在 Atari ALE 基準(zhǔn)測試中為無模型智能體實(shí)現(xiàn)了新的 SOTA，并在多任務(wù)元學(xué)習(xí)中提升了性能和效率。

榮譽(yù)提名

除了 7 篇獲獎(jiǎng)?wù)撐囊酝猓€有 3 篇論文獲得杰出論文獎(jiǎng)榮譽(yù)提名，分別是：

提名論文 1：Understanding over-squashing and bottlenecks on graphs via curvature

作者：Jake Topping, Francesco Di Giovanni, Benjamin Paul Chamberlain, Xiaowen Dong, Michael M. Bronstein
機(jī)構(gòu)：牛津大學(xué)、倫敦帝國學(xué)院、推特公司
論文地址：https://openreview.net/forum?id=7UmjRGzp-A

提名論文 2：Efficiently Modeling Long Sequences with Structured State Spaces

作者：Albert Gu, Karan Goel, Christopher Re
機(jī)構(gòu)：斯坦福大學(xué)
論文地址：https://openreview.net/forum?id=uYLFoz1vlAC

提名論文 3：PiCO: Contrastive Label Disambiguation for Partial Label Learning

作者：Haobo Wang, Ruixuan Xiao, Yixuan (Sharon) Li, Lei Feng, Gang Niu, Gang Chen, Junbo Zhao
機(jī)構(gòu)：浙江大學(xué)、威斯康星大學(xué)麥迪遜分校、重慶大學(xué)、RIKEN
論文地址：https://openreview.net/forum?id=EhYjZy6e1gJ

參考內(nèi)容：

https://blog.iclr.cc/2022/04/20/announcing-the-iclr-2022-outstanding-paper-award-recipients/

ICLR 2022杰出論文獎(jiǎng)出爐！清華、人大獲獎(jiǎng)，浙大提名