欧美变态性爱一区二区三区,老妇裸体乱婬A片,乱操视频,欧美在线一级片,亚洲观看黄色网,精品视频免费观看,水蜜桃精品视频,人妻懂色av粉嫩av浪潮av

??新智元報道??

編輯：拉燕好困

【新智元導(dǎo)讀】剛剛，ICLR 2022杰出論文獎名單公布了！

今年，榮獲ICLR杰出論文獎的論文共有7篇，其中華人一作占了3篇。

此外，還有3篇論文獲得了榮譽(yù)提名。?

杰出論文獎

Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models

作者：Fan Bao, Chongxuan Li, Jun Zhu, Bo Zhang

論文鏈接：https://arxiv.org/abs/2201.06503

這篇論文主要談及了擴(kuò)散概率模型（DPM），這是一種強(qiáng)大的生成模型，是機(jī)器學(xué)習(xí)領(lǐng)域快速發(fā)展的議題。本文旨在解決DPM模型的內(nèi)在局限性。

本文作者提出了解析型DPM模型，這是一種新穎而巧妙的免訓(xùn)練推理框架。該模型使用蒙特卡洛方法和預(yù)訓(xùn)練模型來對差進(jìn)行估算，并得到KL散度的解析形式。

本文因其理論貢獻(xiàn)和應(yīng)用方面所具有的重要意義獲獎，將對未來DPM的相關(guān)研究產(chǎn)生影響。

Jun Zhu

Hyperparameter Tuning with Renyi Differential Privacy

作者：Nicolas Papernot, Thomas Steinke

論文鏈接：https://arxiv.org/abs/2110.03620

這篇論文就學(xué)習(xí)算法的差分隱私分析中存在的一個重要盲點(diǎn)，提出了全新的見解。即，以數(shù)據(jù)為基礎(chǔ)，多次運(yùn)行學(xué)習(xí)算法，用以調(diào)整超參數(shù)的事實(shí)。

論文作者展示了，在有一些情況下，部分?jǐn)?shù)據(jù)可能會使優(yōu)化過的超參數(shù)產(chǎn)生偏離，進(jìn)而泄露個人隱私等信息。

此外，在Renyi差分隱私框架內(nèi)，論文作者給超參數(shù)的收集流程提供了一些隱私保護(hù)。

這篇論文聚焦被廣泛使用的學(xué)習(xí)算法，及其對社會隱私的影響；并提出了一些辦法來解決這個問題。

可以說，這篇輪為給之后有關(guān)差分隱私-機(jī)器學(xué)習(xí)算法研究打下了基礎(chǔ)。

Learning Strides in Convolutional Neural Networks
作者：Rachid Riad, Olivier Teboul, David Grangier, Neil Zeghidour

?

論文鏈接：https://arxiv.org/abs/2202.01653

這篇論文解決了所有使用卷積網(wǎng)絡(luò)的人都可能面臨的一個重要問題。即，按部就班的設(shè)置步幅，而非通過反復(fù)試錯的方式。

論文作者提出了一種既新穎又巧妙的數(shù)學(xué)公式，來讓AI學(xué)習(xí)走路。并且，論文作者展示了一種使用的辦法，可以實(shí)現(xiàn)SOTA級別的實(shí)驗結(jié)果。

核心思路就是DiffStride，這是第一個具有可習(xí)得的步幅的下采樣層，人們可以學(xué)習(xí)傅里葉域中裁剪掩碼的大小。進(jìn)而能夠有效地，通過適合可微編程的方式，對大小進(jìn)行調(diào)節(jié)。

這篇論文非常出彩，它提供了一種可以成為深度學(xué)習(xí)領(lǐng)域中常用工具的技術(shù)。

Expressiveness and Approximation Properties of Graph Neural Networks

作者：Floris Geerts, Juan L Reutter

論文鏈接：https://arxiv.org/abs/2204.04661

這篇論文展示了如何將不同神經(jīng)網(wǎng)絡(luò)的GNN架構(gòu)表達(dá)性和可分離性的問題，簡化為檢驗這些計算在張量語言中的體現(xiàn)，而這些問題又和一些高知名度的組合概念相關(guān)，例如樹寬。

值得一提的是，本文提供了一種巧妙的辦法，可以根據(jù)WL測試輕松獲取GNN分離能力的界限。WL測試已成為衡量GNN分離能力的標(biāo)準(zhǔn)。

論文中所提出的框架，還對通過GNN研究函數(shù)的近似性有影響。本文提供了一個用以描述、比較和分析GNN架構(gòu)的通用框架，這可能會對未來的研究產(chǎn)生重大影響。

此外，本文還提供了大量研究工具，GNN架構(gòu)設(shè)計人員可以使用這些工具分析GNN的分離能力，而無需再了解復(fù)雜的WL測試。

Comparing Distributions by Measuring Differences that Affect Decision Making

作者：Shengjia Zhao, Abhishek Sinha, Yutong (Kelly) He, Aidan Perreault, Jiaming Song, Stefano Ermon

論文鏈接：https://openreview.net/forum?id=KB5onONJIAU

這篇論文提出了一類新型差異，用以根據(jù)決策任務(wù)的優(yōu)化損失來比較兩種概率分布。

挑選合適的決策任務(wù)，此方法就可以一般化Jensen-Shannon的差異，以及最大平均差異族。

本文作者證明了，與各種基準(zhǔn)上的競爭性的基線相比，新提出的方法實(shí)現(xiàn)了優(yōu)異的測試能力，同時還有例證。比方說，可以用來了解氣候變化對不同社會和經(jīng)濟(jì)活動的影響，或是評估樣本的質(zhì)量以及選擇針對不同決策任務(wù)的特征。

新辦法不僅十分巧妙，而且委員會認(rèn)為這篇論文的經(jīng)驗十分重要。

Shengjia Zhao

Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path

作者：X.Y. Han, Vardan Papyan, David L. Donoho

論文鏈接：https://arxiv.org/abs/2106.02073

這篇論文對當(dāng)今深度網(wǎng)絡(luò)訓(xùn)練范式中普遍存在的「神經(jīng)崩潰」（neural collapse）現(xiàn)象提出了新的見解。

本文展示了一種新的均方誤差（MSE）損失分解法，而非以往在數(shù)學(xué)上更難分析的交叉熵?fù)p失。

最終，通過研究沿中心路徑的重整化梯度流，本文作者推導(dǎo)出預(yù)測神經(jīng)崩潰的辦法。

本文問理解深度網(wǎng)絡(luò)的經(jīng)驗訓(xùn)練動態(tài)提供了新穎且極具啟發(fā)性的理論見解。

X.Y. Han

Bootstrapped Meta-Learning

作者：Sebastian Flennerhag, Yannick Schroecker, Tom Zahavy, Hado van Hasselt, David Silver, Satinder Singh

論文鏈接：https://arxiv.org/abs/2109.04504

元學(xué)習(xí)，或是學(xué)習(xí)怎樣學(xué)習(xí)，具有很強(qiáng)的潛力發(fā)展人工智能。但是元優(yōu)化一直是釋放元學(xué)習(xí)潛力的巨大挑戰(zhàn)。

這篇論文為元學(xué)習(xí)開辟了一個新方向，靈感來自于TD學(xué)習(xí)，從自身或其它更新規(guī)則引導(dǎo)元學(xué)習(xí)器。

本文理論分析透徹，實(shí)證結(jié)果令人信服。在基準(zhǔn)測試中為無模型代理提供了最先進(jìn)的技術(shù)。并且證明了其在多任務(wù)元學(xué)習(xí)中產(chǎn)生的性能和效率提升。

杰出論文榮譽(yù)提名

Understanding over-squashing and bottlenecks on graphs via curvature

作者：Jake Topping, Francesco Di Giovanni, Benjamin Paul Chamberlain, Xiaowen Dong, Michael M. Bronstein

論文鏈接：https://arxiv.org/abs/2111.14522

Efficiently Modeling Long Sequences with Structured State Spaces

作者：Albert Gu, Karan Goel, Christopher Re

論文鏈接：https://arxiv.org/abs/2111.00396

PiCO: Contrastive Label Disambiguation for Partial Label Learning

作者：Haobo Wang, Ruixuan Xiao, Yixuan (Sharon) Li, Lei Feng, Gang Niu, Gang Chen, Junbo Zhao

論文鏈接：https://arxiv.org/abs/2201.08984

參考資料：

https://blog.iclr.cc/2022/04/20/announcing-the-iclr-2022-outstanding-paper-award-recipients/

ICLR 2022杰出論文獎放榜，浙大、清華、人大學(xué)者一作入選