一级免费黄色录像,a免费视频在线观看,婷婷五月天亚洲,秋霞午夜成人无码精品,AAAAAAA级片,77777亚洲和欧洲视频在线观看,操逼免费的视频,色色男人天堂

視學(xué)算法報(bào)道

編輯：David 拉燕好困

【導(dǎo)讀】ICML 2022杰出論文揭曉！復(fù)旦、上交、廈大等中國高校上榜，吳恩達(dá)、Jeff Dean等獲時(shí)間檢驗(yàn)獎(jiǎng)榮譽(yù)提名。

又一AI頂會(huì)開獎(jiǎng)了！

剛剛，ICML2022官網(wǎng)公布了本屆大會(huì)的杰出論文和時(shí)間檢驗(yàn)獎(jiǎng)。

中國學(xué)者收獲頗豐，來自復(fù)旦大學(xué)、廈門大學(xué)、上海交通大學(xué)等國內(nèi)高校參與的多項(xiàng)工作入選杰出論文。

本屆大會(huì)的時(shí)間檢驗(yàn)獎(jiǎng)。授予一篇關(guān)于對(duì)支持向量機(jī)進(jìn)行破壞性攻擊的論文。

值得一提的是，Quoc Le、Jeff Dean、吳恩達(dá)等大牛的關(guān)于「大規(guī)模非監(jiān)督學(xué)習(xí)構(gòu)建高階特征」的論文獲得時(shí)間選擇獎(jiǎng)榮譽(yù)提名。

杰出論文（Outstanding Papers）

Monarch: Expressive Structured Matrices for Efficient and Accurate Training

作者：Tri Dao, Beidi Chen, Nimit Sohoni, Arjun Desai, Michael Poli, Jessica Grogan, Alexander Liu, Aniruddh Rao, Atri Rudra, Christopher Re

發(fā)文單位：斯坦福大學(xué)、紐約州立大學(xué)布法羅分校、密歇根大學(xué)

論文鏈接：https://arxiv.org/pdf/2204.00595.pdf

摘要：

大型神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域都很出色，但訓(xùn)練和微調(diào)成本很高。一個(gè)流行的方法是用結(jié)構(gòu)化的權(quán)重矩陣（如稀疏的、低等級(jí)的、傅里葉變換的）來代替密集的權(quán)重矩陣，以減少計(jì)算/內(nèi)存需求。然而這些方法并沒有被廣泛采用。

為了解決這些問題，我們提出了一類矩陣（Monarch），它具有硬件效率（為了更好地利用硬件，它們被參數(shù)化為兩個(gè)塊對(duì)角矩陣的乘積）和表現(xiàn)力（它們可以代表許多常用的變換）。

Solving Stackelberg Prediction Game with Least Squares Loss via Spherically Constrained Least Squares Reformulation

作者：Jiali Wang, Wen Huang, Rujun Jiang, Xudong Li, Alex Wang

發(fā)文單位：復(fù)旦大學(xué)、廈門大學(xué)、卡內(nèi)基梅隆大學(xué)

論文鏈接：https://arxiv.org/pdf/2206.02991.pdf

摘要：

本文探討了SPG-LS的另一種重新表述。通過一個(gè)新的非線性變量變化，將SPG-LS重寫為球形約束最小二乘法（SCLS）問題。

本文應(yīng)用了兩種著名的方法來解決這個(gè)新的重構(gòu)，即Krylov子空間方法和黎曼尼信任區(qū)域方法。這兩種算法都是無因子化的，因此適合解決大規(guī)模的問題。在合成數(shù)據(jù)集和真實(shí)世界數(shù)據(jù)集上的數(shù)值結(jié)果表明，配備了SCLS重構(gòu)的SPG-LS的求解速度比現(xiàn)有技術(shù)水平要快幾個(gè)數(shù)量級(jí)。

Adversarially Trained Actor Critic for Offline Reinforcement Learning

作者：Ching-An Cheng, Tengyang Xie, Nan Jiang, Alekh Agarwal

發(fā)文單位：微軟研究院、伊利諾伊大學(xué)厄巴納-香檳分校、谷歌研究院

論文鏈接：https://arxiv.org/pdf/2202.02446.pdf

摘要：

本文提出Adversarially Trained Actor Critic (ATAC)，這是一種基于相對(duì)悲觀主義概念的離線強(qiáng)化學(xué)習(xí)（RL）的新型無模型算法。ATAC被設(shè)計(jì)成一個(gè)雙人的Stackelberg游戲。一個(gè)政策執(zhí)行者與一個(gè)經(jīng)過對(duì)抗性訓(xùn)練的價(jià)值評(píng)論者競(jìng)爭(zhēng)，后者找到數(shù)據(jù)一致的場(chǎng)景，其中執(zhí)行者不如數(shù)據(jù)收集行為政策。

與現(xiàn)有的工作相比，本文的框架既提供了一般函數(shù)近似的理論保證，又提供了可擴(kuò)展到復(fù)雜環(huán)境和大數(shù)據(jù)集的深度RL實(shí)現(xiàn)。在D4RL基準(zhǔn)測(cè)試中，ATAC在一系列連續(xù)控制任務(wù)上始終優(yōu)于最先進(jìn)的離線RL算法。

Stable Conformal Prediction Sets

作者：Eugene Ndiaye

發(fā)文單位：佐治亞理工大學(xué)

論文鏈接：https://arxiv.org/pdf/2112.10224.pdf

摘要：

當(dāng)人們觀察到一連串的變量( x1, y1 ), ..., ( xn, yn )時(shí)，共形預(yù)測(cè)是一種方法，它可以通過假設(shè)數(shù)據(jù)的分布是可交換的，來估計(jì)給定x n+1的置信集。但這種集合的計(jì)算在一般情況下是不可行的。

本文中將共形預(yù)測(cè)技術(shù)與算法穩(wěn)定性邊界相結(jié)合，得出了一個(gè)可通過單一模型擬合計(jì)算的預(yù)測(cè)集。我們進(jìn)行了一些數(shù)值實(shí)驗(yàn)，說明了當(dāng)樣本量足夠大時(shí)，本文的估計(jì)是嚴(yán)密的。

Do Differentiable Simulators Give Better Policy Gradients?

作者：Hyung Ju Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake

發(fā)文單位：麻省理工學(xué)院

論文鏈接：https://arxiv.org/pdf/2202.00817.pdf

摘要：

可微分模擬器通過用基于一階梯度的估計(jì)取代隨機(jī)目標(biāo)的零階梯度估計(jì)，為強(qiáng)化學(xué)習(xí)提供更快的計(jì)算時(shí)間。然而，目前還不清楚是什么因素決定了這兩個(gè)估計(jì)器在涉及物理系統(tǒng)的長(zhǎng)視距規(guī)劃和控制的復(fù)雜景觀中的性能。

我們表明，某些物理系統(tǒng)的特征，如剛度或不連續(xù)性，可能會(huì)損害一階估計(jì)器的功效，并通過偏差和方差的角度分析這一現(xiàn)象。我們還提出了一個(gè)α階梯度估計(jì)器，α∈[0，1]，它正確地利用了精確梯度，將一階估計(jì)的效率與零階方法的魯棒性結(jié)合起來。

Learning inverse folding from millions of predicted structures

作者：Chloe Hsu, Robert Verkuil, Jason Liu, Zeming Lin, Brian Hie, Tom Sercu, Adam Lerer, Alexander Rives

發(fā)文單位：加州大學(xué)伯克利分校、Facebook AI、紐約大學(xué)

論文鏈接：https://www.biorxiv.org/content/10.1101/2022.04.10.487779v1.full.pdf

摘要：

本文通過使用AlphaFold2預(yù)測(cè)1200萬個(gè)蛋白質(zhì)序列的結(jié)構(gòu)，將訓(xùn)練數(shù)據(jù)增加了近三個(gè)數(shù)量級(jí)。通過這些額外數(shù)據(jù)的訓(xùn)練，一個(gè)具有不變的幾何輸入處理層的序列到序列的轉(zhuǎn)化器在結(jié)構(gòu)保持的骨架上實(shí)現(xiàn)了51%的原生序列恢復(fù)，對(duì)埋藏的殘基實(shí)現(xiàn)了72%的恢復(fù)，比現(xiàn)有的方法整體提高了近10個(gè)百分點(diǎn)。

Learning Mixtures of Linear Dynamical Systems

作者：Yanxi Chen, H. Vincent Poor

發(fā)文單位：普林斯頓大學(xué)

論文鏈接：https://proceedings.mlr.press/v162/chen22t/chen22t.pdf

摘要：

本文研究了從無標(biāo)簽的短樣本軌跡中學(xué)習(xí)多個(gè)線性動(dòng)態(tài)系統(tǒng)（LDS）的混合物的問題，每個(gè)樣本由一個(gè)LDS模型生成。盡管混合模型對(duì)時(shí)間序列數(shù)據(jù)具有廣泛的適用性，但現(xiàn)有文獻(xiàn)中基本沒有附帶端到端的性能保證的學(xué)習(xí)算法。

我們開發(fā)了一個(gè)兩階段的元算法，保證有效地恢復(fù)每個(gè)真實(shí)的LDS模型，其誤差為Oe( p d/T)，其中T為總樣本量。我們用數(shù)值實(shí)驗(yàn)驗(yàn)證了我們的理論研究，證實(shí)了所提出的算法的有效性。

Causal Conceptions of Fairness and their Consequences

作者：Hamed Nilforoshan, Johann Gaebler, Ravi Shroff, Sharad Goel

發(fā)文單位：斯坦福大學(xué)、紐約大學(xué)、哈佛大學(xué)

論文鏈接：https://arxiv.org/pdf/2207.05302.pdf

摘要：

本文將流行的算法公平的因果定義歸納為兩大類：（1）那些限制決策對(duì)反事實(shí)差異的影響的定義；以及（2）那些限制受法律保護(hù)的特征，如種族和性別，對(duì)決策的影響的定義。

本文通過分析和經(jīng)驗(yàn)表明，這兩個(gè)系列的定義（幾乎總是）--在計(jì)量理論的意義上--導(dǎo)致強(qiáng)烈的帕累托支配的決策政策，這意味著有一個(gè)替代的、不受約束的政策受到每個(gè)利益相關(guān)者的青睞，其偏好來自一個(gè)大的、自然的類別。

事實(shí)上，在一個(gè)突出的因果公平定義下，我們證明所產(chǎn)生的政策要求以相同的概率錄取所有學(xué)生，而不考慮學(xué)術(shù)資格或團(tuán)體成員。我們的結(jié)果強(qiáng)調(diào)了因果公平的常見數(shù)學(xué)概念的形式限制和潛在的不利后果。

Active fairness auditing

作者：Tom Yan, Chicheng Zhang

發(fā)文單位：卡內(nèi)基梅隆大學(xué)、亞利桑那大學(xué)

論文鏈接：https://arxiv.org/abs/2206.08450

摘要：

各個(gè)行業(yè)的公司對(duì)機(jī)器學(xué)習(xí)（ML）的快速普及帶來了重大的監(jiān)管挑戰(zhàn)。其中一個(gè)挑戰(zhàn)是可擴(kuò)展性：監(jiān)管機(jī)構(gòu)如何有效地審計(jì)這些ML模型，確保它們是公平的？

在本文中，我們啟動(dòng)了對(duì)基于查詢的審計(jì)算法的研究，該算法可以以一種查詢有效的方式估計(jì)ML模型的人口平價(jià)。我們提出了一個(gè)最佳的確定性算法，以及一個(gè)實(shí)用的隨機(jī)化的、具有可比性保證的Oracle效率算法。此外，本文在理解隨機(jī)化主動(dòng)公平性估計(jì)算法的最佳查詢復(fù)雜性方面取得了進(jìn)展。

Understanding Dataset Difficulty with V-Usable Information

作者：Kawin Ethayarajh, Yejin Choi, Swabha Swayamdipta

發(fā)文單位：斯坦福大學(xué)、艾倫人工智能研究所、華盛頓大學(xué)

論文鏈接：https://arxiv.org/pdf/2110.08420.pdf

摘要：

估算一個(gè)數(shù)據(jù)集的難度通常包括將最先進(jìn)的模型與人類進(jìn)行比較；性能差距越大，數(shù)據(jù)集就越難。然而，這種比較對(duì)給定分布中的每個(gè)實(shí)例有多難，或者什么屬性使數(shù)據(jù)集對(duì)一個(gè)給定的模型來說是困難的，提供的理解很少。為了解決這些問題，我們將數(shù)據(jù)集的難度--相對(duì)于一個(gè)模型的V來說--定義為缺乏V的可用信息，其中較低的值表示V的數(shù)據(jù)集更難。

我們進(jìn)一步引入點(diǎn)式V信息（PVI）來衡量單個(gè)實(shí)例的難度--相對(duì)于一個(gè)給定的分布。雖然標(biāo)準(zhǔn)的評(píng)估指標(biāo)通常只對(duì)同一數(shù)據(jù)集的不同模型進(jìn)行比較，但V型信息和PVI也允許反過來：對(duì)于一個(gè)給定的模型V，我們可以比較不同的數(shù)據(jù)集，以及同一數(shù)據(jù)集的不同實(shí)例/片斷。此外，我們的框架允許通過輸入的轉(zhuǎn)換來實(shí)現(xiàn)不同輸入屬性的可解釋性，我們用它來發(fā)現(xiàn)廣泛使用的NLP基準(zhǔn)中的注釋假象。

G-Mixup: Graph Data Augmentation for Graph Classification

作者：Xiaotian Han, Zhimeng Jiang, Ninghao Liu, Xia Hu

發(fā)文單位：德克薩斯農(nóng)工大學(xué)、佐治亞大學(xué)、萊斯大學(xué)

論文鏈接：https://arxiv.org/pdf/2202.07179.pdf

摘要：

Mixup通過在兩個(gè)隨機(jī)樣本之間插值特征和標(biāo)簽，在提高神經(jīng)網(wǎng)絡(luò)的泛化和魯棒性方面顯示出優(yōu)越性。傳統(tǒng)上，Mixup可以在規(guī)則的、網(wǎng)格狀的和歐幾里得數(shù)據(jù)上工作，如圖像或表格數(shù)據(jù)。然而，直接采用Mixup來增強(qiáng)圖的數(shù)據(jù)是具有挑戰(zhàn)性的，因?yàn)椴煌膱D通常1）有不同數(shù)量的節(jié)點(diǎn)；2）不容易對(duì)齊；3）在非歐氏空間有獨(dú)特的類型。

為此，我們提出了G-Mixup，通過插值不同類別的圖的生成器（即graphon）來增強(qiáng)圖的分類。具體來說，我們首先使用同一類別中的圖來估計(jì)一個(gè)graphon。然后，我們不直接操作圖形，而是在歐幾里得空間中插值不同類別的圖元，以獲得混合圖元，其中合成圖元是通過基于混合圖元的采樣產(chǎn)生的。廣泛的實(shí)驗(yàn)表明，G-Mixup極大地提高了GNN的泛化和穩(wěn)健性。

The Importance of Non-Markovianity in Maximum State Entropy Exploration

作者：Mirco Mutti, Riccardo De Santi, Marcello Restelli

發(fā)文單位：米蘭理工大學(xué)、博洛尼亞大學(xué)、蘇黎世聯(lián)邦理工學(xué)院

論文鏈接：https://arxiv.org/pdf/2202.03060.pdf

摘要：

在最大狀態(tài)熵探索框架中，代理人與無獎(jiǎng)勵(lì)環(huán)境互動(dòng)，以學(xué)習(xí)一個(gè)政策，使其誘導(dǎo)的預(yù)期狀態(tài)訪問熵最大化。

在本文中，我們認(rèn)為非馬爾科夫性對(duì)于有限樣本制度下的最大狀態(tài)熵探索反而是最重要的。特別是，我們將目標(biāo)重塑為在一次試驗(yàn)中誘導(dǎo)狀態(tài)訪問的預(yù)期熵。我們表明，非馬爾科夫確定性策略的類別對(duì)于引入的目標(biāo)來說是足夠的，而馬爾科夫策略在一般情況下遭受非零遺憾。然而，我們證明尋找最佳非馬爾科夫政策的問題是NP-hard。盡管有這個(gè)否定的結(jié)果，我們討論了以可操作的方式解決這個(gè)問題的途徑，以及非馬爾科夫探索如何在未來的工作中有利于在線強(qiáng)化學(xué)習(xí)的樣本效率。

Minimum Cost Intervention Design for Causal Effect Identification

作者：Sina Akbari, Jalal Etesami, Negar Kiyavash

發(fā)文單位：瑞士洛桑聯(lián)邦理工學(xué)院（College of Management of Technology, EPFL）

論文鏈接：https://arxiv.org/pdf/2205.02232.pdf

摘要：

在這項(xiàng)工作中，我們考慮的問題是以最小的成本設(shè)計(jì)干預(yù)措施的集合，以確定所需的效果。首先，我們證明這個(gè)問題是NP-hard的，隨后提出一種算法，可以找到最優(yōu)解或?qū)?shù)因子的近似解。這是通過在我們的問題和最小命中集問題之間建立聯(lián)系來實(shí)現(xiàn)的。此外，我們提出了幾個(gè)多項(xiàng)式時(shí)間啟發(fā)式算法來解決這個(gè)問題的計(jì)算復(fù)雜性。盡管這些算法有可能在次優(yōu)的解決方案上絆倒，但我們的模擬表明，它們?cè)陔S機(jī)圖上實(shí)現(xiàn)了小的遺憾。

Privacy for Free: How does Dataset Condensation Help Privacy?

作者：Tian Dong, Bo Zhao, Lingjuan Lyu

發(fā)文單位：上海交通大學(xué)、愛丁堡大學(xué)、Sony AI

論文鏈接：https://arxiv.org/pdf/2206.00240.pdf

摘要：

為了防止無意中的數(shù)據(jù)泄露，研究界采用了能夠產(chǎn)生不同隱私數(shù)據(jù)的數(shù)據(jù)生成器進(jìn)行模型訓(xùn)練。然而，出于對(duì)數(shù)據(jù)隱私的考慮，現(xiàn)有的解決方案要么存在昂貴的訓(xùn)練成本，要么存在較差的泛化性能。因此，我們提出了一個(gè)問題：訓(xùn)練效率和隱私是否可以同時(shí)實(shí)現(xiàn)。在這項(xiàng)工作中，我們首次發(fā)現(xiàn)，原本為提高訓(xùn)練效率而設(shè)計(jì)的數(shù)據(jù)集濃縮（DC）也是一個(gè)更好的解決方案，可以取代傳統(tǒng)的數(shù)據(jù)生成器來生成私有數(shù)據(jù)，從而免費(fèi)提供隱私。

為了證明DC的隱私優(yōu)勢(shì)，我們建立了DC和差分隱私之間的聯(lián)系，并在理論上證明了線性特征提取器（然后擴(kuò)展到非線性特征提取器），一個(gè)樣本的存在對(duì)通過DC從n(n m)個(gè)原始樣本合成的m個(gè)樣本上訓(xùn)練的網(wǎng)絡(luò)的參數(shù)分布影響有限（O（m/n））。我們還通過發(fā)起基于損失的和最先進(jìn)的基于似然的成員推理攻擊，實(shí)證驗(yàn)證了DC合成數(shù)據(jù)的視覺隱私和成員隱私。我們認(rèn)為這項(xiàng)工作是數(shù)據(jù)高效和保護(hù)隱私的機(jī)器學(xué)習(xí)的一個(gè)里程碑。

Bayesian Model Selection, the Marginal Likelihood, and Generalization

作者：Sanae Lotfi, Pavel Izmailov, Gregory Benton, Micah Goldblum, Andrew Wilson

發(fā)文單位：紐約大學(xué)

論文鏈接：https://arxiv.org/pdf/2202.11678.pdf

摘要：

如何在與觀察完全一致的假說之間進(jìn)行比較？邊際似然（又稱貝葉斯證據(jù)）代表了從先驗(yàn)產(chǎn)生我們觀察結(jié)果的概率，它為這個(gè)基礎(chǔ)性問題提供了一種獨(dú)特的方法，自動(dòng)編碼了奧卡姆剃刀。盡管已經(jīng)觀察到邊際似然可以過度擬合，并且對(duì)先驗(yàn)假設(shè)很敏感，但它對(duì)超參數(shù)學(xué)習(xí)和離散模型比較的局限性還沒有被徹底研究。

我們首先重溫了邊際似然對(duì)于學(xué)習(xí)約束和假設(shè)檢驗(yàn)的吸引人的特性。然后，我們強(qiáng)調(diào)了使用邊際似然作為泛化的代理的概念和實(shí)際問題。也就是說，我們展示了邊際似然如何與泛化負(fù)相關(guān)，對(duì)神經(jīng)結(jié)構(gòu)搜索有影響，并可能導(dǎo)致超參數(shù)學(xué)習(xí)中的欠擬合和過擬合。我們通過條件邊際似然提供了部分補(bǔ)救措施，我們表明條件邊際似然與泛化更加一致，對(duì)大規(guī)模的超參數(shù)學(xué)習(xí)，如深度核學(xué)習(xí)，具有實(shí)際價(jià)值。

Test of Time Award （時(shí)間檢驗(yàn)獎(jiǎng)）

本屆時(shí)間檢驗(yàn)獎(jiǎng)授予了十年前ICML的一篇論文，該論文對(duì)機(jī)器學(xué)習(xí)領(lǐng)域產(chǎn)生了實(shí)質(zhì)性影響，包括研究和實(shí)踐。

作者：Battista Biggio, Blaine Nelson, Pavel Laskov

發(fā)文單位：卡利亞里大學(xué)、杜賓根大學(xué)

論文鏈接：https://arxiv.org/pdf/1206.6389.pdf

摘要：

我們研究了針對(duì)支持向量機(jī)（SVM）的一系列毒化攻擊。這種攻擊注入特別制作的訓(xùn)練數(shù)據(jù)，增加SVM的測(cè)試誤差。這些攻擊的核心動(dòng)機(jī)是，大多數(shù)學(xué)習(xí)算法假設(shè)其訓(xùn)練數(shù)據(jù)來自一個(gè)自然或良好的分布。然而，這一假設(shè)在安全敏感的環(huán)境中通常并不成立。

正如我們所證明的，一個(gè)聰明的對(duì)手可以在一定程度上預(yù)測(cè)SVM的決策函數(shù)因惡意輸入而發(fā)生的變化，并利用這種能力來構(gòu)建惡意數(shù)據(jù)。擬議的攻擊使用梯度上升策略，其中梯度是根據(jù)SVM的最優(yōu)解的屬性計(jì)算的。這種方法可以被核化，即使對(duì)于非線性核，也能在輸入空間構(gòu)建攻擊。我們通過實(shí)驗(yàn)證明，我們的梯度上升程序能夠可靠地識(shí)別出非凸驗(yàn)證誤差面的良好局部最大值，從而顯著增加分類器的測(cè)試誤差。

另有兩篇論文獲得時(shí)間檢驗(yàn)獎(jiǎng)榮譽(yù)提名。其中一篇是Quoc Le、Jeff Dean、吳恩達(dá)等大牛的關(guān)于「大規(guī)模非監(jiān)督學(xué)習(xí)構(gòu)建高階特征」的論文。

參考資料：

https://icml.cc/virtual/2022/awards_detail

點(diǎn)個(gè)在看 paper不斷！

ICML 2022開獎(jiǎng)！復(fù)旦、上交、廈大多篇工作入選杰出論文