<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          ICML2022獎(jiǎng)項(xiàng)公布:15篇杰出論文,復(fù)旦、廈大、上交大研究入選

          共 6132字,需瀏覽 13分鐘

           ·

          2022-07-24 05:37

          機(jī)器之心報(bào)道

          編輯:陳萍、小舟

          ICML2022 共評(píng)選出 15 篇杰出論文和一篇時(shí)間檢驗(yàn)獎(jiǎng)?wù)撐摹?/p>


          近日,ICML 2022 大會(huì)在美國馬里蘭州巴爾的摩市以線上線下結(jié)合的方式舉辦。這也是新冠疫情以來大會(huì)首次恢復(fù)線下形式舉辦。

          ?

          目前,大會(huì)已經(jīng)公布了全部獎(jiǎng)項(xiàng),包括 15 篇杰出論文獎(jiǎng)和 1 項(xiàng)時(shí)間檢驗(yàn)獎(jiǎng)。其中,復(fù)旦大學(xué)、上海交通大學(xué)、廈門大學(xué)、萊斯大學(xué)胡俠團(tuán)隊(duì)等多個(gè)華人團(tuán)隊(duì)的研究獲得杰出論文獎(jiǎng)。ICML 2012 關(guān)于?「投毒攻擊」的論文《Poisoning Attacks against Support Vector Machines》獲得了本次大會(huì)的時(shí)間檢驗(yàn)獎(jiǎng)。

          杰出論文獎(jiǎng)

          • 論文 1:Monarch: Expressive Structured Matrices for Efficient and Accurate Training
          • 機(jī)構(gòu):斯坦福大學(xué)、紐約州立大學(xué)布法羅分校、密歇根大學(xué)
          • 作者:Tri Dao、Beidi Chen、Nimit Sohoni、 Arjun Desai、Michael Poli、Jessica Grogan、Alexander Liu、Aniruddh Rao、Atri Rudra、Christopher Re
          • 論文地址:https://arxiv.org/abs/2204.00595


          論文簡(jiǎn)介:該研究提出了一類硬件高效的矩陣 Monarch,具有解析最優(yōu)解。實(shí)驗(yàn)表明,Monarch 可以加速 ViT 和 GPT-2 在 ImageNet 分類任務(wù)上的訓(xùn)練。在密集到稀疏微調(diào)中,作為概念驗(yàn)證,我們的 Monarch 近似算法以相當(dāng)?shù)木葘?GLUE 上的 BERT 微調(diào)速度提高了 1.7 倍。

          • 論文 2:Solving Stackelberg Prediction Game with Least Squares Loss via Spherically Constrained Least Squares Reformulation
          • 機(jī)構(gòu):復(fù)旦大學(xué)、廈門大學(xué)、卡內(nèi)基梅隆大學(xué)
          • 作者:Jiali Wang、Wen Huang、Rujun Jiang、Xudong Li、Alex L. Wang
          • 論文地址:https://arxiv.org/abs/2206.02991


          論文簡(jiǎn)介:Stackelberg 預(yù)測(cè)博弈 (SPG) 是表征學(xué)習(xí)者和攻擊者之間策略交互中很重要的一個(gè)問題。該研究探索了 SPG-LS 的一種新型表述,將 SPG-LS 重寫為球面約束最小二乘 (SCLS) 問題。數(shù)值結(jié)果合成和真實(shí)世界的數(shù)據(jù)集表明,借助 SCLS 方法,SPG-LS 可以比當(dāng)前 SOTA 解決方案快幾個(gè)數(shù)量級(jí)。

          • 論文 3:G-Mixup: Graph Data Augmentation for Graph Classification
          • 機(jī)構(gòu):萊斯大學(xué)胡俠團(tuán)隊(duì)
          • 作者:韓霄天、Zhimeng Jiang 、Ninghao Liu、 胡俠(Xia Hu)
          • 論文地址:https://arxiv.org/pdf/2202.07179.pdf


          論文簡(jiǎn)介:該研究提出了一種名為 G-Mixup 的方法,通過插入不同類別圖的生成器(即 graphon)來增強(qiáng)圖分類。具體來說,該研究首先使用同一類中的圖來估計(jì)一個(gè) graphon,然后在歐幾里得空間中插值不同類別的 graphon 以獲得混合 graphon,合成圖基于混合 graphon 生成。大量實(shí)驗(yàn)表明,G-Mixup 顯著提高了 GNN 的泛化性和穩(wěn)健性。

          • 論文 4:Stable Conformal Prediction Sets
          • 機(jī)構(gòu):佐治亞理工學(xué)院
          • 作者:Eugene Ndiaye
          • 論文地址:https://proceedings.mlr.press/v162/ndiaye22a/ndiaye22a.pdf


          論文簡(jiǎn)介:該研究將共型預(yù)測(cè)(CP)方法與經(jīng)典的算法穩(wěn)定性界限結(jié)合起來,推導(dǎo)出可使用單個(gè)模型擬合計(jì)算的預(yù)測(cè)集合。該研究進(jìn)行了一些數(shù)值實(shí)驗(yàn)來說明當(dāng)樣本量足夠大時(shí),在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上估計(jì)的緊密性。

          • 論文 5:Learning inverse folding from millions of predicted structures
          • 機(jī)構(gòu):UC 伯克利、紐約大學(xué)
          • 作者:Chloe Hsu 、 Robert Verkuil 、 Jason Liu 、 Zeming Lin、 Brian Hie、Tom Sercu 、Adam Lerer 、Alexander Rives
          • 論文地址:https://www.biorxiv.org/content/10.1101/2022.04.10.487779v1.full.pdf


          論文簡(jiǎn)介:本文考慮從骨架原子坐標(biāo)來預(yù)測(cè)蛋白質(zhì)序列問題。該研究使用 AlphaFold2 預(yù)測(cè)了 12M 蛋白質(zhì)序列結(jié)構(gòu),這樣做將訓(xùn)練數(shù)據(jù)增加了近三個(gè)數(shù)量級(jí)。訓(xùn)練中增加了額外數(shù)據(jù),具有不變幾何輸入處理層的序列到序列 transformer 實(shí)現(xiàn)了 51% 的本地序列恢復(fù),掩埋殘基的恢復(fù)率為 72%,總體上比現(xiàn)有方法提高了近 10 個(gè)百分點(diǎn)。

          • 論文 6:Causal Conceptions of Fairness and their Consequences
          • 機(jī)構(gòu):斯坦福大學(xué)、紐約大學(xué)、哈佛大學(xué)
          • 作者:Hamed Nilforoshan 、 Johann Gaebler 、 Ravi Shroff 、 Sharad Goel
          • 論文地址:https://arxiv.org/pdf/2207.05302.pdf


          論文簡(jiǎn)介:本文首先將算法公平的因果定義歸類為兩大類,然后通過分析和經(jīng)驗(yàn)證明,這兩個(gè)定義在度量理論意義上——導(dǎo)致強(qiáng)烈的帕累托主導(dǎo)的決策策略,這意味著每個(gè)利益相關(guān)者都有一種可替代的、不受約束的策略。本文結(jié)果強(qiáng)調(diào)了在因果公平中常見的數(shù)學(xué)概念形式限制和潛在的不利后果。

          • 論文 7:Do Differentiable Simulators Give Better Policy Gradients?
          • 機(jī)構(gòu):MIT
          • 作者:H.J. Terry Suh 、 Max Simchowitz 、 Kaiqing Zhang 、 Russ Tedrake
          • 論文地址:https://proceedings.mlr.press/v162/suh22b/suh22b.pdf


          論文簡(jiǎn)介:該研究表明某些物理系統(tǒng)的特征(例如剛度或不連續(xù)性)可能會(huì)損害一階估計(jì)器的功效,并從偏差和方差的角度分析了這種現(xiàn)象。然后該研究提出了一個(gè) α 階梯度估計(jì)器(α ∈ [0, 1]),它正確地利用精確的梯度實(shí)現(xiàn)了一階估計(jì)效率與零階方法穩(wěn)健性的雙重優(yōu)勢(shì)。

          • 論文 8:Learning Mixtures of Linear Dynamical Systems
          • 機(jī)構(gòu):普林斯頓大學(xué)
          • 作者:Yanxi Chen、H. Vincent Poor
          • 論文地址:https://proceedings.mlr.press/v162/chen22t/chen22t.pdf


          論文簡(jiǎn)介:本文研究了從未標(biāo)記的短樣本軌跡中學(xué)習(xí)多個(gè)線性動(dòng)力系統(tǒng) (LDS) 的混合問題,此外,該研究還開發(fā)了一種兩階段元算法,該算法可以有效地恢復(fù)每個(gè)真值 LDS 模型,直至誤差 ,其中 T 是總樣本量。通過數(shù)值實(shí)驗(yàn)進(jìn)行驗(yàn)證,證實(shí)了所提出算法的有效性。

          • 論文 9:Active fairness auditing
          • 機(jī)構(gòu):CMU、亞利桑那大學(xué)
          • 作者:Tom Yan 、 Chicheng Zhang
          • 論文地址:https://arxiv.org/pdf/2206.08450.pdf


          論文簡(jiǎn)介:該研究啟動(dòng)了基于查詢的審計(jì)(auditing)算法的研究,該算法可以以高效查詢的方式估計(jì) ML 模型的人口學(xué)平等性(Demographic Parity)。該研究提出了一種最佳確定性算法,以及實(shí)用隨機(jī)化、oracle-efficient 算法。此外,他們還研究了隨機(jī)主動(dòng)公平性估計(jì)算法的最優(yōu)查詢復(fù)雜度。

          • 論文 10:Understanding Dataset Difficulty with V-Usable Information
          • 機(jī)構(gòu):斯坦福大學(xué)、艾倫人工智能研究院、華盛頓大學(xué)
          • 作者:Kawin Ethayarajh 、 Yejin Choi 、 Swabha Swayamdipta
          • 論文簡(jiǎn)介:https://arxiv.org/pdf/2110.08420v2.pdf


          論文簡(jiǎn)介:該研究構(gòu)建了數(shù)據(jù)集難度(dataset difficulty),并進(jìn)一步引入 PVI(pointwise V-information)來測(cè)量單個(gè)實(shí)例的難度。此外,本文框架允許通過輸入轉(zhuǎn)換來解釋不同輸入屬性,并用它來發(fā)現(xiàn) NLP 基準(zhǔn)中的注釋偽影(artefacts)。

          • 論文 11:Adversarially Trained Actor Critic for Offline Reinforcement Learning
          • 機(jī)構(gòu):微軟研究院、伊利諾伊大學(xué)厄巴納 - 香檳分校、谷歌研究院
          • 作者:Ching-An Cheng 、 Tengyang Xie 、 Nan Jiang 、 Alekh Agarwal
          • 論文地址:https://arxiv.org/pdf/2202.02446.pdf


          論文簡(jiǎn)介:該研究提出了對(duì)抗訓(xùn)練的 Actor-Critic 算法(ATAC)——一種在數(shù)據(jù)覆蓋不足的情況下用于離線強(qiáng)化學(xué)習(xí)(RL)的無模型算法。該框架既為函數(shù)近似提供了理論保證,又為可擴(kuò)展到復(fù)雜環(huán)境和大型數(shù)據(jù)集的深度 RL 實(shí)現(xiàn)提供了保障。在 D4RL 基準(zhǔn)測(cè)試中,ATAC 在一系列連續(xù)控制任務(wù)上始終優(yōu)于 SOTA 離線 RL 算法。

          • 論文 12:Privacy for Free: How does Dataset Condensation Help Privacy?
          • 機(jī)構(gòu):上海交通大學(xué)、愛丁堡大學(xué)、Sony AI
          • 作者:Tian Dong 、 Bo Zhao 、 Lingjuan Lyu
          • 論文地址:https://arxiv.org/pdf/2206.00240.pdf


          論文簡(jiǎn)介:該研究首次發(fā)現(xiàn)旨在提高訓(xùn)練效率的數(shù)據(jù)集壓縮(DC)方法也是替代傳統(tǒng)數(shù)據(jù)生成器進(jìn)行私有數(shù)據(jù)生成的良好解決方案。為了證明 DC 的隱私優(yōu)勢(shì),該研究在 DC 和差分隱私之間建立了聯(lián)系。這項(xiàng)工作是數(shù)據(jù)高效和隱私保護(hù)機(jī)器學(xué)習(xí)的一個(gè)里程碑。

          • 論文 13:Bayesian Model Selection, the Marginal Likelihood, and Generalization
          • 機(jī)構(gòu):紐約大學(xué)
          • 作者:Sanae Lotfi 、Pavel Izmailov 、Gregory Benton、Micah Goldblum 、Andrew Wilson
          • 論文地址:https://arxiv.org/pdf/2202.11678.pdf


          論文簡(jiǎn)介:本文首先回顧了學(xué)習(xí)約束和假設(shè)檢驗(yàn)的邊際似然所具有的特性。之后論文強(qiáng)調(diào)了在使用邊際似然作為泛化代理(proxy)的概念和實(shí)際問題。論文展示了邊際似然如何與泛化負(fù)相關(guān),還介紹了其與神經(jīng)架構(gòu)搜索的含義,可能導(dǎo)致超參數(shù)學(xué)習(xí)中欠擬合和過擬合問題。

          • 論文 14:The Importance of Non-Markovianity in Maximum State Entropy Exploration
          • 機(jī)構(gòu):米蘭理工大學(xué)、蘇黎世聯(lián)邦理工學(xué)院
          • 作者:Mirco Mutti、Riccardo De Santi、Marcello Restelli
          • 論文地址:https://openreview.net/pdf?id=VEGkEHqEsiX


          論文簡(jiǎn)介:該研究表明馬爾可夫策略類足以滿足任何無限樣本最大狀態(tài)熵(MSE)目標(biāo),并提出一種新的有限樣本 MSE 目標(biāo)和相應(yīng)的表述。

          • 論文 15:Minimum Cost Intervention Design for Causal Effect Identification
          • 機(jī)構(gòu):洛桑聯(lián)邦理工學(xué)院
          • 作者:Sina Akbari、Jalal Etesami 、 Negar Kiyavash
          • 論文地址:https://arxiv.org/pdf/2205.02232.pdf


          論文簡(jiǎn)介:本文考慮了以最低成本設(shè)計(jì)干預(yù)措施集合的問題,以確定期望的效果。本文首先證明了這個(gè)問題是 NP 困難的,隨后提出了一個(gè)算法,既可以找到最優(yōu)解,也可以找到它的 logarithmic-factor 近似。此外,本文還提出了幾個(gè)多項(xiàng)式時(shí)間啟發(fā)式算法來解決計(jì)算復(fù)雜性。

          時(shí)間檢驗(yàn)獎(jiǎng)

          獲得 ICML 2022 時(shí)間檢驗(yàn)獎(jiǎng)的是圖賓根大學(xué)、卡利亞里大學(xué)的研究《Poisoning Attacks against Support Vector Machines》。


          論文鏈接:https://arxiv.org/pdf/1206.6389.pdf

          論文摘要:在這篇論文中,作者研究了一類針對(duì)支持向量機(jī) (SVM) 的投毒攻擊(poisoning attack)。這樣的攻擊注入了特別精心制作的訓(xùn)練數(shù)據(jù),增加了 SVM 的測(cè)試錯(cuò)誤。這些攻擊的動(dòng)機(jī)的核心是,大多數(shù)學(xué)習(xí)算法都假定它們的訓(xùn)練數(shù)據(jù)來自自然的或行為良好的分布。但是,這種假設(shè)通常不適用于安全敏感設(shè)置。正如本文所證明的,智能的對(duì)手可以在一定程度上預(yù)測(cè)支持向量機(jī)的決策函數(shù)的變化,基于的是惡意輸入和使用這種能力來構(gòu)造惡意數(shù)據(jù)。該攻擊采用梯度上升策略,根據(jù)支持向量機(jī)最優(yōu)解的性質(zhì)計(jì)算梯度。該方法可以進(jìn)行內(nèi)核化,即使對(duì)于非線性內(nèi)核也可以在輸入空間構(gòu)造攻擊。實(shí)驗(yàn)結(jié)果表明,該梯度提升算法可靠地識(shí)別出非凸驗(yàn)證誤差曲面的良好局部極大值,這顯著地增加了分類器的測(cè)試誤差。


          作者之一 Battista Biggio 現(xiàn)在是意大利卡利亞里大學(xué)助理教授。自從 2007 年以來,他一直在同一所大學(xué)的電氣與電子工程系工作。他曾分別于 2006 年和 2010 年在意大利卡利亞里大學(xué)以優(yōu)異的成績(jī)獲得電子工程碩士學(xué)位和電子工程和計(jì)算機(jī)科學(xué)博士學(xué)位。

          研究的另外兩位作者分別是當(dāng)時(shí)在圖賓根大學(xué)的 Blaine Nelson 和 Pavel Laskov。


          Blaine Nelson 于 2003 年獲得南卡羅來納大學(xué)計(jì)算機(jī)科學(xué)學(xué)士學(xué)位,并分別于 2005 年和 2010 年獲得加州大學(xué)伯克利分校的碩士學(xué)位和博士學(xué)位,隨后在圖賓根大學(xué)和波茨坦大學(xué)進(jìn)行了博士后研究。完成博士后工作后,Blaine 在 Google 工作了六年,在 2021 年 4 月加入了初創(chuàng)公司 Robust Intelligence 。


          Pavel Laskov 現(xiàn)為列支敦士登大學(xué)教授,2014 年到 2018 年,他曾是華為歐洲研究中心(慕尼黑)首席工程師。

          參考鏈接:https://icml.cc/virtual/2022/awards_detail


          ——The  End——

          分享

          收藏

          點(diǎn)贊

          在看


          瀏覽 70
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  日本极品高清无码 | 国产香蕉视频 | 四虎成人免费视频一二三四区视频 | 精品一区二区视频在线观看 | 91无码人妻精品1国产一区二区 |