本文約4800字，建議閱讀10+分鐘
本文與你分享ICLR 2022的機(jī)器學(xué)習(xí)研究相關(guān)論文。
一、Autoregressive Diffusion Models
Emiel Hoogeboom, Alexey A. Gritsenko, Jasmijn Bastings, Ben Poole, Rianne van den Berg, Tim Salimans.擴(kuò)散模型在過(guò)去一年中一直在流行，并且它們逐漸被吸收到深度學(xué)習(xí)工具箱中。本文提出了這些模型的重要概念創(chuàng)新。推理時(shí)從采樣某種“白噪聲”圖像開始，擴(kuò)散模型通過(guò)迭代地在像素網(wǎng)格上添加“可微噪聲”來(lái)生成圖像，最終成為一個(gè)真實(shí)的圖像。這項(xiàng)工作建議做一個(gè)類似的過(guò)程，但不是在同一時(shí)間應(yīng)用擴(kuò)散步驟迭代解碼所有像素，他們?cè)谝淮巫曰貧w中解碼幾個(gè)像素（見下圖）。此外，與DALL·E這樣的自回歸圖像生成方法相比，這種方法在解碼圖像時(shí)不需要特定的排序。或者在每個(gè)擴(kuò)散步驟中解碼的像素的數(shù)量可以通過(guò)模型進(jìn)行動(dòng)態(tài)調(diào)整，并給定固定的步驟來(lái)解碼整個(gè)圖像！對(duì)于訓(xùn)練，類bert的去噪自編碼器自我監(jiān)督就可以了，給定一幅圖像，掩蓋一部分像素，并預(yù)測(cè)其中一些的值。雖然結(jié)果不是驚天動(dòng)地的，但這是擴(kuò)散模型概念上的一個(gè)簡(jiǎn)單而有效的進(jìn)化，允許它們解碼輸出自回歸，并適用于非從左到右的文本生成。https://openreview.net/forum?id=Lm8T39vLDTE二、Poisoning and Backdooring Contrastive Learning
Nicholas Carlini, Andreas Terzis.大規(guī)模自我監(jiān)督的預(yù)訓(xùn)練與從網(wǎng)絡(luò)上抓取的數(shù)據(jù)是訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)的基本要素之一。本文探討了對(duì)手如何”毒害“像CLIP這樣的模型的一小部分訓(xùn)練數(shù)據(jù) - 使用來(lái)自網(wǎng)絡(luò)的圖像-文本對(duì)的對(duì)比學(xué)習(xí)進(jìn)行訓(xùn)練——從而使該模型將錯(cuò)誤分類測(cè)試圖像。他們嘗試了兩種方法：目標(biāo)修改:通過(guò)添加中毒樣本來(lái)修改訓(xùn)練數(shù)據(jù)集，目的是使最終模型對(duì)帶有錯(cuò)誤特定標(biāo)簽的特定圖像進(jìn)行錯(cuò)誤分類。根據(jù)研究結(jié)果，只要輸入訓(xùn)練數(shù)據(jù)集的0.0001%，例如向300萬(wàn)個(gè)實(shí)例的數(shù)據(jù)集添加3個(gè)圖像對(duì)，就可以實(shí)現(xiàn)這一點(diǎn)。后門攻擊：不是有一個(gè)特定的目標(biāo)圖像，這種方法旨在覆蓋任何圖像上的像素小塊，這樣就會(huì)被錯(cuò)誤分類。這種攻擊可以通過(guò)修改0.01%的訓(xùn)練數(shù)據(jù)集來(lái)持續(xù)實(shí)現(xiàn)，例如修改300萬(wàn)個(gè)實(shí)例數(shù)據(jù)集中的300張圖像。任何人都可以操縱公共互聯(lián)網(wǎng)數(shù)據(jù)，這使這些攻擊可行。這仍然是在開發(fā)和部署模型時(shí)應(yīng)考慮的訓(xùn)練模型時(shí)的新弱點(diǎn)。
https://openreview.net/forum?id=iC4UHbQ01Mp三、Bootstrapped Meta-Learning
Sebastian Flennerhag, Yannick Schroecker, Tom Zahavy, Hado van Hasselt, David Silver, Satinder Singh.提出了一種用于元學(xué)習(xí)的算法，該算法使用梯度從本身或其他更新規(guī)則中引導(dǎo)元學(xué)習(xí)。許多強(qiáng)化學(xué)習(xí)算法對(duì)超參數(shù)的選擇敏感。元學(xué)習(xí)是一種有希望的學(xué)習(xí)范式，用于完善學(xué)習(xí)者的學(xué)習(xí)規(guī)則（包括超參數(shù)），以使學(xué)習(xí)速度更快，更健壯。在元學(xué)習(xí)中，優(yōu)化了內(nèi)部?jī)?yōu)化的“學(xué)習(xí)規(guī)則”，該規(guī)則直接優(yōu)化了學(xué)習(xí)目標(biāo)（例如，通過(guò)梯度下降）。簡(jiǎn)單地說(shuō)，現(xiàn)有的元學(xué)習(xí)算法通常依賴于學(xué)習(xí)者的表現(xiàn)來(lái)評(píng)估學(xué)習(xí)規(guī)則：運(yùn)行學(xué)習(xí)者k步，如果學(xué)習(xí)進(jìn)步了，就多走幾步；如果學(xué)習(xí)變差了，就少走幾步。這個(gè)問題使用元學(xué)習(xí)的學(xué)習(xí)者的目標(biāo)的優(yōu)化變?yōu)椋?1)限制為學(xué)習(xí)目標(biāo)函數(shù)的相同幾何形狀(2)優(yōu)化是近似的，因?yàn)樗粫?huì)優(yōu)化k步驟，而除此之外學(xué)習(xí)的動(dòng)力可能會(huì)復(fù)雜得多。這個(gè)過(guò)程的理論細(xì)節(jié)很復(fù)雜，所以我們簡(jiǎn)單來(lái)說(shuō)：首先要求元學(xué)習(xí)者預(yù)測(cè)學(xué)習(xí)者超出評(píng)估的K-Steps的表現(xiàn)，然后根據(jù)這一預(yù)測(cè)來(lái)優(yōu)化。換句話說(shuō)，元學(xué)習(xí)者生成了自己的目標(biāo)并進(jìn)行優(yōu)化。這使得元學(xué)習(xí)者可以在更長(zhǎng)的時(shí)間范圍內(nèi)進(jìn)行優(yōu)化，而無(wú)需實(shí)際評(píng)估長(zhǎng)的時(shí)間范圍，因?yàn)檫@步計(jì)算是非常耗費(fèi)資源的。作者證明了這種方法的一些不錯(cuò)的理論特性，經(jīng)驗(yàn)結(jié)果在ATARI ALE-Benchmark上獲得了SOTA，并在多任務(wù)學(xué)習(xí)中提高了效率。
https://openreview.net/forum?id=b-ny3x071E5四、Equivariant Subgraph Aggregation Networks
Beatrice Bevilacqua, Fabrizio Frasca, Derek Lim, Balasubramaniam Srinivasan, Chen Cai, Gopinath Balamurugan, Michael M. Bronstein, Haggai Maron.消息傳遞的神經(jīng)網(wǎng)絡(luò)（MPNN）的表現(xiàn)力有限，所以論文提出了一個(gè)基于將圖表表示為多組子圖并使用一種等變結(jié)構(gòu)對(duì)其進(jìn)行處理。如何知道兩個(gè)圖是否相同？你可能認(rèn)為看一眼就足夠了，其實(shí)相同的圖可以用不同的方式表示，重新組織或允許節(jié)點(diǎn)的順序，這樣對(duì)于給定的兩個(gè)圖，很難識(shí)別它們是否相同，因?yàn)檫@些圖都是同構(gòu)的。Weisfeiler-Leman（WL）測(cè)試是一種算法，它基于其直接鄰域?qū)D的節(jié)點(diǎn)進(jìn)行了遞歸分類。如果在所有這些過(guò)程之后，兩個(gè)圖的節(jié)點(diǎn)具有“不同的分類”，則意味著測(cè)試失敗或者說(shuō)這兩個(gè)圖是不同的（非同態(tài)）。如果兩個(gè)圖在WL測(cè)試之后“仍然相同”，則它們可能是同構(gòu)的，但不能保證！有某些圖形結(jié)構(gòu)WL測(cè)試將無(wú)法區(qū)分。https://openreview.net/forum?id=dFbKQaRk15w五、Perceiver IO: A General Architecture for Structured Inputs & Outputs
Andrew Jaegle, Sebastian Borgeaud, Jean-Baptiste Alayrac, Carl Doersch, Catalin Ionescu, David Ding, Skanda Koppula, Daniel Zoran, Andrew Brock, Evan Shelhamer, Olivier Hénaff, Matthew M. Botvinick, Andrew Zisserman, Oriol Vinyals, Joāo Carreira.論文提出了一種叫Perceiver IO通用架構(gòu)，可以處理來(lái)自任意設(shè)置的數(shù)據(jù)，同時(shí)隨輸入和輸出的大小進(jìn)行線性縮放。這個(gè)框架采用感知器3類似的思路，通過(guò)增加一個(gè)靈活的查詢機(jī)制，使模型具有任意大小的輸出，而不是在模型結(jié)束時(shí)要求一個(gè)特定于任務(wù)的架構(gòu)。它支持各種大小和語(yǔ)義的輸出，從而消除了對(duì)特定于任務(wù)的體系結(jié)構(gòu)工程的需要。輸入可以是任意長(zhǎng)的嵌入序列，這些嵌入序列被映射到潛在數(shù)組編碼中。鑒于潛在陣列大小是固定的因此該過(guò)程允許對(duì)很長(zhǎng)的輸入序列進(jìn)行建模，因此當(dāng)輸入變長(zhǎng)時(shí)，并不會(huì)出現(xiàn)復(fù)雜度爆炸。在此“編碼步驟”之后，模型應(yīng)用了由自注意力和前饋層組成的transformer 模塊。最后，解碼步驟接受輸出查詢數(shù)組，并將其與輸入的潛在表示相結(jié)合，以產(chǎn)生所需維數(shù)的輸出數(shù)組。現(xiàn)有許多的學(xué)習(xí)技術(shù)可以應(yīng)用此架構(gòu)。該模型遵循現(xiàn)有的每個(gè)模態(tài)訓(xùn)練方法，在自然語(yǔ)言處理和視覺理解、多任務(wù)和多模態(tài)推理以及光流方面產(chǎn)生強(qiáng)大的結(jié)果。他們甚至把它插入AlphaStar(取代現(xiàn)有的transformer 模塊)，在具有挑戰(zhàn)性的星際爭(zhēng)霸2游戲中也取得強(qiáng)大的結(jié)果！
https://openreview.net/forum?id=fILj7WpI-g六、Exploring the Limits of Large Scale Pre-training
Samira Abnar, Mostafa Dehghani, Behnam Neyshabur, Hanie Sedghi.規(guī)模一直是ML圈內(nèi)討論的一個(gè)持久的話題。我們經(jīng)常強(qiáng)調(diào)論文，因?yàn)檫@無(wú)疑是該領(lǐng)域必須解決的重要問題之一：在哪里添加參數(shù)和數(shù)據(jù)就不再有用了？結(jié)論差不多就是“當(dāng)我們?cè)黾由嫌蔚臏?zhǔn)確性時(shí)，下游任務(wù)的表現(xiàn)就會(huì)飽和”。論文研究了上游任務(wù)(如大規(guī)模ImageNet標(biāo)簽)的訓(xùn)練前表現(xiàn)如何轉(zhuǎn)移到下游(DS)任務(wù)(如鯨魚檢測(cè))。然后對(duì)大量的架構(gòu)和規(guī)模做這個(gè)實(shí)驗(yàn)：“在ViT、MLP-Mixers和ResNets上的4800個(gè)實(shí)驗(yàn)，參數(shù)的數(shù)量從1000萬(wàn)到100億不等，在可用圖像數(shù)據(jù)的最大規(guī)模上進(jìn)行訓(xùn)練”。有趣的圖顯示了上游和下游績(jī)效間的關(guān)聯(lián)。幾乎在所有領(lǐng)域，它最終會(huì)飽和。盡管如此，看到計(jì)算機(jī)視覺不同架構(gòu)之間的差異還是非常有趣的!作者聲稱，他們的觀察結(jié)果總體上對(duì)諸如上游數(shù)據(jù)的大小以及結(jié)構(gòu)選擇等似乎是穩(wěn)健的。他們還探索了超參數(shù)選擇的影響：是否有些超參數(shù)對(duì)于上游非常有利，但卻不能有效地轉(zhuǎn)化為下游任務(wù)？是的！他們?cè)诘?節(jié)深入研究了這一現(xiàn)象，發(fā)現(xiàn)例如，weight decay是一個(gè)特別顯著的超參數(shù)，它對(duì)的表現(xiàn)有不同的影響。
在不從頭開始訓(xùn)練模型而是選擇預(yù)先訓(xùn)練的模型來(lái)引導(dǎo)應(yīng)用程序的情況下，這項(xiàng)研究是關(guān)鍵。這篇文章的內(nèi)容遠(yuǎn)不止幾段話那么簡(jiǎn)單，如果你想深入了解，它絕對(duì)值得一讀！https://openreview.net/forum?id=V3C8p78sDa七、Language modeling via stochastic processes
Rose E Wang, Esin Durmus, Noah Goodman, Tatsunori Hashimoto.論文引入了一個(gè)通過(guò)潛在隨機(jī)過(guò)程隱含規(guī)劃的語(yǔ)言模型。現(xiàn)代大型生成語(yǔ)言模型非常擅長(zhǎng)編寫短文本，但當(dāng)它們生成長(zhǎng)文本時(shí)，全局一致性往往會(huì)喪失，事情不再有意義。本文提出了一種減輕這種情況的方法。該模型被稱為時(shí)間控制，它將句子表示模型為潛在空間中的布朗運(yùn)動(dòng)。在訓(xùn)練中，給定兩個(gè)開始和結(jié)束的錨句，一個(gè)對(duì)比損失是由一個(gè)在錨句內(nèi)的肯定句形成的這個(gè)肯定句落入了錨句在潛在空間中的"布朗橋"表征中，然后把負(fù)樣本推出去。布朗橋：一個(gè)起始和結(jié)束位置固定的布朗(搖擺)軌跡。對(duì)于推理，通過(guò)對(duì)潛在空間中的布朗過(guò)程進(jìn)行抽樣，生成一個(gè)句子級(jí)的計(jì)劃，然后在這個(gè)高級(jí)計(jì)劃的條件下生成標(biāo)記級(jí)的語(yǔ)言。
研究結(jié)果非常有趣，尤其是在語(yǔ)篇連貫準(zhǔn)確性方面，時(shí)間控制發(fā)揮了重要作用。這項(xiàng)工作為lm克服經(jīng)典限制提供了一個(gè)不需要進(jìn)入萬(wàn)億參數(shù)尺度范圍有前途的方向。https://openreview.net/forum?id=pMQwKL1yctf八、Coordination Among Neural Modules Through a Shared Global Workspace
Anirudh Goyal, Aniket Didolkar, Alex Lamb, Kartikeya Badola, Nan Rosemary Ke, Nasim Rahaman, Jonathan Binas, Charles Blundell, Michael Mozer, Yoshua Bengio.受大腦啟發(fā)的模塊化神經(jīng)結(jié)構(gòu)正在興起；盡管它們?cè)诹餍械挠?jì)算機(jī)視覺或自然語(yǔ)言處理基準(zhǔn)上沒有取得類似人類的成功，但它們?cè)诮研?、域外泛化、甚至學(xué)習(xí)因果機(jī)制方面都顯示出了可喜的結(jié)果。Global Workspace Theory(GWT)是一個(gè)被提議的認(rèn)知架構(gòu)，用來(lái)解釋人類有意識(shí)和無(wú)意識(shí)的思維過(guò)程是如何表現(xiàn)的。它的核心假設(shè)之一是存在一個(gè)所有專業(yè)模塊都可以訪問的共享工作空間，從而在其他孤立的模塊之間實(shí)現(xiàn)一致性。本文概念化了一個(gè)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，專家神經(jīng)網(wǎng)絡(luò)處理一組輸入，然后寫入一個(gè)共享的工作空間——一組向量——然后再?gòu)V播給其他專家。這聽起來(lái)可能比實(shí)際情況更神奇。例如有一個(gè)處理輸入序列的Transformer，可以將位置操作概念化為專家操作。共享工作空間強(qiáng)加了一個(gè)條件，即允許在共享全局工作空間中更新多少更新的隱藏狀態(tài)，從而施加一定程度的稀疏性，這已被證明可以提高魯棒性和域外泛化。與通常的這類工作一樣，它們?cè)诓荒敲戳餍械娜蝿?wù)和評(píng)估模式上表現(xiàn)良好，但在域內(nèi)評(píng)估方面不會(huì)超過(guò)單一網(wǎng)絡(luò)，所以它們不會(huì)成為很多頭條新聞。但是這仍然是一項(xiàng)值得關(guān)注的并且非常有趣的工作。
https://openreview.net/forum?id=XzTtHjgPDsT九、Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System
Elahe Arani, Fahad Sarfraz & Bahram Zonooz.由Daniel Kahneman普及的人類思維模式的二分法——快速和緩慢——是人類思維方式的核心。本文從這個(gè)想法中獲得靈感，構(gòu)建一個(gè)利用快速和緩慢學(xué)習(xí)來(lái)提高持續(xù)學(xué)習(xí)的體系結(jié)構(gòu)。持續(xù)學(xué)習(xí)是一種通過(guò)將模型暴露于新數(shù)據(jù)或與動(dòng)態(tài)環(huán)境交互來(lái)逐步擴(kuò)展其知識(shí)的方法。例如，考慮一個(gè)模型，它最初只學(xué)會(huì)對(duì)數(shù)字0到7的圖像進(jìn)行分類，并被教導(dǎo)識(shí)別數(shù)字8和9，而不會(huì)忘記前面的數(shù)字。其目標(biāo)是能夠利用現(xiàn)有知識(shí)更有效地學(xué)習(xí)新事物，就像人類所做的那樣。為本文提出了一種針對(duì)長(zhǎng)、短兩個(gè)時(shí)間尺度的記憶體驗(yàn)回放系統(tǒng)。其中一個(gè)主要的創(chuàng)新是語(yǔ)義記憶的使用：兩個(gè)神經(jīng)網(wǎng)絡(luò)代表可塑性和穩(wěn)定的模型。為了實(shí)現(xiàn)快速和短時(shí)間的學(xué)習(xí)，穩(wěn)定模型由快速模型的指數(shù)移動(dòng)平均組成：這使得兩個(gè)模型具有一致的權(quán)值，但穩(wěn)定模型的演化比可塑性模型更慢更平滑，因?yàn)榭伤苄阅Ｐ蛯?duì)最新數(shù)據(jù)更敏感。這種方法也被用于其他場(chǎng)合，比如BYOL的對(duì)比學(xué)習(xí)中。儲(chǔ)層作為情景記憶，保留數(shù)據(jù)流的樣本，減輕災(zāi)難性遺忘。實(shí)驗(yàn)顯示，在以下3個(gè)任務(wù)上表現(xiàn)出色：
- 類別增量學(xué)習(xí)：在一個(gè)分類設(shè)置中逐步增加新的類別。
- 領(lǐng)域增量學(xué)習(xí)：在不添加新類的情況下引入數(shù)據(jù)的分布轉(zhuǎn)移。
- 通用增量學(xué)習(xí)：將模型暴露給新的類實(shí)例和數(shù)據(jù)的快速分布，比如MNIST分類任務(wù)中的旋轉(zhuǎn)數(shù)字。
https://openreview.net/forum?id=uxxFrDwrE7Y
十、Autonomous Reinforcement Learning: Formalism and Benchmarking
Archit Sharma, Kelvin Xu, Nikhil Sardana, Abhishek Gupta, Karol Hausman, Sergey Levine, Chelsea Finn.大多數(shù)RL基準(zhǔn)測(cè)試是偶發(fā)性的：代理通過(guò)在每次代理失敗時(shí)完全重新啟動(dòng)的環(huán)境中執(zhí)行任務(wù)來(lái)學(xué)習(xí)。人類很少在這種環(huán)境中學(xué)習(xí)：當(dāng)我們重新嘗試做某事時(shí)，環(huán)境不會(huì)重新開始！如果機(jī)器人注定要出現(xiàn)在現(xiàn)實(shí)世界中，為什么我們還要在章節(jié)基準(zhǔn)中評(píng)估大多數(shù)RL算法？這項(xiàng)工作提出了一個(gè)專注于非情景性學(xué)習(xí)的基準(zhǔn)，作者稱之為Autonomous Reinforcement Learning(EARL)，并希望它類似于真實(shí)世界。
從技術(shù)上講，EARL是傳統(tǒng)RL的一個(gè)子集，在這種RL中，環(huán)境隨著代理的交互而不斷演變，而不是在每一集結(jié)束時(shí)重新設(shè)置。但是在實(shí)踐中很少這樣做，因此這項(xiàng)工作通過(guò)為強(qiáng)化學(xué)習(xí)的形式(例如，學(xué)習(xí)代理、環(huán)境、獎(jiǎng)勵(lì)、政策評(píng)估、干預(yù)等概念的定義和數(shù)學(xué)公式)奠定了基礎(chǔ)。https://openreview.net/forum?id=nkaba3ND7B5引用
[1] “The Arcade Learning Environment: An Evaluation Platform for General ?Agents” by Marc G. Bellemare, Yavar Naddaf, Joel Veness, and Michael ?Bowling; 2012.
[2] “Learning Transferable Visual Models From Natural Language Supervision” by Alec Radford et al. 2021.
[3] “Perceiver: General Perception with Iterative Attention” by Andrew Jaegle et al. 2021.
[4] “Zero-Shot Text-to-Image Generation” by Aditya Ramesh et al. 2021.
[5] “Bootstrap your own latent: A new approach to self-supervised Learning” by Jean-Bastien Grill et al. 2020.
[6] “Recurrent Independent Mechanisms” by Anirudh Goyal et al. 2021.
[7] “Hierarchical Perceiver” by Joao Carreira et al. 2022.
作者：Sergi Castella i Sapé
