圖靈獎(jiǎng)得主Bengio又出新論文，用強(qiáng)化學(xué)習(xí)提升模型泛化性，Reddit崩潰：idea撞車了！

---

  新智元報(bào)道  

來源：reddit

編輯：LRS

【新智元導(dǎo)讀】Bengio又發(fā)論文啦，這次瞄準(zhǔn)機(jī)器學(xué)習(xí)的泛化性，用強(qiáng)化學(xué)習(xí)的方法平衡訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)之間的分布差異！Reddit小哥哭訴idea撞車？

機(jī)器學(xué)習(xí)的一個(gè)重要研究就是提升模型的泛化性，并且在訓(xùn)練模型的時(shí)候一個(gè)假設(shè)，即訓(xùn)練集數(shù)據(jù)的分布和測試集相同。

然而，模型面對的輸入數(shù)據(jù)來自于真實(shí)世界，也就是不穩(wěn)定的、會(huì)進(jìn)化的、數(shù)據(jù)分布會(huì)隨環(huán)境發(fā)生變化。

雖然對人類來說，這個(gè)問題十分好解決，例如網(wǎng)絡(luò)用語層出不窮，但每個(gè)人都能很快地接受，并熟練地運(yùn)用起來，但對機(jī)器來說卻很難。

人類可以通過重用相關(guān)的先前知識來迅速適應(yīng)和學(xué)習(xí)新知識，如果把這個(gè)思路用在機(jī)器學(xué)習(xí)模型上，首先需要弄清楚如何將知識分離成易于重新組合的模塊，以及如何修改或組合這些模塊，以實(shí)現(xiàn)對新任務(wù)或數(shù)據(jù)分布的建模。

基于這個(gè)問題，圖靈獎(jiǎng)得主Yoshua Bengio最近在arxiv上公開了一篇論文，提出了一個(gè)模塊化的架構(gòu)，由一組獨(dú)立的模塊組成，這些模塊相互對抗，利用key-value注意力機(jī)制找到相關(guān)的知識。研究人員在模塊和注意力機(jī)制參數(shù)上采用元學(xué)習(xí)方法，以強(qiáng)化學(xué)習(xí)的方式實(shí)現(xiàn)快速適應(yīng)分布的變化或新任務(wù)。

這個(gè)團(tuán)隊(duì)研究這樣的模塊化架構(gòu)是否可以幫助將知識分解成不可更改和可重用的部分，以便得到的模型不僅更具樣本效率，而且還可以在各種任務(wù)分布之間進(jìn)行泛化。

該模型基于一個(gè)包含一組獨(dú)立模塊和競爭模塊的循環(huán)獨(dú)立機(jī)制(RIMs)體系結(jié)構(gòu)。在這種設(shè)置中，每個(gè)模塊通過注意力獨(dú)立行動(dòng)，并與其他模塊交互。不同的模塊通過輸入注意力處理輸入的不同部分，而模塊之間的上下文關(guān)系通過交流注意力建立。

研究人員還展示了如何利用元學(xué)習(xí)在不同的時(shí)間尺度上以不同的速度訓(xùn)練網(wǎng)絡(luò)的不同組成部分，從而捕捉到底層分布的快速變化和緩慢變化的方面。

因此，該模型既有快速學(xué)習(xí)階段，也有慢速學(xué)習(xí)階段。

在快速fast學(xué)習(xí)中，快速更新激活的模塊參數(shù)以捕獲任務(wù)分布中的變化。

在緩慢slow學(xué)習(xí)中，這兩套注意力機(jī)制的參數(shù)更新頻率較低，以捕捉任務(wù)分布中更穩(wěn)定的方面。

該團(tuán)隊(duì)評估了他們提出的 Meta-RIMs 網(wǎng)絡(luò)在從 MiniGrid 和 BabyAI 套件的各種環(huán)境。他們選擇平均回報(bào)率和平均成功率作為衡量標(biāo)準(zhǔn)，并用兩個(gè)基準(zhǔn)模型對 Meta-RIMs 網(wǎng)絡(luò)進(jìn)行比較: Vanilla LSTM 模型和模塊化網(wǎng)絡(luò)(modular network)。

結(jié)果表明，所提出的方法能夠提高樣本效率，導(dǎo)致更好地推廣到訓(xùn)練分布的系統(tǒng)性變化的策略。

此外，這種方法能夠更快地適應(yīng)新的發(fā)行版本，并且通過重復(fù)利用從類似的以前學(xué)過的任務(wù)中獲得的知識，以漸進(jìn)的方式訓(xùn)練強(qiáng)化學(xué)習(xí)的學(xué)習(xí)體，形成更好的知識學(xué)習(xí)方法。

該研究成功地利用模塊化結(jié)構(gòu)上的元學(xué)習(xí)和稀疏通信來捕捉潛在機(jī)制的短期和長期方面，證實(shí)了元學(xué)習(xí)和基于注意力的模塊化可以導(dǎo)致更好的樣本效率、分布外的泛化和遷移學(xué)習(xí)。

Reddit網(wǎng)友idea撞車？

論文一出，Reddit上立馬引發(fā)熱議。

一個(gè)小哥發(fā)評論說感覺相當(dāng)難受了，我做這個(gè)4年了，今年就要發(fā)表，但還是被領(lǐng)先了。后來又補(bǔ)充說并不是一模一樣的工作，但是非常接近。

這也引來了無數(shù)安慰，相似的結(jié)論可能來源于不同的方法，每個(gè)方法都是有價(jià)值的。

還有網(wǎng)友認(rèn)為，你的實(shí)力已經(jīng)可以和Bengio及他的團(tuán)隊(duì)匹敵了，這是一件好事！并且有其他人和你面對同一件事有不同的想法，也許也能給你啟發(fā)，促進(jìn)工作。

知乎上也有網(wǎng)友對此提出問題。

有網(wǎng)友表示，兩篇論文全撞車，CV太卷了，當(dāng)做的論文和大佬撞車時(shí)候，完全沒有反抗的余地，因?yàn)閯e人的工作是無懈可擊的。有機(jī)會(huì)一定要挖坑，不去填坑。

目前深度學(xué)習(xí)的一些工作已經(jīng)到了拼手速的地步，當(dāng)BERT一出，各種基于BERT的工作層出不窮，只是一個(gè)驗(yàn)證的工作，而不能對同行有一定的啟發(fā)。

畢竟牛頓和萊布尼茨還在爭奪微積分，普通人撞車也是很正常的。

你有論文撞車過嗎？

參考資料：

https://www.reddit.com/r/MachineLearning/comments/nkse4b/r_yoshua_bengio_teams_recurrent_independent/

https://arxiv.org/abs/2105.08710