51无码人妻精品1国产蜜芽,日女人精品视品在线观看,亚洲欧美A片,在线中文字幕第一,三级www,亚洲人xxxx,蜜桃成人AV,免费国产麻豆

新智元報道

來源：CVPR 2021

編輯：LQ

【新智元導(dǎo)讀】在自監(jiān)督學(xué)習(xí)領(lǐng)域，基于contrastive learning（對比學(xué)習(xí)）的思路已經(jīng)在下游分類檢測和任務(wù)中取得了明顯的優(yōu)勢。其中如何充分利用負樣本提高學(xué)習(xí)效率和學(xué)習(xí)效果一直是一個值得探索的方向，本文「第一次」提出了用對抗的思路end-to-end來直接學(xué)習(xí)負樣本，在ImageNet和下游任務(wù)均達到SOTA.

眾所周知，負樣本和正樣本是對比學(xué)習(xí)的關(guān)鍵。進一步而言，負樣本的數(shù)量和質(zhì)量對于對比學(xué)習(xí)又是其中的重中之重。在BYOL[1]提出后，對于是否需要負樣本也引發(fā)了很多討論，本文從對抗的角度去探索負樣本，也揭示了負樣本的本質(zhì)和BYOL在去除負樣本之后仍然能夠達到非常好的效果的原因。

論文鏈接：https://arxiv.org/abs/2011.08435

論文代碼已開源：https://github.com/maple-research-lab/AdCo

AdCo僅僅用8196個負樣本（八分之一的MoCo v2的負樣本量），就能達到與之相同的精度。同時，這些可直接訓(xùn)練的負樣本在和BYOL中Prediction MLP參數(shù)量相同的情況下依然能夠取得相似的效果。這說明了在自監(jiān)督學(xué)習(xí)時代，通過將負樣本可學(xué)習(xí)化，對比學(xué)習(xí)仍然具有學(xué)習(xí)效率高、訓(xùn)練穩(wěn)定和精度高等一系列優(yōu)勢。

1、要不要負樣本？

2、AdCo vs. BYOL

3、新思路：Adversarial Contrast: 對抗對比學(xué)習(xí)

4、實驗結(jié)果

1、要不要負樣本？

去年DeepMind提出的無監(jiān)督模型BYOL[1]的一個突出特點是去掉了負樣本，在討論AdCo前，一個很核心的問題就是在自監(jiān)督時代，我們究竟要不要負樣本？

首先，從比較純粹的實用主義角度來說，MoCo V2[2]這類基于負樣本的對比學(xué)習(xí)方法，自監(jiān)督訓(xùn)練的時間都是比BYOL較少的。這點不難理解，MoCo V2不需要基于Global Batch Normalization (BN)（GPU之間需要通訊），所以從速度來說僅僅需要BYOL約1/3的時間。

另一方面，類似MoCo V2的方法一個比較麻煩的地方是要不斷得維護一個負樣本的隊列。但是，用一組負樣本做對比學(xué)習(xí)，從訓(xùn)練性能的角度來說，從前諸多的實驗來看可能更穩(wěn)定，畢竟多個負樣本的對比可以提供更多的樣本的分布信息，比BYOL只在單個圖像的兩個變換增強樣本得到的特征上做MSE從訓(xùn)練的角度來說可以更穩(wěn)定。同時memory bank維持的負樣本并不需要梯度計算，所以相關(guān)計算量可以忽略不計。

因此，我們認為負樣本在對比學(xué)習(xí)里仍然是一個值得探索的方向。但需要解決如何提高負樣本的質(zhì)量和使用效率的問題。一個比較好的想法是我們能不能不再依賴一個被動的維護一個負樣本隊列去訓(xùn)練對比模型，而是直接通過主動學(xué)習(xí)的方法把負樣本當(dāng)作網(wǎng)絡(luò)參數(shù)的一部分去做end-to-end的訓(xùn)練？

2、 AdCo vs. BYOL

BYOL中除了global BN外，為了用一個分支得到的特征去監(jiān)督另外一個分支輸出的特征，還需要訓(xùn)練一個只存在于query分支的MLP的預(yù)測器（predictor）以達到非對稱的結(jié)構(gòu)防止訓(xùn)練collapse。

雖然BYOL的predictor里的參數(shù)不是負樣本，但某種意義上可以看作是某種包含典型樣本對應(yīng)特征的codebook，這個codebook的組合形成了對另一個分支輸出特征的預(yù)測。為了達到精確預(yù)測的目的，勢必要求這個codebook要比較diverse，能比較好的覆蓋另外一個分支輸出的特征，從而阻止collapse的可能。

從模型參數(shù)的角度來說，這個額外的 Predictor Layer 相當(dāng)于一般對比學(xué)習(xí)里用到的負樣本，只不過前者是直接通過反向傳播訓(xùn)練得到的，而后者在MoCo V2[2]和SimCLR[3]里是通過收集過去或者當(dāng)前的batch中的特征得到的。

那么，一個自然的問題就是，負樣本能夠也能像預(yù)測器一樣通過訓(xùn)練出來嗎？如果可以，就意味著對比學(xué)習(xí)中的負樣本也可以看作是模型的一部分，并且可以通過訓(xùn)練的方法得到，這就給出了一種更加直觀優(yōu)美的方法來構(gòu)造負樣本。

遺憾的是，直接去最小化contrastive loss并不能用來訓(xùn)練負樣本，因為這樣得到的是遠離所有query樣本的負樣本，因此我們在AdCo中采取了對抗學(xué)習(xí)的思路。

3、新思路：用對抗對比學(xué)習(xí)去直接訓(xùn)練負樣本！

依據(jù)此，我們提出了AdCo對抗對比學(xué)習(xí)，通過直接訓(xùn)練負樣本的方式來進一步提高負樣本的質(zhì)量從而促進對比學(xué)習(xí)。

1、相比于memory bank去存儲過往圖片embedding的方式，我們完全可以把負樣本作為可學(xué)習(xí)的權(quán)重來訓(xùn)練，這里的好處是我們的所有負樣本可以在每次迭代中同步更新。質(zhì)量。作為對比，MoCo V2每次只能更新當(dāng)前負樣本隊列里的很小的一部分，這導(dǎo)致了最早進入memory bank的負樣本對于對比學(xué)習(xí)的貢獻相對較小。

2、當(dāng)然，更新負樣本就不能去最小化對應(yīng)的contrastive loss，而要最大化它，使得得到的負樣本更加地困難，而對訓(xùn)練representation network更有價值，這就得到了一個對抗性的對比學(xué)習(xí)，對抗的雙方是負樣本和特征網(wǎng)絡(luò)。

3、通過對update負樣本的梯度進行分析，我們發(fā)現(xiàn)這種方法具有非常明顯的物理意義。負樣本每次更新的方向都是指向當(dāng)前正樣本的一個以某個負樣本所歸屬的正樣本的后驗概率為權(quán)重，對正樣本做加權(quán)平均得到的梯度方向；

具體而言，文章中的公式（6）通過最大化對比損失函數(shù)可以給出直接訓(xùn)練負樣本的梯度：

其中的條件概率是

實驗發(fā)現(xiàn)，在同樣的訓(xùn)練時間、minibatch大小下，AdCo的精度都會更高。這說明了，AdCo比其他的自監(jiān)督方法就有更高的訓(xùn)練效率和精度。這種提升來自對負樣本更有效的更新迭代。

4、實驗結(jié)果

相比于基于memory bank的方法，我們的模型在ImageNet分類任務(wù)上有了顯著的提升。

同時，在下游檢測和分類任務(wù)中，我們相比過往自監(jiān)督方法和全監(jiān)督方法都有顯著的提升：

我們進一步AdCo是否可以通過訓(xùn)練更少的負樣本來得到同樣好的無監(jiān)督預(yù)訓(xùn)練模型。答案是肯定的。

如下面的結(jié)果所展示的，只用原先1/4和1/8的樣本，在ImageNet上的top-1 accuracy幾乎沒有任何損失。這進一步說明了，通過直接用對抗的方式訓(xùn)練負樣本，把負樣本看成是模型可訓(xùn)練參數(shù)的一部分，完全可以得到非常好的訓(xùn)練效果，而且相對于其他的模型，所用的 GPU訓(xùn)練時間也更少。

進一步而言，我們的學(xué)習(xí)效率也顯著優(yōu)于基于memory bank的方法，以下是不同自監(jiān)督訓(xùn)練輪數(shù)下在ImageNet上的對比：

參考資料：

[1] Grill, Jean-Bastien, et al. "Bootstrap your own latent: A new approach to self-supervised learning." arXiv preprint arXiv:2006.07733 (2020).

[2] Chen, Xinlei, et al. "Improved baselines with momentum contrastive learning." arXiv preprint arXiv:2003.04297 (2020).

[3] Chen, Ting, et al. "A simple framework for contrastive learning of visual representations." International conference on machine learning. PMLR, 2020.

推薦你看：

慘烈！特斯拉再次撞上白色卡車，兩名乘客急送ICU

「油管」翻譯太別扭？最符合國人習(xí)慣的詞典，收好了！

CVPR2021「自監(jiān)督學(xué)習(xí)」領(lǐng)域重磅新作，只用負樣本也能學(xué)？

新智元報道

CVPR2021「自監(jiān)督學(xué)習(xí)」領(lǐng)域重磅新作，只用負樣本也能學(xué)？