多個(gè)任務(wù)超越moco v3！OPERA：監(jiān)督學(xué)習(xí)和自監(jiān)督統(tǒng)一的框架！
大家好，今天和大家分享一篇基于何愷明團(tuán)隊(duì)提出moco優(yōu)化的算法。提出了一個(gè)監(jiān)督學(xué)習(xí)和自監(jiān)督統(tǒng)一的框架，表征能力更強(qiáng)，在多個(gè)下游任務(wù)上性能超越了 moco v3。
論文：https://arxiv.org/pdf/2210.05557.pdf
代碼：https://github.com/wangck20/OPERA
創(chuàng)新點(diǎn)：
基于深度學(xué)習(xí)中度量學(xué)習(xí)的監(jiān)督（fully supervised，F(xiàn)SL）和自監(jiān)督（self-supervised learning，SSL）學(xué)習(xí)的統(tǒng)一框架
端到端可訓(xùn)練，在CNN和ViT上的各種任務(wù)性能都有所提高
在DeiT-B上，對(duì)比學(xué)習(xí)框架的性能與MIM方法（如MAE）相當(dāng)
論文：OPERA: Omni-Supervised Representation Learning with Hierarchical Supervisions
摘要
現(xiàn)代計(jì)算機(jī)視覺中的預(yù)訓(xùn)練-微調(diào)范式促進(jìn)了自監(jiān)督學(xué)習(xí)的成功，這往往比監(jiān)督學(xué)習(xí)獲得更好的可遷移性。然而，隨著大量標(biāo)記數(shù)據(jù)的可用性，一個(gè)自然的問題出現(xiàn)了：如何訓(xùn)練一個(gè)更好的模型，同時(shí)包含自監(jiān)督和監(jiān)督信號(hào)？在本文中，我們提出了具有層次監(jiān)督 (OPERA) 的 Omni-suPERvised Representation 學(xué)習(xí)作為解決方案。我們從標(biāo)記和未標(biāo)記的數(shù)據(jù)中提供了統(tǒng)一的監(jiān)督視角，并提出了一個(gè)監(jiān)督和自監(jiān)督學(xué)習(xí)的統(tǒng)一框架。我們?yōu)槊總€(gè)圖像提取一組分層代理表示，并對(duì)相應(yīng)的代理表示進(jìn)行自我和完全監(jiān)督。卷積神經(jīng)網(wǎng)絡(luò)和視覺轉(zhuǎn)換器的大量實(shí)驗(yàn)證明了 OPERA 在圖像分類、分割和對(duì)象檢測(cè)方面的優(yōu)越性。
方案
本文首先提出了相似學(xué)習(xí)框架下自監(jiān)督學(xué)習(xí)（SSL）和全監(jiān)督學(xué)習(xí)（FSL）的統(tǒng)一觀點(diǎn)。然后，建議 OPERA 對(duì)相應(yīng)的層次表示施加層次監(jiān)督，以獲得更好的可轉(zhuǎn)移性。最后，詳細(xì)說明了提議的 OPERA 框架的實(shí)例化。
1、 相似性學(xué)習(xí)的統(tǒng)一框架
通常，F(xiàn)SL和SSL在監(jiān)督形式和優(yōu)化目標(biāo)上都有所不同。為了統(tǒng)一兩者，這里提供了一個(gè)統(tǒng)一的相似性學(xué)習(xí)框架，包括兩個(gè)訓(xùn)練目標(biāo)：
2、 分層表示的分層監(jiān)督
上面的推導(dǎo)表明這兩個(gè)訓(xùn)練信號(hào)是矛盾的，可能會(huì)相互抵消。 如果我們對(duì)監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)采用類似的損失函數(shù)，這是存在問題的。
現(xiàn)有方法（Nayman 等人，2022；Wei 等人，2022；Wang 等人，2022c）通過隨后施加兩個(gè)訓(xùn)練信號(hào)來解決這個(gè)問題。他們傾向于首先獲得一個(gè)自監(jiān)督的預(yù)訓(xùn)練模型，然后使用監(jiān)督學(xué)習(xí)對(duì)其進(jìn)行調(diào)整。不同的是，我們提出了一種更有效的方法自適應(yīng)地平衡這兩個(gè)權(quán)重，以便我們可以同時(shí)使用它們：
其中，α和β是可依賴于y和p以獲得更大靈活性的調(diào)制因子。
3、 全方位監(jiān)督表示學(xué)習(xí)
為了有效地結(jié)合自監(jiān)督和監(jiān)督學(xué)習(xí)來學(xué)習(xí)表示法，OPERA進(jìn)一步分層提取一組代理表示法來接收相應(yīng)的訓(xùn)練信號(hào)。
實(shí)驗(yàn)結(jié)果對(duì)比
今天的分享就到這里，大家喜歡的話，可以多多支持，感謝！