Rethinking Pre-training and Self-training 論文解讀（視頻）

論文地址：https://arxiv.org/pdf/2006.06882.pdf

簡(jiǎn)單介紹自訓(xùn)練（Self-Training）方法：

對(duì)于下游任務(wù)比如 CoCo 物體檢測(cè)或 Pascal 語(yǔ)義分割等，首先用有標(biāo)注數(shù)據(jù)隨機(jī)初始化訓(xùn)練模型，接著用訓(xùn)好的模型在比如 ImageNet 數(shù)據(jù)集上生成偽標(biāo)簽（物體檢測(cè)任務(wù)就是生成偽包圍框和物體類別，分割就是生成偽的 mask ），再把這些偽標(biāo)注的數(shù)據(jù)結(jié)合人工標(biāo)注數(shù)據(jù)去再去重新訓(xùn)一個(gè)新隨機(jī)初始化的 student 模型，這樣反復(fù)迭代。

論文中通過(guò)實(shí)驗(yàn)得出的結(jié)論是：

對(duì)于下游任務(wù)（CoCo 物體檢測(cè)或 Pascal語(yǔ)義分割等）采用自訓(xùn)練方法得到的模型，比在 ImageNet 上做有監(jiān)督預(yù)訓(xùn)練或者自監(jiān)督預(yù)訓(xùn)練得到模型做初始化再finetune 的效果要好。

不過(guò)對(duì)于下游任務(wù)來(lái)說(shuō)，采用預(yù)訓(xùn)練初始化再 finetune 的方式還是有優(yōu)點(diǎn)的，能比自訓(xùn)練迭代式的隨機(jī)初始化再?gòu)念^開始訓(xùn)練的方式要快1.3 ~ 8倍，所以要看的是模型性能和訓(xùn)練時(shí)間之間的權(quán)衡。

視頻轉(zhuǎn)載自：https://www.youtube.com/watch?v=QSjMLGA7e2o

已同步上傳B站：https://www.bilibili.com/video/BV1ot4y1S7fS/

我自己以前也嘗試過(guò)類似的思路，就是在做分割模型輕量化的時(shí)候，當(dāng)把模型通過(guò)裁剪通道變輕量級(jí)之后，模型的性能也隨之下降。

而有標(biāo)注的數(shù)據(jù)有限且分割數(shù)據(jù)的標(biāo)注又很耗時(shí)，所以還有大量的數(shù)據(jù)沒有標(biāo)注（幾十萬(wàn)左右）。

然后我就在想能不能用上這些無(wú)標(biāo)注的數(shù)據(jù)，因?yàn)椴眉糁暗拇竽Ｐ驮谕瑯拥臉?biāo)注數(shù)據(jù)集上訓(xùn)出來(lái)的效果要比輕量化之后的模型要好。

所以我就用大模型在這幾十萬(wàn)無(wú)標(biāo)注數(shù)據(jù)上生成偽標(biāo)注的mask，與原來(lái)的人工標(biāo)注數(shù)據(jù)合在一起訓(xùn)練輕量化的模型，實(shí)際在驗(yàn)證集上測(cè)試是能提升那么一點(diǎn)iou。

對(duì)文章有相關(guān)的問(wèn)題或者想要加入交流群，歡迎添加本人微信：