【GiantPandaCV導(dǎo)語】本文主要介紹label assign問題在檢測(cè)方向的具體應(yīng)用和當(dāng)前發(fā)展情況。

為什么要寫這個(gè)

檢測(cè)方向發(fā)展到現(xiàn)在，很多的學(xué)者是嘗試從不同的角度發(fā)力來提高檢測(cè)的精度和速度，例如新的backbone，不管是基于nas的還是手工設(shè)計(jì)的；例如訓(xùn)練策略的合理選擇，例如YOLOv4的試驗(yàn)部分展示的；當(dāng)然也有一部分人，是將著眼點(diǎn)放在了正負(fù)樣本的不平衡現(xiàn)象優(yōu)化上，并沿著這個(gè)方向有了實(shí)質(zhì)性的工作。

什么是正負(fù)樣本不平衡現(xiàn)象

正負(fù)樣本不平衡現(xiàn)象，用筆者自己的理解就是，檢測(cè)網(wǎng)絡(luò)推理得到特征圖后，定位頭和分類頭需要從特征圖上找到目標(biāo)的位置并判定類別。這個(gè)時(shí)候就需要告訴網(wǎng)絡(luò)它預(yù)測(cè)的結(jié)果bbox中，哪些是對(duì)的，哪些是錯(cuò)的。假設(shè)當(dāng)前輸入圖上只有一個(gè)目標(biāo)，而檢測(cè)算法生成了1000個(gè)預(yù)測(cè)結(jié)果，對(duì)剛開始訓(xùn)練的網(wǎng)絡(luò)，很難使得其預(yù)測(cè)的1000個(gè)目標(biāo)框都在目標(biāo)上，那么這1000個(gè)可能隨機(jī)分布的預(yù)測(cè)結(jié)果中將大部分都是負(fù)樣本，網(wǎng)絡(luò)就只能獲取很少量的待檢測(cè)目標(biāo)特征的分布情況，這樣就造成了正負(fù)樣本的不平衡，導(dǎo)致的結(jié)果就是訓(xùn)練模型的精度不夠高。

正負(fù)樣本不平衡問題和label assign的關(guān)系

label assign就是劃分正負(fù)樣本的步驟。例如，在anchor based類算法內(nèi)，對(duì)當(dāng)前模型的預(yù)測(cè)結(jié)果劃分正負(fù)樣本主要是通過判斷預(yù)測(cè)的bbox和Ground Truth的IOU值，當(dāng)該值大于正樣本閾值時(shí)為正樣本，在正樣本閾值和負(fù)樣本閾值區(qū)間內(nèi)的為負(fù)樣本，其余不考慮。而對(duì)anchor free類檢測(cè)算法，例如FCOS，是當(dāng)前像素位置落在Ground Truth內(nèi)，則認(rèn)為當(dāng)前像素位置定位的bbox為正樣本，再剔除掉一些明顯尺寸預(yù)測(cè)不合規(guī)的bbox，其余的為負(fù)樣本。

label assign在檢測(cè)方向的當(dāng)前發(fā)展

anchor free類檢測(cè)算法，相對(duì)anchor based類算法在label assign上更優(yōu)的表現(xiàn)，有學(xué)者研究認(rèn)為是因?yàn)槠鋽U(kuò)充了正樣本數(shù)量，從而改善了正負(fù)樣本的不平衡問題。那么是不是說通過改善anchor based類檢測(cè)算法的label assign 方式，就可以提高其檢測(cè)精度達(dá)到和anchor free一致的程度呢？《Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection》的作者就研究了這一問題并提出了ATSS來進(jìn)行正負(fù)樣本的重篩選，作者在retinanet上的試驗(yàn)也證明了該思路的正確性。但是ATSS結(jié)構(gòu)中依然有超參數(shù)的存在，《From VanillaDet to AutoAssign》的作者就嘗試將該assign過程自動(dòng)化，其試驗(yàn)對(duì)比也證明該方案相較于之前的label assign方案有更優(yōu)的檢測(cè)精度。

個(gè)人思考

首先我們看autoAssign論文中的一張圖：

如圖為autoassign的網(wǎng)絡(luò)流程圖中的創(chuàng)新部分，我們可以看到作者所設(shè)計(jì)的網(wǎng)絡(luò)通過其結(jié)構(gòu)可以讓網(wǎng)絡(luò)學(xué)習(xí)到目標(biāo)框中物體的分布函數(shù)，看到這個(gè)步驟，再結(jié)合作者的說法，我們不難聯(lián)想到centernet網(wǎng)絡(luò)所采用的高斯核函數(shù)，在centernet中，作者采用高斯核函數(shù)就是假設(shè)輸入的待檢測(cè)樣本均為一個(gè)類似圓的分布情況，越靠近其中心點(diǎn)的像素位置的預(yù)測(cè)結(jié)果越可能為正樣本，但是我們知道在實(shí)際檢測(cè)中，類似雨傘、甜甜圈等都不能簡(jiǎn)單的用高斯分布來描述，autoassign中就是通過自動(dòng)化的學(xué)習(xí)來得到對(duì)目標(biāo)的合理描述，而這種分布的描述是直接影響到正負(fù)樣本劃分的。我們?cè)俾?lián)想FCOS的centerness分支，F(xiàn)COS作者說在實(shí)際訓(xùn)練時(shí)候，網(wǎng)絡(luò)會(huì)預(yù)測(cè)很多離目標(biāo)中心較遠(yuǎn)的目標(biāo)框，而這些目標(biāo)框如果采用和靠近目標(biāo)中心的框同樣的權(quán)重明顯是不合適的。所以通過centerness分支來計(jì)算當(dāng)前圖像上每個(gè)位置可能是目標(biāo)中心點(diǎn)的概率值來調(diào)整權(quán)重，其本質(zhì)也是在學(xué)習(xí)目標(biāo)的分布情況。如此我們就將FCOS和centernet中的label assign和auto assign串起來了。

最后附上作者知乎的帖子(https://zhuanlan.zhihu.com/p/158907507）

歡迎關(guān)注GiantPandaCV, 在這里你將看到獨(dú)家的深度學(xué)習(xí)分享，堅(jiān)持原創(chuàng)，每天分享我們學(xué)習(xí)到的新鮮知識(shí)。( ? ?ω?? )?

有對(duì)文章相關(guān)的問題，或者想要加入交流群，歡迎添加BBuf微信：

為了方便讀者獲取資料以及我們公眾號(hào)的作者發(fā)布一些Github工程的更新，我們成立了一個(gè)QQ群，二維碼如下，感興趣可以加入。