目標(biāo)檢測器通常在完全標(biāo)注實例的監(jiān)督學(xué)習(xí)情況下獲得很好的結(jié)果。但是，當(dāng)目標(biāo)數(shù)據(jù)集包含大量圖像和類別時，標(biāo)注所有現(xiàn)有目標(biāo)實例（尤其是在擁擠的風(fēng)景中）非常困難，甚至不可能。為了解決這個問題因此稀疏標(biāo)注的任務(wù)就被提出，當(dāng)前目標(biāo)檢測在稀疏標(biāo)注的性能遠(yuǎn)遠(yuǎn)不能令人滿意。今天我們介紹一種簡單而有效緩解目標(biāo)檢測中稀疏標(biāo)注問題的訓(xùn)練方法：協(xié)同挖掘（Co-mining），利用連體網(wǎng)絡(luò)的兩個分支互相預(yù)測偽標(biāo)簽集。協(xié)同挖掘可以作為一種通用的訓(xùn)練機制，應(yīng)用于大多數(shù)現(xiàn)代目標(biāo)檢測器。當(dāng)前該論文已被AAAI 2021收錄。
論文：Co-mining: Self-Supervised Learning for Sparsely Annotated Object Detection鏈接：https://arxiv.org/abs/2012.01950
01
稀疏標(biāo)注的目標(biāo)檢測
1.1 稀疏標(biāo)注
稀疏標(biāo)注的目標(biāo)檢測（SAOD）：在每個訓(xùn)練圖像中只標(biāo)注了部分目標(biāo)實例，存在一部分目標(biāo)未被標(biāo)注，如下圖所示，紅色框是標(biāo)注的目標(biāo)，藍(lán)色框是未標(biāo)注的目標(biāo)。
1.2 稀疏標(biāo)注的挑戰(zhàn)
SAOD的主要挑戰(zhàn)之一是未標(biāo)記的目標(biāo)將干擾探測器的訓(xùn)練。在訓(xùn)練過程中，未標(biāo)記的目標(biāo)提供了不正確的監(jiān)督信號，那些未標(biāo)記的實例及其周圍的建議被錯誤地認(rèn)為是背景的。結(jié)果，在梯度反向傳播中更新的權(quán)重將被誤導(dǎo)。受半監(jiān)督對象檢測實踐的啟發(fā)，SAOD的一個簡單解決方案（Niitani等人，2019年）是先用稀疏標(biāo)注數(shù)據(jù)訓(xùn)練檢測器，然后訓(xùn)練的檢測器生成偽標(biāo)簽以重新訓(xùn)練新的檢測器，但是，由于第一個學(xué)習(xí)的模型被未標(biāo)記的目標(biāo)干擾了，所以用于第二個檢測器學(xué)習(xí)的生成的偽標(biāo)記置信度較低。因此提高SAOD準(zhǔn)確度的關(guān)鍵因素是如何在訓(xùn)練過程中處理未標(biāo)記的目標(biāo)。
02
協(xié)同挖掘
作者為了挖掘未標(biāo)記的實例并將其轉(zhuǎn)換為積極的監(jiān)督信號，以幫助改善稀疏標(biāo)注的目標(biāo)檢測，提出了一種具有連體網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)的“連體”是通過共享權(quán)值來實現(xiàn)的，如下圖所示）的協(xié)同挖掘機制。
2.1 協(xié)同挖掘機制
作者提出在訓(xùn)練階段構(gòu)建一個連體檢測網(wǎng)絡(luò)。連體檢測網(wǎng)絡(luò)具有兩個分支，可以使用的 co-generation模塊來生成兩個不同的偽標(biāo)簽集。從一個分支生成的偽標(biāo)簽集將與稀疏注釋的標(biāo)簽集合并，從而得到更完整的標(biāo)簽集。完整的標(biāo)簽集將用作另一個分支的監(jiān)督信號。為了增強多視圖學(xué)習(xí)和更好地挖掘未標(biāo)記實例，將原始圖像和相應(yīng)的增強圖像分別作為連體網(wǎng)絡(luò)的兩個分支的輸入。
協(xié)同挖掘機制的結(jié)構(gòu)如下圖所示，給定的訓(xùn)練圖像x，Y表示稀疏標(biāo)注實例的部分，而U表示未標(biāo)記實例的部分。采用連體網(wǎng)絡(luò)進(jìn)行特征提取和檢測預(yù)測。連體網(wǎng)絡(luò)的每個分支都包含主干B和預(yù)測頭H。輸入x經(jīng)過連體網(wǎng)絡(luò)頂部分支生成預(yù)測Po，同時通過圖像增強（例如Gaussian blur and color-jitter）的xa經(jīng)過連體網(wǎng)絡(luò)底部分支生成預(yù)測Pa，這里每個分支的預(yù)測包含分類和回歸的輸出。預(yù)測Po和Pa經(jīng)過co-generation模塊來生成兩個不同的偽標(biāo)簽集Pag和Pog，這里生成偽標(biāo)簽的co-generation模塊分為一下幾個步驟：1.過濾置信度較低的邊界框 2.通過nms來刪除冗余框 3.去除有標(biāo)注的邊界框，然后將偽標(biāo)簽Pog與真實的標(biāo)簽Y聚合，以生成更完整的集合Ca，然后使用Ca來指導(dǎo)底部分支的預(yù)測head Ha 和 主干 B 的訓(xùn)練。同樣，使用更完整的組合Pag和Y來指導(dǎo)頂部分支中H和B的訓(xùn)練。
03
實驗結(jié)果
3.1 Copy-Pasted Strategies
下圖是在不同迭代訓(xùn)練中有連體網(wǎng)絡(luò)的兩個分支生成偽標(biāo)簽（邊界框）的可視化，從圖中可以看出在第60k次迭代中，原始分支（圖中的頂部分支）生成未標(biāo)記瓶的偽標(biāo)簽，而增強分支（圖中的底部分支）生成未標(biāo)記的網(wǎng)球拍的偽標(biāo)簽。在開采實例的監(jiān)督下，連體網(wǎng)絡(luò)的兩個分支都在第90k次迭代中檢測到未標(biāo)記的實例。
3.2 Comparison
下表展示了協(xié)同挖掘（Co-mining）與其他稀疏標(biāo)注方法在COCO2017驗證集上的表現(xiàn)，采用了相同的目標(biāo)檢測框架RetinaNet，從表中看出協(xié)同挖掘（Co-mining）超過其他的稀疏標(biāo)注的方法。
04
結(jié)論
如何在稀疏標(biāo)注的數(shù)據(jù)集上實現(xiàn)準(zhǔn)確的目標(biāo)檢測是一個極具挑戰(zhàn)性的難題?，F(xiàn)有的物體檢測網(wǎng)絡(luò)在稀疏標(biāo)簽的情況下的性能不能令人滿意。協(xié)同挖掘（Co-mining）通過連體網(wǎng)絡(luò)的設(shè)計實現(xiàn)了挖掘未標(biāo)記的實例并將其轉(zhuǎn)換為積極的監(jiān)督信號，以幫助改善稀疏標(biāo)注的目標(biāo)檢測。
?------------------------------------------------
看到這里了，說明您也喜歡這篇文章，您可以點擊「分享」與朋友們交流，點擊「在看」使我們的新文章及時出現(xiàn)在您的訂閱列表中，或順手「點贊」給我們一個支持，讓我們做的更好哦。
歡迎微信搜索并關(guān)注「目標(biāo)檢測與深度學(xué)習(xí)」，不被垃圾信息干擾，只分享有價值知識！
