20201最優(yōu)檢測精度 | 新候選方法大大提升目標(biāo)檢測精度

一、簡要

為了解決上述問題，研究者提出了一種proposal learning方法，以從標(biāo)記和未知的數(shù)據(jù)中學(xué)習(xí)候選特征和預(yù)測信息。該方法由一個自監(jiān)督的專業(yè)學(xué)習(xí)模塊和一個基于一致性的候選學(xué)習(xí)模塊組成。在自監(jiān)督的候選學(xué)習(xí)模塊中，分別提出了一個候選位置損失和一個contrastive loss來學(xué)習(xí)上下文感知和噪聲魯棒的候選特征。

在基于一致性的候選學(xué)習(xí)模塊中，將一致性損失應(yīng)用于候選的邊界框分類和回歸預(yù)測，以學(xué)習(xí)噪聲魯棒的候選特征和預(yù)測信息。新方法具有以下好處：

1)爭取在候選學(xué)習(xí)過程中提供更多的上下文信息；

2)有噪聲的候選特征加強(qiáng)一致性，允許噪聲魯棒的目標(biāo)保護(hù)；

3)構(gòu)建一個通用的高性能半監(jiān)督目標(biāo)檢測框架，該框架可以適應(yīng)基于不同主干架構(gòu)的基于候選的目標(biāo)檢測器。

實驗在COCO數(shù)據(jù)集上進(jìn)行，包括所有可用的標(biāo)記和未標(biāo)記數(shù)據(jù)。結(jié)果表明，新提出的方法始終提高了全監(jiān)督基線的性能。特別是，在與數(shù)據(jù)蒸餾相結(jié)合后，新方法分別與全監(jiān)督基線和數(shù)據(jù)蒸餾基線相比，平均提高了約2.0%和0.9%。

二、背景及動機(jī)

研究者主要著重于基于候選的目標(biāo)檢測器的SSOD（Semi-Supervised Object Detection，Two-stages目標(biāo)探測器，由于其有高性能）。Proposal-based的目標(biāo)檢測器通過如下獲取目標(biāo)檢測：1)首先生成可能包含對象的候選區(qū)域，2)然后生成候選特征和預(yù)測（即邊界框分類和回歸預(yù)測）來檢測目標(biāo)。特別地，研究者的目標(biāo)是通過從標(biāo)記和未標(biāo)記數(shù)據(jù)中學(xué)習(xí)候選特征和偏好來改進(jìn)第二階段。對于標(biāo)記數(shù)據(jù)，使用GT標(biāo)簽可以直接獲得訓(xùn)練監(jiān)督；但對于未標(biāo)記的數(shù)據(jù)，由于GT標(biāo)簽的不可用性，不能直接學(xué)習(xí)候選特征和預(yù)測。為了解決這個問題，除了標(biāo)準(zhǔn)的標(biāo)記數(shù)據(jù)的全監(jiān)督學(xué)習(xí)，如下圖所示(a)所示。

研究者就提出了一種名為候選學(xué)習(xí)的方法，它支持自監(jiān)督候選學(xué)習(xí)模塊和基于一致性的候選學(xué)習(xí)模塊，從標(biāo)記和非數(shù)據(jù)中學(xué)習(xí)候選特征和預(yù)測，見下圖。

三、新框架詳細(xì)介紹

對于每個標(biāo)簽數(shù)據(jù)(I,g)∈DI，根據(jù)標(biāo)準(zhǔn)的全監(jiān)督學(xué)習(xí)直接去訓(xùn)練目標(biāo)檢測器，損失如下定義：

其中，第一個和第二個表示RPN和R-CNN損失。更多細(xì)節(jié)損失函數(shù)可以查閱[Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE transactions on pattern analysis and machine intelligence, 39(6):1137–1149]文章。

研究者應(yīng)用了所定義的標(biāo)準(zhǔn)的全監(jiān)督損失，自監(jiān)督的候選學(xué)習(xí)損失L以及基于一致性的候選學(xué)習(xí)損失到未標(biāo)記的數(shù)據(jù)。目標(biāo)檢測器在這些數(shù)據(jù)上訓(xùn)練，及反向傳播在如下公式中優(yōu)化：

所以，整體的損失公式如下：

Self-Supervised Proposal Learning

之前的的工作表明，目標(biāo)檢測器可以從上下文中獲益。研究者提出的的自監(jiān)督候選學(xué)習(xí)模塊分別使用候選位置損失和對比損失來學(xué)習(xí)上下文感知和噪聲魯棒的候選特征。為了計算候選位置損失，受[Carl Doersch, Abhinav Gupta, and Alexei A Efros. Unsupervised visual representation learning by context prediction. In Proceedings of the IEEE international conference on computer vision, pages 1422–1430]方法的啟發(fā)以候選位置預(yù)測為借口。更具體地說，通過全連接層中的兩個參數(shù)，計算位置預(yù)測L，其中兩個全連接層的輸出數(shù)分別為1024和4。然后使用?2距離計算候選位置損失，參見如下公式，其中P?n=(xn/W、yn/H、wn/W、hn/H)是Pn的標(biāo)準(zhǔn)化版本，W，H分別表示圖像的寬和高。

為了計算對比損失，以實例判別作為 pretext task,，遵循[Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross Girshick. Momentum contrast for unsupervised visual representation learning. arXiv preprint arXiv:1911.05722]。更具體地說，首先使用帶有參數(shù)的全連接層和?2歸一化層來投影F到嵌入式候選特征F(減少對F的依賴性)，其中全連接層的輸出數(shù)為128。然后將對比損失寫為如下等式，其中τ是一個溫度超參數(shù)。

整體損失如下：

Consistency-Based Proposal Learning

為了進(jìn)一步訓(xùn)練噪聲魯棒目標(biāo)檢測器，研究者應(yīng)用一致性損失來確保噪聲候選預(yù)測與原始候選預(yù)測之間的一致性。更準(zhǔn)確地說，將一致性損失應(yīng)用于邊界框分類和回歸預(yù)測。對于邊界框分類預(yù)測的一致性損失，研究者使用KL散度作為損失來強(qiáng)制執(zhí)行來自有噪聲候選的類預(yù)測，并使其原始候選是一致的。

與只包含分類結(jié)果的圖像分類不同，目標(biāo)檢測可以預(yù)測目標(biāo)的位置。為了進(jìn)一步保證候選預(yù)測的一致性，計算了如下等式中的一致性損失，強(qiáng)制執(zhí)行對象位置預(yù)測從有噪聲的候選和他們的原始候選是一致的。這里使用標(biāo)準(zhǔn)的邊界框回歸損失，即平滑的?1損失。只選擇了最簡單的噪聲候選特征來計算這個損失的訓(xùn)練穩(wěn)定性。

然后，可以了解到更有噪聲-魯棒的候選特征和預(yù)測：

四、新框架實驗

五、簡單總結(jié)

在本研究中，研究者著重于基于候選的目標(biāo)探測器的半監(jiān)督目標(biāo)檢測。為此，提出了一種候選學(xué)習(xí)方法，它由自監(jiān)督候選學(xué)習(xí)模塊和基于一致性的候選學(xué)習(xí)模塊組成，從標(biāo)記和未標(biāo)記數(shù)據(jù)中學(xué)習(xí)候選特征和預(yù)測。自監(jiān)督候選學(xué)習(xí)模塊分別通過候選位置損失和對比損失來學(xué)習(xí)上下文感知和噪聲噪聲候選特征。基于一致性的候選學(xué)習(xí)模塊通過對邊界框分類和回歸預(yù)測的一致性損失來學(xué)習(xí)噪聲魯棒的候選特征和回歸預(yù)測。實驗結(jié)果表明，新提出方法始終優(yōu)于全監(jiān)督的基線。

同樣值得一提的是，可以通過結(jié)合新方法和數(shù)據(jù)蒸餾來進(jìn)一步提高檢測性能。

在未來，研究者可將探索更多的自監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)方法的半監(jiān)督目標(biāo)檢測，并探索如何將新方法應(yīng)用于半監(jiān)督實例分割。

?------------------------------------------------

雙一流高校研究生團(tuán)隊創(chuàng)建

專注于計算機(jī)視覺原創(chuàng)并分享相關(guān)知識?

聞道有先后，術(shù)業(yè)有專攻，如是而已╮(╯_╰)╭