介紹一篇自己AAAI2021的目標(biāo)檢測(cè)工作：

Dynamic Anchor Learning for Arbitrary-Oriented Object Detection

主要是討論旋轉(zhuǎn)目標(biāo)檢測(cè)中anchor匹配機(jī)制的問題和一些思考。

arxiv論文地址：https://arxiv.org/abs/2012.04150

代碼：https://github.com/ming71/DAL

基于anchor的算法在訓(xùn)練時(shí)首先根據(jù)將預(yù)設(shè)的anchor和目標(biāo)根據(jù)IoU大小進(jìn)行空間匹配，以一定的閾值（如0.5）選出合適數(shù)目的anchor作為正樣本用于回歸分配的物體。但是這會(huì)導(dǎo)致兩個(gè)問題：

• 進(jìn)一步加劇的正負(fù)樣本不平衡。對(duì)于旋轉(zhuǎn)目標(biāo)檢測(cè)而言，預(yù)設(shè)旋轉(zhuǎn)anchor要額外引入角度先驗(yàn)，使得預(yù)設(shè)的anchor數(shù)目成倍增加。此外，旋轉(zhuǎn)anchor角度稍微偏離gt會(huì)導(dǎo)致IoU急劇下降，所以預(yù)設(shè)的角度參數(shù)很多。（例如旋轉(zhuǎn)文本檢測(cè)RRD設(shè)置13個(gè)角度，RRPN每個(gè)位置54個(gè)anchor）。
• 分類回歸的不一致。當(dāng)前很多工作討論這個(gè)問題，即預(yù)測(cè)結(jié)果的分類得分和定位精度不一致，導(dǎo)致通過NMS階段以及根據(jù)分類conf選檢測(cè)結(jié)果的時(shí)候有可能選出定位不準(zhǔn)的，而遺漏抑制了定位好的anchor。目前工作的解決方法大致可以分為兩類：網(wǎng)絡(luò)結(jié)構(gòu)入手和label assignment優(yōu)化，參見related work這里不再贅述。

用旋轉(zhuǎn)RetinaNet在HRSC2016數(shù)據(jù)集上實(shí)驗(yàn)可視化檢測(cè)結(jié)果發(fā)現(xiàn)，很如下圖b，多低質(zhì)量的負(fù)樣本居然能夠準(zhǔn)確回歸出目標(biāo)位置，但是由于被分為負(fù)樣本，分類置信必然不高，不會(huì)被檢測(cè)輸出；如圖a，一些高質(zhì)量正樣本anchor反而可能輸出低質(zhì)量的定位結(jié)果。

為了進(jìn)一步驗(yàn)證這種現(xiàn)象是否具有普遍性，統(tǒng)計(jì)了訓(xùn)練過程的所有樣本IoU分布，以及分類回歸分?jǐn)?shù)散點(diǎn)圖，結(jié)果如下圖。我們將anchor和gt的IoU稱為輸入IoU，pred box和gt的IoU稱為輸出IoU。從中看出：

• 74%左右的正樣本anchor回歸的pred box后依然是高質(zhì)量樣本（IoU>0.5）；近一半的高質(zhì)量樣本回歸自負(fù)樣本，這說明負(fù)樣本還有很大的利用空間，當(dāng)前基于輸入IoU的label assignment選正樣本的效率并不高，有待優(yōu)化。
  
  
• 圖c說明，當(dāng)前的基于輸入IoU的標(biāo)簽分配會(huì)誘導(dǎo)分類分?jǐn)?shù)和anchor初始定位能力成正相關(guān)。而我們期望的結(jié)果是pred box的分類回歸能力成正相關(guān)。從這里可以認(rèn)為基于輸入IoU的標(biāo)簽分配是導(dǎo)致分類回歸不一致的原因之一。這個(gè)很好理解，劃分樣本的時(shí)候指定的初始對(duì)齊很好的為正樣本，其回歸后就算產(chǎn)生了不好的預(yù)測(cè)結(jié)果，分類置信還是很高，因?yàn)榉诸惢貧w任務(wù)是解耦的；反之很多初始對(duì)齊不好的anchor被分成負(fù)樣本，即使能預(yù)測(cè)好，由于分?jǐn)?shù)很低，無法在inference被輸出。
  
  
• 進(jìn)一步統(tǒng)計(jì)了預(yù)測(cè)結(jié)果的分布如d，可以看到在低IoU區(qū)間分類器表現(xiàn)還行，能有效區(qū)分負(fù)樣本，但是高IoU區(qū)間如0.7以上，分類器對(duì)樣本質(zhì)量的區(qū)分能力有限。【問：表面上右半?yún)^(qū)密密麻麻好像分類器完全gg的樣子，但是我們正常檢測(cè)器并沒有出現(xiàn)分類回歸的異常，高分box的定位一般也不賴，為什么？一是由于很多的IoU 0.5以上的點(diǎn)都是負(fù)樣本的，即使定位準(zhǔn)根本不會(huì)被關(guān)注到；二是預(yù)測(cè)的結(jié)果中，只要有高質(zhì)量的能被輸出就行了，其他都會(huì)被NMS掉，體現(xiàn)在圖中就是右上角可以密密麻麻無所謂，只要右下角沒有太多點(diǎn)可視化的檢測(cè)結(jié)果就不會(huì)太差。】

3.1 Analysis

首先是baseline用的是附加角度回歸的reitnanet。

直觀來說，輸出IoU能夠直接反映預(yù)測(cè)框的定位能力，那么直接用輸出IoU來反饋地選取正樣本不就能實(shí)現(xiàn)分類回歸的一致嗎？但是進(jìn)行實(shí)驗(yàn)發(fā)現(xiàn)，網(wǎng)絡(luò)根本不能收斂。即便是在訓(xùn)練較好的模型上finetune，模型性能依然會(huì)劣化發(fā)散。推測(cè)是兩種情況導(dǎo)致的：

• 輸入IoU大，但是輸出IoU小的anchor并不應(yīng)該被劃分為負(fù)樣本，其更大概率還是正樣本的，這部分容易學(xué)習(xí)的樣本丟失嚴(yán)重影響收斂
• 任何樣本都可能在訓(xùn)練過程中隨機(jī)匹配到一個(gè)目標(biāo)，但不應(yīng)該因此直接確信為正樣本，這在訓(xùn)練早期尤為嚴(yán)重

例如，一個(gè)anchor回歸前IoU為0.4，回歸后IoU是0.9，我們可以認(rèn)為這是一個(gè)潛在高質(zhì)量樣本；但是如果一個(gè)anchor回歸前是0，回歸后0.9，他基本不可能是正樣本，不該參與loss計(jì)算。反之亦然。可見這么簡(jiǎn)單的思路沒有人采用，不是沒人想到，而是真的不行。相似的label assignment工作中，即使利用了輸出IoU也是用各種加權(quán)或者loss等強(qiáng)約束確保可以收斂，有一個(gè)只利用輸出IoU進(jìn)行feedback的工作，但是我復(fù)現(xiàn)的時(shí)候有很多問題，實(shí)驗(yàn)部分會(huì)介紹。

3.2 Dynamic Anchor Selection

可以理解為輸入IoU是目標(biāo)的空間對(duì)齊（spatial alignment），而輸出IoU是由于定位物體所需重要特征的捕捉能力決定的，可以理解為特征對(duì)齊（feature alignment）能力。據(jù)此定義了匹配度（matching degree）如下：

前兩項(xiàng)比較好理解，通過輸入IoU表征的空間對(duì)齊能力對(duì)anchor的定位性能作先驗(yàn)緩和上面的兩種情況以穩(wěn)定訓(xùn)練過程。第三項(xiàng)表征的是回歸前后的不穩(wěn)定性作用，對(duì)回歸前后的變化進(jìn)行懲罰。實(shí)際上這一項(xiàng)是有效利用輸出IoU的關(guān)鍵，后面的實(shí)驗(yàn)會(huì)證明這一點(diǎn)。自己私下的實(shí)驗(yàn)中發(fā)現(xiàn)，有了?和??兩項(xiàng)(即??)實(shí)際上就能實(shí)現(xiàn)超越輸入IoU的labelassignment了，但是輸出IoU很不穩(wěn)定，參數(shù)比較難調(diào)，而加入空間先驗(yàn)后穩(wěn)定了很多，效果也能保持很好的水平。

這個(gè)不確定性懲罰項(xiàng)有很多表征形式，之前試過各種復(fù)雜花哨的表征和加權(quán)變換，雖然相對(duì)現(xiàn)有形式有所提升但是提升空間不大。沒必要搞得故弄玄虛的，所以最后還是保留了這種最簡(jiǎn)單的方式。

有了新的正樣本選擇標(biāo)準(zhǔn)，直接進(jìn)行正常的樣本劃分就能選出高質(zhì)量的正樣本。這里還能進(jìn)一步結(jié)合一些現(xiàn)有的采樣和分配策略進(jìn)一步獲得更好的效果（如ATSS等），論文沒有展示這部分實(shí)驗(yàn)可以自己嘗試。學(xué)習(xí)策略上，在訓(xùn)練前期為了避免輸出IoU的不穩(wěn)定影響，采取逐漸加大空間對(duì)齊影響系數(shù)，直至設(shè)定值。實(shí)驗(yàn)證明這個(gè)策略不影響最終效果，只是加速收斂。

3.3 Matching-Sensitive Loss

得到匹配度矩陣后，我們可以將其加權(quán)到訓(xùn)練loss中，核心思想是增強(qiáng)分類器對(duì)高質(zhì)量樣本的識(shí)別效果，從而解決Motivation中提到的分類回歸不一致的問題。具體而言就是將匹配度矩陣進(jìn)行補(bǔ)償，最大值補(bǔ)償?shù)?，補(bǔ)償值加權(quán)到正樣本上去，使之更多地關(guān)注高性能樣本的分類和回歸性能。一開始我采用的是直接將md加權(quán)到loss，效果很差找問題調(diào)了一段時(shí)間才解決。補(bǔ)償加權(quán)的方法相比直接加權(quán)有兩個(gè)好處：

• 避免分類器對(duì)匹配度劃定的負(fù)樣本進(jìn)行不合理的關(guān)注。比如在md補(bǔ)償?shù)牟呗韵拢粋€(gè)低質(zhì)量正樣本可能導(dǎo)致很大的補(bǔ)償值從而帶來一堆低質(zhì)量正樣本；
• 由于匹配度是介于[0,1]，直接加權(quán)將導(dǎo)致正樣本被進(jìn)一步稀釋；
• 確保分類和回歸任務(wù)對(duì)補(bǔ)償?shù)腶nchor的足夠關(guān)注，每個(gè)樣本至少有一個(gè)anchor能學(xué)好。例如對(duì)于某個(gè)gt最大md為0.2，直接加權(quán)將導(dǎo)致其loss貢獻(xiàn)很小，本來就難匹配的目標(biāo)更難學(xué)了。

損失函數(shù)表示和具體分析如下：

對(duì)于分類任務(wù)而言，如果正樣本全部置為1，就無法區(qū)分高效md不同的樣本了（顯然md=0.1和md=0.9的樣本被分為正樣本的概率不應(yīng)該一樣）【問：檢測(cè)器正常情況下就是這么做的，咋就沒你這么多事？不是不能區(qū)分。可行的原理是通過不斷的學(xué)習(xí)，優(yōu)化下降loss來對(duì)“邊緣”程度不同的hard example進(jìn)行判斷。所以我們看到定位能力和分類分?jǐn)?shù)常常不會(huì)差得很遠(yuǎn)，這都是反復(fù)的優(yōu)化的結(jié)果。顯然這種策略有效但是很笨，其中顯然還有東西可以做，可以大大提高訓(xùn)練效率】。所以這里通過構(gòu)造帶有定位潛力信息的md補(bǔ)償矩陣來加權(quán)l(xiāng)oss進(jìn)一步關(guān)注高質(zhì)量正樣本的學(xué)習(xí)情況，使得分類得分更加準(zhǔn)確有效，提高NMS的準(zhǔn)確性。

對(duì)于回歸任務(wù)而言，早在cascade RCNN就提出過高精度anchor對(duì)loss貢獻(xiàn)相對(duì)小而難以優(yōu)化的問題，還有很多工作從IoU分布、重采樣、歸一化等方法緩解這個(gè)問題。這里我們采用的還是匹配度信息，方法也是很質(zhì)樸的對(duì)正樣本re-weight；只不過加權(quán)關(guān)注的不再是空間對(duì)齊的anchor，而是對(duì)根據(jù)md度量的高質(zhì)量樣本給予更多的關(guān)注。

采用匹配度敏感的loss能夠有效增強(qiáng)檢測(cè)器的精確定位樣本的區(qū)分能力，如下圖所示，左邊是正常訓(xùn)練檢測(cè)器，可以看到定位精度上高性能部分的額區(qū)分度很低，但是加了MSL后樣本的定位性能大大提高，同時(shí)分類分?jǐn)?shù)也對(duì)應(yīng)提高，越往右上角顏色越深，分類分?jǐn)?shù)和定位性能有較好的關(guān)聯(lián)性。很多分析由于原論文篇幅有限沒有展開。

旋轉(zhuǎn)目標(biāo)的實(shí)驗(yàn)上采取了四個(gè)數(shù)據(jù)集：三個(gè)遙感數(shù)據(jù)集DOTA，HRSC2016，UCAS-AOD和一個(gè)文本檢測(cè)數(shù)據(jù)集ICDAR2015。同時(shí)在水平目標(biāo)數(shù)據(jù)集上也進(jìn)行了泛化性實(shí)驗(yàn)，采用的是ICDAR2013，NWPU VHR-10和VOC2007。為了證明我們的方法能夠有效提取高質(zhì)量的anchor，從而減少旋轉(zhuǎn)目標(biāo)檢測(cè)中anchor的預(yù)設(shè)，緩和不平衡問題，我們?cè)谔卣鲌D每個(gè)位置僅僅使用了3個(gè)水平的anchor，文本檢測(cè)由于目標(biāo)寬高全都很常懸殊，采用5個(gè)ratios。

4.1 Ablation

4.1.1 Component-wise evaluation

with input IoU是正常的label assignment方式，相比之下，引入output IoU后性能反而略有下降，特征對(duì)齊的信息并不能被有效利用。實(shí)際上這里的設(shè)置為0.1，因?yàn)檩敵鯥oU實(shí)際上非常不穩(wěn)定，比例一旦增大就會(huì)導(dǎo)致訓(xùn)練不收斂。然而在采用不確定性懲罰后，即使是很簡(jiǎn)單的直接作差形式性能也能有很大提高，相比前一個(gè)模型直接提升了7%。加入MSL后，mAP進(jìn)一步得到提高達(dá)到88.6。同時(shí)，相比AP50的2.7%漲幅，AP75提高了9.9%，可見MSL對(duì)高精度定位大有裨益。

4.1.2 Hyper-parameters

匹配度的設(shè)置實(shí)際上引入了兩個(gè)額外的超參數(shù)，因此補(bǔ)充了敏感性實(shí)驗(yàn)如下。表中的結(jié)果和分析結(jié)論基本一致：當(dāng)不確定性抑制項(xiàng)存在，??合理減小會(huì)使特征對(duì)齊的影響增大，同時(shí)mAP增大，說明能夠輸出IoU能夠有效指導(dǎo)樣本劃分過程。如果??過大將使得空間對(duì)齊能力占主導(dǎo)地位，輸出IoU帶來的不穩(wěn)定減小，此時(shí)不應(yīng)施加很強(qiáng)的擾動(dòng)懲罰，即減小??的值，如??時(shí)，??從3減小到5，mAP從70.1提升到83.5。

此外，正如上面所說，其實(shí)??也就是正常的IoU完全可以不要，僅靠??和??就能取得更好的結(jié)果，但是很敏感anchor設(shè)置和??取值以及??的形式，比較難調(diào)。

這為匹配度公式的參數(shù)調(diào)試提供一種思路：??和??應(yīng)該同時(shí)增大或減小。此外觀察不難發(fā)現(xiàn)，??在0.3-0.5的效果是最好的，??也大致可以確定。這個(gè)結(jié)論在其他數(shù)據(jù)集和其他anchor設(shè)置上也驗(yàn)證過，依然成立，論文篇幅有限這里沒有予以展示。但是說實(shí)話，取值而言會(huì)有偏移，雖然不會(huì)太多但是還是要調(diào)一調(diào)，這個(gè)有點(diǎn)不快樂。

4.2 Experiment Results

4.2.1 Comparison with other sampling methods

表中列舉的都是自己復(fù)現(xiàn)的結(jié)果，采用各自論文的思想但是由于原論文都不是做旋轉(zhuǎn)檢測(cè)的，并不完全一致。值得一提的還是HAMbox。很多朋友問我，我說發(fā)生了腎莫事，我一看截圖，啊，原來左天，塔門有人復(fù)現(xiàn)不出hambox的效果，不收斂或者下降。我這里直接復(fù)現(xiàn)其實(shí)也不收斂，最后的85.7結(jié)果是在收斂模型上finetune，并且沒有直接用output IoU，而是加了input IoU調(diào)制；為了防止大量低質(zhì)量compensated anchor，設(shè)置的每個(gè)物體只匹配三個(gè)anchor；并且用上類似curriculum learning的方式慢慢加大系數(shù)才學(xué)收斂的，收斂后效果也害行。比較意外的是atss，沒想到效果這么好，稍微調(diào)一調(diào)就86+。

4.2.2 Results on DOTA

RetinaNet在DOTA的結(jié)果是唯一一處用的不是我開源的代碼，而是臨時(shí)寫的基于mmdetection的，因?yàn)槲业拇a優(yōu)化不行占顯存速度慢，順便也在s2anet大佬肩膀上試了試。如果問為腎莫沒在DOTA上做ablation，只能說硬件顯卡不夠，大意了，跑dota就很費(fèi)勁了，調(diào)了好久，我只能耗子尾汁。

4.2.3 Results on HRSC2016

穩(wěn)定漲了幾個(gè)點(diǎn)，也是這個(gè)數(shù)據(jù)集小容易調(diào)。注意啊，很快啊，只放了3anchor就能比肩一些多anchor的的，速度大概24FPS。

4.2.4 Results on UCAS-AOD

這個(gè)上面比較意外的是AP75，提升非常大，達(dá)到驚人的74，甚至有點(diǎn)不對(duì)勁。但是可視化DAL前后的結(jié)果，發(fā)現(xiàn)也在情理之中。這個(gè)數(shù)據(jù)集比較簡(jiǎn)單，尤其是飛機(jī)，是個(gè)旋轉(zhuǎn)檢測(cè)器都一副要上90封頂?shù)臉幼印Ｖ皇莃aseline很多定位性能卡在AP75坎的檢測(cè)結(jié)果全被MSL優(yōu)化后抬上來了。

4.2.5 Results on ICDAR2015

其實(shí)可以看出這個(gè)方法并不萬能，在文本檢測(cè)器上還是不行，文本檢測(cè)的難點(diǎn)不只是匹配。baseline只有77.5的情況下，反復(fù)調(diào)參加通用trick也只能到81.5，加了多尺度測(cè)試勉強(qiáng)提點(diǎn)到82+，和當(dāng)前先進(jìn)的檢測(cè)器還是有相當(dāng)?shù)牟罹唷５强梢砸浦驳揭恍﹕ota檢測(cè)器上去，也會(huì)有所提升。（BTW，文本和通用旋轉(zhuǎn)檢測(cè)確實(shí)不太一樣，要實(shí)現(xiàn)較高F1只是解決旋轉(zhuǎn)問題遠(yuǎn)遠(yuǎn)不夠。例如之前寫了個(gè)Cascade-RetinaNet在HRSC2016的baseline加點(diǎn)簡(jiǎn)單增強(qiáng)就有85+，但是移植到IC15上印象中裸跑才不到75。）

4.3 Experiments on HBB dataset

其實(shí)這個(gè)方法是通用的，只是旋轉(zhuǎn)目標(biāo)匹配難匹配，所以提升更大更明顯。于是如下，可以看出在三個(gè)數(shù)據(jù)集都有提升漲點(diǎn)穩(wěn)定。

最后這次的四個(gè)reviewer都很認(rèn)真細(xì)致，提出了很多有幫助的建議，還是比較走運(yùn)的。

開源程序或者論文上有問題疑惑歡迎提問和聯(lián)系，遙感旋轉(zhuǎn)目標(biāo)檢測(cè)相關(guān)方向的同學(xué)歡迎一起交流學(xué)習(xí)。