（附論文）多域自適應(yīng)MSDA-YOLO：惡劣天氣也看得見

1簡介

Domain Adaptation在解決許多應(yīng)用中遇到的Domain Shift問題方面發(fā)揮了重要作用。這個(gè)問題的出現(xiàn)是由于用于訓(xùn)練的源數(shù)據(jù)的分布與實(shí)際測試場景中使用的目標(biāo)數(shù)據(jù)之間存在差異。

本文介紹了一種新的多尺度域自適應(yīng)YOLO(MS-DAYOLO)框架，該框架在YOLOv4檢測器的不同尺度上使用多個(gè)域自適應(yīng)路徑和相應(yīng)的域分類器來生成域不變特征。實(shí)驗(yàn)表明，當(dāng)使用本文提出的MS-DAYOLO訓(xùn)練YOLOv4時(shí)，以及在自動(dòng)駕駛應(yīng)用中具有挑戰(zhàn)性的天氣條件的目標(biāo)數(shù)據(jù)上進(jìn)行測試時(shí)，目標(biāo)檢測性能得到了顯著改善。

2方法

2.1 YOLO V4簡述

相對于YOLO V3，YOLOv4包含了許多新的改進(jìn)和新技術(shù)，以提高整體檢測精度。

如圖所示YOLOv4有3個(gè)主要部分:backbone、neck和head。

backbone負(fù)責(zé)提取不同尺度下的多層特征。

neck使用上采樣層將backbone的3種不同尺度的特征聚集在一起，并將它們輸入head。

最后，head預(yù)測目標(biāo)周圍的邊界框以及與每個(gè)邊界框相關(guān)聯(lián)的類別概率。

本文作者的目標(biāo)是將域適應(yīng)應(yīng)用于這3個(gè)特征（圖中的F1、F2、F3），使它們對不同尺度的域變化具有魯棒性，從而使它們在基于域適應(yīng)的訓(xùn)練中向域不變性收斂。

2.2 Domain Adaptive Network for YOLO

提出的域自適應(yīng)網(wǎng)絡(luò)(DAN)僅在訓(xùn)練時(shí)附加到Y(jié)OLOv4中以學(xué)習(xí)域不變特征。對于推理，在推理階段，將使用原始的YOLOv4體系結(jié)構(gòu)中使用領(lǐng)域自適應(yīng)訓(xùn)練的權(quán)重(沒有DAN網(wǎng)絡(luò))。因此，本文所提出的框架不會(huì)增加推理過程中底層檢測器的復(fù)雜性。

DAN使用backbone的3個(gè)不同的尺度特征作為輸入。它有幾個(gè)卷積層來預(yù)測域類。然后，利用二元交叉熵計(jì)算域分類損失(Ldc):

這里為第個(gè)訓(xùn)練圖像的ground truth域標(biāo)簽，其中為源域，為目標(biāo)域。是第個(gè)訓(xùn)練圖像在位置的特征圖。

DAN通過最小化這種上述損失來區(qū)分源域和目標(biāo)域。另一方面，為了最大限度地學(xué)習(xí)域不變特征，對主干也進(jìn)行了優(yōu)化。因此，對于這2個(gè)域，backbone的特征應(yīng)該是難以區(qū)分的。因此，這將提高目標(biāo)域的目標(biāo)檢測性能。

為了解決聯(lián)合最小化和最大化問題，作者采用了對抗學(xué)習(xí)策略。通過在backbone網(wǎng)絡(luò)和DAN網(wǎng)絡(luò)之間使用梯度反轉(zhuǎn)層(GRL)來實(shí)現(xiàn)這個(gè)矛盾的目標(biāo)。

GRL是一個(gè)雙向算子，用于實(shí)現(xiàn)2個(gè)不同的優(yōu)化目標(biāo)。在前向傳播方向上，GRL作為恒等算子。這導(dǎo)致了在DAN內(nèi)執(zhí)行局部反向傳播時(shí)最小化分類錯(cuò)誤的標(biāo)準(zhǔn)目標(biāo)。另一方面，向主干網(wǎng)絡(luò)反向傳播時(shí)，GRL變成一個(gè)負(fù)標(biāo)量。因此，在這種情況下，它會(huì)導(dǎo)致最大的二分類錯(cuò)誤，這種最大化促進(jìn)了由backbone生成領(lǐng)域不變特征。

為了計(jì)算檢測損失(ldt)，只使用源圖像。因此，通過最小化ldt, YOLOv4的所有3個(gè)部分(即backbone, neck和head)都得到了優(yōu)化。另一方面，利用源標(biāo)記圖像和目標(biāo)未標(biāo)記圖像計(jì)算域分類損失(Ldc)，Ldc通過最小化來優(yōu)化DAN, Ldc通過最大化來優(yōu)化backbone。因此，Ldet和Ldc都被用來優(yōu)化backbone。換句話說，通過最小化以下總損失，backbone被優(yōu)化了：

其中是GRL的一個(gè)負(fù)標(biāo)量，用來平衡檢測損失和域分類損失。事實(shí)上，是用來優(yōu)化DAN對backbone的影響。

2.3 DAN Architecture

與在Domain Adaptive Faster R-CNN架構(gòu)中只對特征提取器的最終尺度應(yīng)用域自適應(yīng)不同，本文分別開發(fā)了3個(gè)尺度的域自適應(yīng)來解決梯度消失問題。也就是說，只對最終的尺度(F3)進(jìn)行域自適應(yīng)，由于之前的尺度(F1和F2)之間有很多層，存在梯度消失的問題，因此對之前的尺度(F1和F2)沒有顯著影響。

因此，作者采用了一個(gè)多尺度策略，將主干的三個(gè)特征F1、F2和F3通過三個(gè)相應(yīng)的grl連接到DAN，如圖2所示。對于每個(gè)尺度，GRL之后有2個(gè)卷積層，第1個(gè)卷積層將特征通道減少一半，第2個(gè)卷積層預(yù)測域類概率。最后，利用域分類器層計(jì)算域分類損失。

3實(shí)驗(yàn)

3.1 Clear=>Foggy

從這些結(jié)果可以看出，將域自適應(yīng)應(yīng)用于所有3個(gè)特征尺度提高了目標(biāo)域的檢測性能，取得了最好的結(jié)果。此外，作者提出的MS-DAYOLO在性能上大大優(yōu)于原來的YOLOv4方法，幾乎達(dá)到了理想(oracle)場景的性能。

3.2 Sunny=>Rainy

結(jié)果如表2所示。在2個(gè)數(shù)據(jù)集中，本文的方法都比原始的YOLO得到了明顯的性能提升。

4參考

[1].Multiscale Domain Adaptive YOLO for Cross-Domain Object Detection

整理不易，點(diǎn)贊三連↓