(附論文)CVPR2021:上下文和注意力機制提升小目標(biāo)檢測
點擊左上方藍(lán)字關(guān)注我們

論文:
https://arxiv.org/pdf/1912.06319.pdf
1
簡要

2
背景


3
新框架分析

F-SSD: SSD with context by feature fusion
為了為給定的特征圖(目標(biāo)特征圖)在我們想要檢測目標(biāo)的位置提供上下文,研究者將其與目標(biāo)特征層更高層次的特征圖(上下文特征)融合。例如,在SSD中,給定我們來自conv4_3的目標(biāo)特性,我們的上下文特征來自兩層,它們是conv7和conv8_2。

雖然新框架的特征融合可以推廣到任何目標(biāo)特征和任何更高的特征。然而,這些特征圖具有不同的空間大小,因此研究者提出了如上圖所示的融合方法。在通過連接特征進行融合之前,對上下文特征執(zhí)行反卷積,使它們具有與目標(biāo)特征相同的空間大小。將上下文特征通道設(shè)置為目標(biāo)特征的一半,因此上下文信息的數(shù)量就不會超過目標(biāo)特征本身。僅僅對于F-SSD,研究者還在目標(biāo)特征上增加了一個額外的卷積層,它不會改變空間大小和通道數(shù)的卷積層。
此外,在連接特征之前,標(biāo)準(zhǔn)化步驟是非常重要的,因為不同層中的每個特征值都有不同的尺度。因此,在每一層之后進行批處理歸一化和ReLU。最后通過疊加特征來連接目標(biāo)特征和上下文特征。
A-SSD: SSD with attention module

如上圖,它由一個trunk分支和一個mask分支組成。trunk分支有兩個殘差塊,每個塊有3個卷積層,如上圖d所示;mask分支通過使用殘差連接執(zhí)行下采樣和上采樣來輸出注意圖(圖b為第一階段和圖c為第二階段),然后完成sigmoid激活。殘差連接使保持下采樣階段的特征。然后,來自mask分支的注意映射與trunk分支的輸出相乘,產(chǎn)生已參與的特征。最后,參與的特征之后是另一個殘差塊,L2標(biāo)準(zhǔn)化,和ReLU。
研究者提出了以上的兩個特征的方法,它可以考慮來自目標(biāo)層和不同層的上下文信息。與F-SSD相比,研究者沒有在目標(biāo)特征上執(zhí)行一個卷積層,而是放置了one stage的注意模塊,如下圖所示。

4
實驗


ResNet SSD with feature fusion + attention module (FA- SSD)


紅色框是GT,綠色框是預(yù)測的

END
整理不易,點贊三連↓
