川大：無人機圖像中微小目標(biāo)檢測模型SSPNet | 小目標(biāo)檢測優(yōu)化方案？

SSPNet：從無人機圖像中檢測微小目標(biāo)的尺度選擇金字塔網(wǎng)絡(luò),其由上下文注意模塊（CAM）、尺度增強模塊（SEM）和尺度選擇模塊（SSM）組成，在Tiny-Person上表現(xiàn)SOTA！性能優(yōu)于Swin-T、NAS-FPN等網(wǎng)絡(luò)。
作者單位：四川大學(xué)

1簡介

隨著搜救需求的不斷增加，人們對在無人機（UAV）捕獲的大尺度圖像中檢測感興趣的物體的需求越來越高，由于物體的尺度極小，這非常具有挑戰(zhàn)性。大多數(shù)現(xiàn)有方法采用特征金字塔網(wǎng)絡(luò)（FPN）通過組合深層的上下文特征來豐富淺層的特征。然而，在跨層梯度計算不一致的限制下，F(xiàn)PN中的淺層沒有被充分利用來檢測微小物體。

在本文中提出了一個用于Tiny-Person檢測的尺度選擇金字塔網(wǎng)絡(luò)（SSPNet），它由3個組件組成：

• 上下文注意模塊（CAM）：CAM 考慮上下文信息以生成分層 Attention Heatmap。

• 尺度增強模塊（SEM）：SEM 在不同層突出特定尺度的特征，使檢測器專注于特定尺度的物體。

• 尺度選擇模塊（SSM）：SSM 利用相鄰層的關(guān)系來實現(xiàn)深層和淺層之間適當(dāng)?shù)奶卣鞴蚕恚瑥亩苊獠煌瑢又g梯度計算的不一致。

此外，作者還提出了一種加權(quán)負采樣（WNS）策略來指導(dǎo)檢測器選擇更具代表性的樣本。Tiny-Person測試表明，本文所提方法優(yōu)于其他SOTA檢測器。

2本文方法

SSPNet主要是基于Faster R-CNN的框架，包括CAM、SEM、SSM，如圖2(a)所示。

2.1 Context Attention Module

為了生成分層的attention heatmap，作者設(shè)計了CAM來生成不同層次的attention heatmap。因為上下文信息可以提高檢測小目標(biāo)的性能。

因此，作者首先將backbone在不同stage產(chǎn)生的特征進行上采樣，使其與底部的特征具有相同的形狀，并將它們cat起來。然后采用多尺度空間金字塔池算法(atrous spatial pyramid pooling, ASPP)，提取的多尺度特征來尋找目標(biāo)線索；ASPP生成的上下文感知特征被傳遞到一個由多個卷積和sigmoid激活函數(shù)組成的激活門，該激活門由多個不同stride的卷積和sigmoid激活函數(shù)組成，生成層次attention heatmap  :

其中σ為sigmoid激活函數(shù)，為第k層的卷積，為卷積參數(shù)，為ASPP生成的上下文感知特征,為卷積步長。

為了指出在SSPNet的每一層中哪些尺度對象可以被指定為正樣本，作者采用了supervised attention heatmap來突出SSPNet每一層中特定尺度的目標(biāo)，避免被背景淹沒。

具體地說，supervised attention heatmap與不同層次錨點匹配的對象相關(guān)聯(lián)。如圖2(b)所示，supervised attention heatmap在不同的層次上表現(xiàn)出不同的具體比例尺范圍，其中紅色和綠色虛線框表示對應(yīng)層錨定不匹配的對象將被視為背景。與之對應(yīng)的attention heatmap如圖2(b)所示，CAM能夠生成特定比例尺范圍的attention heatmap。

2.2 Scale Enhancement Module

采用SEM增強特定尺度物體的線索。由于不同層的attention heatmap具有不同的尺度偏好，使得SEM能夠產(chǎn)生尺度感知特征:

其中和分別為輸入特征圖和輸出尺度感知特征，為第k層的attention heatmap。

請注意，殘差連接用于避免降低目標(biāo)周圍的特征，因為上下文信息可能有助于檢測。

2.3 Scale Selection Module

為了從深層為淺層選擇合適的特征，作者提出SSM來引導(dǎo)深層向淺層提供合適的特征，在淺層中，合適的特征被優(yōu)化到同一類，因此不會導(dǎo)致梯度計算不一致。另一方面，如果相鄰層的目標(biāo)都能被檢測到，那么深層將提供更多的語義特征，同時與下一層進行優(yōu)化。SSM可以設(shè)計如下:

其中與的交點為，為最近的上采樣操作，為第k層的合并映射，為第(k?1)個殘塊的輸出。

具體來說，SSM扮演著比例選擇器的角色。對于下一層尺度范圍內(nèi)的目標(biāo)對應(yīng)的特征將被視為合適的特征流入下一層，而其他特征將被弱化，以抑制梯度計算中的不一致性。

2.4 Weighted Negative Sampling

在無人機拍攝的大視場圖像中，復(fù)雜的背景通常比自然場景圖像引入更多的噪聲。此外，這些圖像中的部分遮擋導(dǎo)致一些物體只被可見部分標(biāo)注，導(dǎo)致檢測器將人的部分視為完整的個體，尤其是在數(shù)據(jù)集不大的情況下?；谶@些考慮，作者提出了小波神經(jīng)網(wǎng)絡(luò)，通過更多地觀察代表性樣本來增強檢測器的泛化能力。

首先，hard negative樣本通常被檢測器視為具有較高置信度的positive樣本。因此，置信度是最需要考慮的直覺因素。然后，采用前景交叉準(zhǔn)則來量化目標(biāo)的不完整程度。接下來，構(gòu)造一個考慮IoF和置信度2個因素的評分融合函數(shù):

其中和分別表示第個檢測結(jié)果的置信度和對應(yīng)的最大IoF， 表示調(diào)整置信度與IoF的系數(shù)。然后，可以根據(jù)調(diào)整每個樣本的選擇概率。

2.5 損失函數(shù)

總損失如下：

RPN損失：

Head損失：

其中和對邊界框回歸均采用smooth L1 loss，但在分類方面，采用了二進制交叉熵(BCE)損失，采用了交叉熵損失。

對于, i是minibatch中邊界框的索引。和分別表示預(yù)測類和ground-truth的概率分布。和分別表示預(yù)測的邊界框和ground-truth box。分類和回歸損失由(minibatch)和(box位置的數(shù)量)歸一化，并由一個平衡參數(shù)加權(quán)。默認情況下，將和設(shè)為1。以類似的方式定義。

表示attention loss，引導(dǎo)CAM生成hierarchical attention heatmaps。attention loss可以表述為:

其中α和β分別表示dice loss 和BCE loss 的超參數(shù)。具體來說，為了避免被背景淹沒，使用dice loss來優(yōu)先考慮前景，因為它只與attention heatmaps和supervised attention heatmap之間的交集相關(guān)。

其次，為了彌補attention heatmaps和supervised attention heatmap沒有交集時梯度消失的問題，利用BCE損失來處理這種極端情況，提供有效的梯度進行優(yōu)化。此外，采用OHEM來保證檢測器主要聚焦于容易被視為前景的非物體區(qū)域，并且將正負極的比例設(shè)置為1:3，而不是考慮所有的負樣本。具體來說，使用BCE loss來學(xué)習(xí)分類差的底片，使用dice loss來學(xué)習(xí)分類分布，以緩解數(shù)據(jù)的不平衡。

3實驗

可視化結(jié)果：

4參考

[1].SSPNet: Scale Selection Pyramid Network for Tiny Person Detection from UAV Images

努力分享優(yōu)質(zhì)的計算機視覺相關(guān)內(nèi)容，歡迎關(guān)注：

個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！

下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文

點亮 只需一秒，我卻能開心一天