↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺

作者丨南山

來源丨AI約讀社

編輯丨極市平臺

極市導(dǎo)讀

緩解小目標(biāo)檢測問題的方法有很多，例如：多尺度特征學(xué)習(xí)，數(shù)據(jù)增強(qiáng)，訓(xùn)練策略，基于上下文的檢測和基于GAN的檢測等，今天我們介紹一篇通過改進(jìn)數(shù)據(jù)擴(kuò)增方式提升小目標(biāo)檢測的準(zhǔn)確率。?>>加入極市CV技術(shù)交流群，走在計算機(jī)視覺的最前沿

近年來，目標(biāo)檢測算法取得了很好的成績，但是，小目標(biāo)和大目標(biāo)的檢測性能差異較大。小目標(biāo)檢測是目標(biāo)檢測中必不可少且具有挑戰(zhàn)性的問題，在人臉檢測、交通標(biāo)記、缺陷檢測等領(lǐng)域都是其重要挑戰(zhàn)。緩解小目標(biāo)檢測問題的方法有很多，例如：多尺度特征學(xué)習(xí)，數(shù)據(jù)增強(qiáng)，訓(xùn)練策略，基于上下文的檢測和基于GAN的檢測等，今天我們介紹一篇通過改進(jìn)數(shù)據(jù)擴(kuò)增方式提升小目標(biāo)檢測的準(zhǔn)確率。

論文題目：Augmentation for small object detection

論文鏈接：https://arxiv.org/abs/1902.07296

代碼鏈接：https://github.com/gmayday1997/SmallObjectAugmentation

01?小目標(biāo)檢測困難的原因

造成小目標(biāo)檢測困難的原因主要有兩個：1、小目標(biāo)的實例較少，2、小目標(biāo)標(biāo)注面積占比小。

1.1 小目標(biāo)實例較少

第一個問題小目標(biāo)實例較少，作者以 MSCOCO 數(shù)據(jù)集為例進(jìn)行分析，訓(xùn)練集中出現(xiàn)的所有目標(biāo)中有 41.43%?是小的，而只有 34.4%?和 24.2%?分別是中型和大型目標(biāo)，并在訓(xùn)練集中出現(xiàn)小目標(biāo)圖片約占一半，而 70.07%?和 82.28%?的訓(xùn)練圖像分別包含中型和大型物體，如Table 2所示：

1.2 小目標(biāo)標(biāo)注面積占比小

不同大小的目標(biāo)的 Total Object Area 差異很大，經(jīng)統(tǒng)計，只有 1.23%?的標(biāo)注像素屬于小目標(biāo)，中型目標(biāo)占比 10.18%，是小目標(biāo)的十倍，而有 82.28%?的占比屬于大目標(biāo)。

當(dāng)前檢測器大部分的anchor匹配策略是以anchor和groud truth的IOU來劃分正負(fù)樣本，例如將 anchor 和 GT 匹配后，匹配 IoU≥0.5 的 anchor 會作為正樣本參與訓(xùn)練（如下圖所示）。然而這種匹配方式更傾向于大目標(biāo)，會造成了小目標(biāo)匹配少、大目標(biāo)匹配多的不平衡性。

02?小目標(biāo)檢測的數(shù)據(jù)擴(kuò)增方法

上面兩個問題體現(xiàn)出了小目標(biāo)的檢測性能較差的原因之一是：訓(xùn)練數(shù)據(jù)中小目標(biāo)的再現(xiàn)性較差，因此，作者提出對小目標(biāo)樣本進(jìn)行?Oversampling（過采樣），然后在對樣本里的小目標(biāo)進(jìn)行?Copy-Pasting（復(fù)制粘貼），以此來提供足夠的小目標(biāo)來和 anchor 進(jìn)行匹配，以此實現(xiàn)提高小目標(biāo)檢測的性能。

2.1 Oversampling

在訓(xùn)練階段對有小目標(biāo)的圖像進(jìn)行Oversampling(過采樣)，來解決含有小目標(biāo)的圖像較少的問題，過采樣簡單來說就是將一張圖片重復(fù)加入訓(xùn)練幾次，這種方式十分簡單，但也有效，并且實現(xiàn)方式也很簡單只需要將含有小目標(biāo)的樣本多復(fù)制幾遍并修改名字就行。復(fù)制的次數(shù)就是oversampleing rate（過采樣率），通過控制oversampleing rate來實現(xiàn)大中小的樣本數(shù)量均衡。

2.2?Copy-Pasting

作者在Oversampling基礎(chǔ)上增加了Copy-Pasting（復(fù)制粘貼策略），也就是將小目標(biāo)貼到圖像中的任意位置并生成新的標(biāo)注，并且粘貼的小目標(biāo)可以進(jìn)行隨機(jī)變換（縮放，翻折，旋轉(zhuǎn)等），這種方式通過增加每個圖像中小目標(biāo)的數(shù)量，匹配的 anchor 的數(shù)量也會隨之增加，這進(jìn)而提升了小目標(biāo)在訓(xùn)練階段對 loss 計算的貢獻(xiàn)。

作者提出了三種復(fù)制粘貼小目標(biāo)的方式：

1、圖像中選擇一個小目標(biāo)，然后在隨機(jī)位置復(fù)制粘貼多次

2、圖像中選擇許多小目標(biāo)，并在任意位置復(fù)制粘貼它們一次

3、圖像中所有的小目標(biāo)在任意位置復(fù)制粘貼多次

下圖說明了所提出的 augmentation 策略以及如何在訓(xùn)練中增加匹配 anchor 的數(shù)量，從而更好地檢測小目標(biāo)。

03實驗結(jié)果

3.1 Oversampling

作者做了充足的實驗驗證了這種擴(kuò)增方式對小目標(biāo)性能的提升。首先作者將Baseline（Mask RCNN）與加入Oversampling進(jìn)行對比，如Table 3 所示，可以看出? Oversampling 不管是在檢測還是分割都有所提高，但可能對大尺度目標(biāo)的檢測效果有損害，因此需要根據(jù)實際數(shù)據(jù)進(jìn)行調(diào)整，并不是越大越好。

3.2?Copy-Pasted

接著作者對Copy-Pasting（復(fù)制粘貼）的有效性進(jìn)行了驗證，將Baseline（Mask RCNN）與幾種組合Oversampling以及Augmentation進(jìn)行比較如 Table 4所示。主要包括以下幾類：

1、用Copy-Pasted后的圖像代替原始的圖像(表格中的第二行)

2、在上面方法的基礎(chǔ)上使用Oversampling(表格中的第三行)可以發(fā)現(xiàn)，上述兩個的結(jié)果相比于Baseline都比較差。

3、在測試的時候，不是在原始的測試集上了，而是用訓(xùn)練集上的Augmentation方法同樣去處理Test數(shù)據(jù)集，性能獲得了較大的提高。

作者認(rèn)為出現(xiàn)這種情況是由于人工復(fù)制的不完美性導(dǎo)致的，例如粘貼的目標(biāo) mask 和 background 亮度差，這些相對容易被神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)。采用augmentation and oversampling 相結(jié)合的方法，取得了較好的效果，augmentation的概率為 0.5，這使得原始目標(biāo)和 augmented 的目標(biāo)比例為 2:1。這種設(shè)置比單純的 oversampling 效果更好，驗證了所提出的粘貼小對象策略的有效性。

3.3?Copy-Pasted?Strategies

作者最后還對三種復(fù)制粘貼策略進(jìn)行了測試：

1、圖像中選擇一個小目標(biāo)，然后在隨機(jī)位置復(fù)制粘貼多次；

2、圖像中選擇許多小目標(biāo)，并在任意位置復(fù)制粘貼它們一次；

3、圖像中所有的小目標(biāo)在任意位置復(fù)制粘貼多次。

這里我們簡要介紹一下最好的情況，在這三種策略中第二種也就是選擇多個小目標(biāo)進(jìn)行復(fù)制粘貼取得了最好的效果，并且在粘貼三次小目標(biāo)的效果最好。如圖表所示：

04總結(jié)

這篇文章分析表明小目標(biāo)檢測性能較差的原因之一是訓(xùn)練數(shù)據(jù)中小目標(biāo)數(shù)量較少，導(dǎo)致在anchor匹配小目標(biāo)匹配少，大目標(biāo)匹配多的不平衡性，也就是訓(xùn)練數(shù)據(jù)中小目標(biāo)的再現(xiàn)性較差。因此，作者提出了過采樣和復(fù)制粘貼的策略通過增加小目標(biāo)的數(shù)量提升小目標(biāo)檢測的性能并且在實驗中證明了其有效性。

推薦閱讀

深度學(xué)習(xí)檢測小目標(biāo)常用方法
我們是如何改進(jìn)YOLOv3進(jìn)行紅外小目標(biāo)檢測的？
解決小目標(biāo)檢測！多尺度方法匯總

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測-深圳），即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??

小目標(biāo)檢測：數(shù)據(jù)增強(qiáng)

01?小目標(biāo)檢測困難的原因

02?小目標(biāo)檢測的數(shù)據(jù)擴(kuò)增方法

03實驗結(jié)果

04總結(jié)