↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

作者丨南山

來源丨AI約讀社

編輯丨極市平臺(tái)

極市導(dǎo)讀

本文介紹了一篇BMCV的文章，該方法是網(wǎng)絡(luò)上的改進(jìn)，通過消除Stride操作增大feature map來提升小目標(biāo)檢測(cè)性能，以及小目標(biāo)和大目標(biāo)的具有單獨(dú)路徑的雙路徑權(quán)重共享方案。?>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺的最前沿

前面我們介紹了使用數(shù)據(jù)擴(kuò)增的方式提高小目標(biāo)檢測(cè)的性能，這種方法雖然會(huì)提升小目標(biāo)檢測(cè)的性能，但也會(huì)影響大目標(biāo)檢測(cè)的性能。

今天我們介紹一篇BMCV的文章，該方法是網(wǎng)絡(luò)上的改進(jìn)，通過消除Stride操作增大feature map來提升小目標(biāo)檢測(cè)性能，以及小目標(biāo)和大目標(biāo)的具有單獨(dú)路徑的雙路徑權(quán)重共享方案。

論文：Rethinking Convolutional Feature Extraction for Small Object Detection

論文：https://bmvc2019.org/wp-content/uploads/papers/1057-paper.pdf

01?Analysis

作者對(duì)造成小目標(biāo)檢測(cè)和大目標(biāo)檢測(cè)之間巨大性能差異進(jìn)行了實(shí)驗(yàn)分析，他的想法與之前一篇Augmentation for small object detection完全不同，他認(rèn)為影響小目標(biāo)檢測(cè)性能的主要原因是特征提取網(wǎng)絡(luò)backbone將圖片縮小過多倍而導(dǎo)致的結(jié)果，同時(shí)還對(duì)小目標(biāo)訓(xùn)練樣本數(shù)量對(duì)小目標(biāo)檢測(cè)性能的影響進(jìn)行了實(shí)驗(yàn)分析，得出了小目標(biāo)訓(xùn)練樣本數(shù)量對(duì)小目標(biāo)檢測(cè)性能影響較小。

1.1 小目標(biāo)樣本數(shù)量的影響

作者實(shí)驗(yàn)分析了小目標(biāo)訓(xùn)練樣本對(duì)小目標(biāo)檢測(cè)性能的影響，作者對(duì)兩類目標(biāo)進(jìn)行分析分別是person和car，首先作者在person將大中小目標(biāo)的訓(xùn)練數(shù)量保持均衡，但是在RFCN 和 SSD兩個(gè)檢測(cè)器上都小目標(biāo)的性能依舊比大目標(biāo)相差甚遠(yuǎn)，其次作者在car類別上將小目標(biāo)的訓(xùn)練示例超過中和大目標(biāo)，但是在小目標(biāo)檢測(cè)的性能依舊遠(yuǎn)低于大中目標(biāo)。（ps：我認(rèn)為這里不一定實(shí)驗(yàn)應(yīng)該還需要考慮到大中小目標(biāo)所占的面積影響）

1.2?特征提取網(wǎng)絡(luò)的影響

作者選擇SSD mobilenet v1 進(jìn)行分析，首先對(duì)baseline進(jìn)行了測(cè)試，發(fā)現(xiàn)在MS COCO 數(shù)據(jù)集上map為18.8，而其中小目標(biāo)的AP僅為1.8，中目標(biāo)的AP為19.1，大目標(biāo)的AP為36.3，小目標(biāo)和大目標(biāo)的性能相差30倍，作者對(duì)小目標(biāo)嘗試了改進(jìn)三種方式：

1、增大輸入圖像的尺寸（300 x 300 提升至500 x 500）

2、在早期層進(jìn)行預(yù)測(cè)（在第六個(gè)卷積層的feature map進(jìn)行預(yù)測(cè)）

3、小型的anchor box（增加了10 x?10大?。?/span>

三種方式的結(jié)果在 Table 1 ,從表中可以看出三種方法均有提升，其中擴(kuò)大輸入圖像尺寸增加較多。

02?Proposed Approach

作者提出對(duì)目標(biāo)檢測(cè)的backbone網(wǎng)絡(luò)進(jìn)行兩次修改。第一，作者消除了Strided Convolution和Pooling以擴(kuò)大 feature map。二，為了避免第一步對(duì)大目標(biāo)檢測(cè)性能的影響，作者使用權(quán)重共享的單獨(dú)路徑來檢測(cè)大型物體。

2.1?Strided Convolution and Pooling Elimination

Strided Convolution和Pooling一直以來被認(rèn)為是backbone必不可少的一部分，這主要是由于它們有助于增加平移不變性，并且在不斷縮小特征圖可以使得神經(jīng)元具有更大的感受野。在實(shí)踐中，這對(duì)于圖像分類任務(wù)是非常有效的，但是對(duì)于目標(biāo)檢測(cè)之類的位置敏感任務(wù)卻會(huì)產(chǎn)生問題，例如，在SSD Mobilenet v1中，輸入圖像尺寸為300x300，用于預(yù)測(cè)的最大特征圖的尺寸為19x19。我們會(huì)認(rèn)為有效接收區(qū)域?yàn)?6x16，但是由于卷積算子的性質(zhì)導(dǎo)致相鄰特征的貢獻(xiàn)也會(huì)隨著feature map的尺寸變小而增加。

作者進(jìn)行了一個(gè)簡(jiǎn)單的實(shí)驗(yàn)，在backbone中消除了幾層Strided Convolution，采用了相同的權(quán)重居然可以檢測(cè)小的目標(biāo)，這表明了現(xiàn)有的權(quán)重是可以用于小目標(biāo)的分類，只需要增加特征圖的大小。因此作者對(duì)backbone進(jìn)行了消除 Strided 操作的多種配置，對(duì)于每種配置，通過消除步幅S的數(shù)量和消除步幅的層的數(shù)量L來參數(shù)化命名約定，例如，在SSD Mobilenetv1 S1-L0中，在第0層消除了一次跨步卷積。如圖3展示了兩個(gè)示例。

作者創(chuàng)建了許多不同的配置消除，并在網(wǎng)絡(luò)的各個(gè)部分消除了Strided Convolution。在所有的配置中，可以看到小對(duì)象性能不斷提高，但代價(jià)是計(jì)算量增加了。作者認(rèn)為小目標(biāo)檢測(cè)相對(duì)應(yīng)的語義特征受相鄰干擾因素的影響較小，因此可以消除Strided Convolution。并且實(shí)驗(yàn)得出在后期消除Strided Convolution時(shí)，較小物體的貢獻(xiàn)會(huì)較早減小。在相同的計(jì)算順序下，早期Strided Convolution顯示出最佳結(jié)果。圖4中顯示了MS COCO val 2017的視覺比較。在所有的修改配置中，可以正確檢測(cè)到小網(wǎng)球，而在baseline中則不能正確檢測(cè)到。

2.2?Dual-Path Weight Sharing for Large Object Detection

雖然消除backbone的stride操作對(duì)于小目標(biāo)沒有影響，但是卻會(huì)降低大目標(biāo)的性能，為了避免這個(gè)問題，作者提出了采用權(quán)重共享的雙路徑方法，大對(duì)象的單獨(dú)路徑是通過對(duì)放大的特征圖進(jìn)行二次采樣來創(chuàng)建的。作者根據(jù)比例尺各自對(duì)應(yīng)的圖層將比例尺特定的特征圖進(jìn)行級(jí)聯(lián)，例如對(duì)于S1L0結(jié)構(gòu)，第13層的特征圖為19 x 19，在大目標(biāo)路徑，第11個(gè)特征圖的大小為19 x 19。因此將小物體路徑的第13個(gè)特征圖和大物體路徑的第11個(gè)特征圖連接起來并提供給預(yù)測(cè)層。該過程如圖5所示。

這種方式可以將大目標(biāo)的檢測(cè)性能恢復(fù)到基本值，但是，此修改增加了參數(shù)和計(jì)算的數(shù)量。因此作者提出了另一種選擇，其中將小目標(biāo)和大目標(biāo)的預(yù)測(cè)器分開。對(duì)于SSD Mobilenet v1 S1L0，第一個(gè)和第二個(gè)預(yù)測(cè)器僅在小型對(duì)象路徑特征圖（38 x 38和19 x 19）上起作用，而預(yù)測(cè)器3至6僅在大目標(biāo)路徑特征圖（10 x10上）起作用。通過這種方法，雙路徑?jīng)]有其他參數(shù)。作者分別將這些配置稱為C和S后綴。

03?Experimental Results

作者在SSD 上進(jìn)行實(shí)驗(yàn)，并且對(duì)多種消除stride操作進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果在 Table2 ，可以發(fā)現(xiàn)在早期進(jìn)行消除stride操作對(duì)于小目標(biāo)的提升更加有效，并且采用將大目標(biāo)和小目標(biāo)進(jìn)行共享權(quán)重的雙路徑方法可以緩解大目標(biāo)的性能的下降，但是還是會(huì)有一定下降。

04?總結(jié)

這篇文章的重新對(duì)小目標(biāo)檢測(cè)性能差的原因進(jìn)行了分析，發(fā)現(xiàn)影響小目標(biāo)檢測(cè)的原因主要是特征提取網(wǎng)絡(luò)backbone將圖片縮小過多倍，因此作者采取了消除stride操作，并且為了避免大目標(biāo)檢測(cè)性能的下降，提出了采用了大目標(biāo)和小目標(biāo)雙路徑權(quán)重共享的方法，并且實(shí)驗(yàn)證明了其有效性。

推薦閱讀

深度學(xué)習(xí)檢測(cè)小目標(biāo)常用方法
我們是如何改進(jìn)YOLOv3進(jìn)行紅外小目標(biāo)檢測(cè)的？
解決小目標(biāo)檢測(cè)！多尺度方法匯總

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺得有用麻煩給個(gè)在看啦~??

小目標(biāo)檢測(cè)：Feature Extraction

01?Analysis

02?Proposed Approach

03?Experimental Results

04?總結(jié)