盤點(diǎn)GAN在目標(biāo)檢測(cè)中的應(yīng)用
點(diǎn)擊上方“機(jī)器學(xué)習(xí)與生成對(duì)抗網(wǎng)絡(luò)”，關(guān)注"星標(biāo)"
獲取有趣、好玩的前沿干貨！
1，2017-CVPR: A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection
摘要
如何學(xué)習(xí)對(duì)遮擋和變形不敏感的物體檢測(cè)器？當(dāng)前解決方案主要使用的是基于數(shù)據(jù)驅(qū)動(dòng)的策略：收集具有不同條件下的對(duì)象物體的大規(guī)模數(shù)據(jù)集去訓(xùn)練模型，并期望希望最終可學(xué)習(xí)到不變性。 但數(shù)據(jù)集真的有可能窮盡所有遮擋嗎？作者認(rèn)為，像類別一樣，遮擋和變形也有長(zhǎng)尾分布問(wèn)題：一些遮擋和變形在訓(xùn)練集是罕見(jiàn)的，甚至不存在。 提出了一種解決方案：學(xué)習(xí)一個(gè)對(duì)抗網(wǎng)絡(luò)去生成具有遮擋和變形的樣本。對(duì)抗的目標(biāo)是生成難以被目標(biāo)檢測(cè)器分類的樣本檢測(cè)網(wǎng)絡(luò)和對(duì)抗網(wǎng)絡(luò)通過(guò)聯(lián)合訓(xùn)練得到。實(shí)驗(yàn)結(jié)果表明，與Fast-RCNN方法相比，VOC07的mAP提升了2.3％，VOC2012的mAP提升了2.6％。
引言
一種可能的解決方法是通過(guò)采樣來(lái)生成逼真的圖像。然而，這實(shí)際上不太可行，因?yàn)閳D像生成將需要訓(xùn)練這些罕見(jiàn)樣本。 另一個(gè)解決方案是生成所有可能的遮擋和變形，并從中訓(xùn)練物體檢測(cè)器。但由于變形和遮擋的搜索空間很大，因此這實(shí)際上也不可行和靈活。 事實(shí)上，使用所有樣本通常不是最佳解決方案，而選擇“困難”的正樣本更好。有沒(méi)有辦法可以生成具有不同遮擋和變形的困難正樣本且無(wú)需生成像素級(jí)別的圖像本身呢？ 本文訓(xùn)練另一個(gè)網(wǎng)絡(luò)：通過(guò)在空間上遮擋某些特征圖區(qū)域或通過(guò)操縱特征圖來(lái)創(chuàng)建空間變形以形成難樣本的對(duì)抗網(wǎng)絡(luò)。這里的關(guān)鍵思想是在卷積特征空間中創(chuàng)建對(duì)抗性樣本，而不是直接生成像素級(jí)別的數(shù)據(jù)，因?yàn)楹笳呤且粋€(gè)困難得多的問(wèn)題。
方法
1，用于遮擋的Adversarial Spatial Dropout。作者提出使用一種Adversarial Spatial Dropout Network（ASDN）在前景目標(biāo)的深層特征級(jí)別上生成遮擋。在標(biāo)準(zhǔn)的Fast-RCNN中，RoI池層之后獲得每個(gè)前景對(duì)象的卷積特征；使用這些特征作為對(duì)抗網(wǎng)絡(luò)的輸入，ASDN以此生成一個(gè)掩碼，指示要?jiǎng)h除的特征部分（分配0），以使檢測(cè)網(wǎng)絡(luò)無(wú)法識(shí)別該對(duì)象。
2，Adversarial Spatial Transformer Network（ASTN），關(guān)鍵思想是基于STN在特征上產(chǎn)生變形并使檢測(cè)網(wǎng)絡(luò)難以識(shí)別。通過(guò)與ASTN對(duì)抗，可以訓(xùn)練出更好的檢測(cè)網(wǎng)絡(luò)。 注：STN（Spatial Transformer Network ）具有三個(gè)組成部分：localisation network, grid generator和sampler。給定特征圖作為輸入，localisation network將估計(jì)變形量（例如，旋轉(zhuǎn)度、平移距離和比例因子）。這些變量將用作grid generator和sampler生成目標(biāo)特征圖的輸入，輸出是變形后的特征圖。
2，2017-CVPR: Perceptual Generative Adversarial Networks for Small Object Detection
小物體分辨率低、易受噪聲影響，檢測(cè)任務(wù)非常困難。現(xiàn)有檢測(cè)方法通常學(xué)習(xí)多個(gè)尺度上所有目標(biāo)的表征來(lái)檢測(cè)小對(duì)象。但這種架構(gòu)的性能增益通常限于計(jì)算成本。 這項(xiàng)工作將小物體的表征提升為“超分辨”表征，實(shí)現(xiàn)了與大物體相似的特性，因此更具判別性。通過(guò)結(jié)合生成對(duì)抗網(wǎng)絡(luò)（Perceptual GAN）模型，縮小小對(duì)象與大對(duì)象之間的表征差異來(lái)改善小對(duì)象檢測(cè)性能。具體來(lái)說(shuō)，生成器學(xué)習(xí)將小對(duì)象表征轉(zhuǎn)換為與真實(shí)大對(duì)象足夠相似以欺騙對(duì)抗判別器的超分辨表征。同時(shí)，判別器與生成器對(duì)抗以識(shí)別生成的表征，并對(duì)生成器施加條件要求——生成的小對(duì)象表征必須有利于檢測(cè)目標(biāo)。
3，2018 Adversarial Occlusion-aware Face Detection
有遮擋人臉檢測(cè)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。通過(guò)同時(shí)檢測(cè)被遮擋的人臉和分割被遮擋區(qū)域，本文引進(jìn)一種對(duì)抗性遮擋人臉檢測(cè)器Adversarial Occlusion-aware Face Detector （AOFD）。 為了檢測(cè)重度遮擋的臉部，設(shè)計(jì)AOFD的出發(fā)點(diǎn)是：（1）有效地利用未被遮擋的面部區(qū)域，以及（2）將遮擋的干擾轉(zhuǎn)化為有益的信息。 對(duì)于問(wèn)題（1），未檢測(cè)到的臉通常被遮住了關(guān)鍵特征部分，例如眼睛和嘴巴。一種可行的方法是在訓(xùn)練集中遮蓋臉部的這些獨(dú)特部分，迫使檢測(cè)器了解即使暴露區(qū)域較少的人臉是什么樣。為此，以對(duì)抗的方式設(shè)計(jì)了掩模生成器，以為每個(gè)正樣本產(chǎn)生掩模。 對(duì)于問(wèn)題（2），找到常見(jiàn)的遮擋有助于檢測(cè)其背后的不完整面孔。因此，引入了“遮擋分割”分支去分割遮擋部分包括頭發(fā)、眼鏡、圍巾、手和其他物體等。由于訓(xùn)練樣本很少，這并非易事。因此，作者標(biāo)記了從互聯(lián)網(wǎng)下載的374個(gè)訓(xùn)練樣本進(jìn)行遮擋分割（該數(shù)據(jù)集記為SFS：small dataset for segmentation）。 如圖2所示，在RoI之后添加了一個(gè)遮擋區(qū)域生成器，然后是一個(gè)分類分支和一個(gè)邊界框回歸分支。最后，分割分支負(fù)責(zé)對(duì)每個(gè)邊界框內(nèi)的遮擋區(qū)域進(jìn)行分割。最終將結(jié)合分類，邊界框回歸和遮擋分割的最終結(jié)果輸出。 實(shí)驗(yàn)表明，AOFD不僅明顯優(yōu)于MAFA遮擋的人臉檢測(cè)數(shù)據(jù)集的最新技術(shù)，而且在用于普通人臉檢測(cè)的基準(zhǔn)數(shù)據(jù)集（如FDDB）上也達(dá)到了競(jìng)爭(zhēng)性的檢測(cè)精度。
4，2018-ECCV：SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network
目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)中的一個(gè)基本而重要的問(wèn)題。盡管在大規(guī)模檢測(cè)基準(zhǔn)（例如COCO數(shù)據(jù)集）上對(duì)大/中型對(duì)象已經(jīng)取得了令人印象深刻的結(jié)果，但對(duì)小對(duì)象的性能卻遠(yuǎn)遠(yuǎn)不能令人滿意。原因是小物體缺少足夠的外觀細(xì)節(jié)信息，這些信息可以將它們與背景或類似物體區(qū)分開(kāi)。 為了解決小目標(biāo)檢測(cè)問(wèn)題，提出了一種端到端的多任務(wù)生成對(duì)抗網(wǎng)絡(luò)（MTGAN）。其中生成器是一個(gè)超分辨率網(wǎng)絡(luò)，可以將小的模糊圖像上采樣到精細(xì)圖像，并恢復(fù)詳細(xì)信息以進(jìn)行更精確的檢測(cè)。判別器是一個(gè)多任務(wù)網(wǎng)絡(luò)，該網(wǎng)絡(luò)用真實(shí)/虛假分?jǐn)?shù)，對(duì)象類別分?jǐn)?shù)和邊界框回歸量來(lái)描述每個(gè)超分辨圖像塊。 此外，為了使生成器恢復(fù)更多細(xì)節(jié)以便于檢測(cè)，在訓(xùn)練過(guò)程中，將判別器中的分類和回歸損失反向傳播到生成器中。 在具有挑戰(zhàn)性的COCO數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)證明了該方法從模糊的小圖像中恢復(fù)清晰的超分辨圖像的有效性，并表明檢測(cè)性能（特別是對(duì)于小型物體）比最新技術(shù)有所提高。
小物體檢測(cè)系統(tǒng)（SOD-MTGAN）：
（A）將圖像輸入網(wǎng)絡(luò)。 （B）基線檢測(cè)器可以是任何類型的檢測(cè)器（例如Faster RCNN 、FPN或SSD），用于從輸入圖像中裁剪正（即目標(biāo)對(duì)象）和負(fù)（即背景）例，以訓(xùn)練生成器和判別器網(wǎng)絡(luò)，或生成ROIs進(jìn)行測(cè)試。 （C）正例和負(fù)例（或ROI）是由現(xiàn)成的檢測(cè)器生成的。 （D）生成器子網(wǎng)重建得到低分辨率輸入圖像的超分辨率版本（4倍放大）；判別器網(wǎng)絡(luò)將GT與生成的高分辨率圖像區(qū)分開(kāi)，同時(shí)預(yù)測(cè)對(duì)象類別并回歸對(duì)象位置（判別器網(wǎng)絡(luò)可以使用任何典型的體系結(jié)構(gòu)，例如AlexNet、VGGNet、ResNet作為骨干網(wǎng)，在實(shí)驗(yàn)中使用ResNet-50或ResNet-101。
猜您喜歡：
附下載 | 經(jīng)典《Think Python》中文版
附下載 | 《Pytorch模型訓(xùn)練實(shí)用教程》
附下載 | 最新2020李沐《動(dòng)手學(xué)深度學(xué)習(xí)》
附下載 |?《可解釋的機(jī)器學(xué)習(xí)》中文版
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》
附下載 | 超100篇！CVPR 2020最全GAN論文梳理匯總！
附下載 |《計(jì)算機(jī)視覺(jué)中的數(shù)學(xué)方法》分享
評(píng)論
圖片
表情