新目標(biāo)檢測框架 | 基于改進(jìn)的one-shot的目標(biāo)檢測

點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)

目前在目標(biāo)檢測方面的進(jìn)展依賴于大規(guī)模的數(shù)據(jù)集來獲得良好的性能。然而，在許多場景下可能并不總是有足夠的樣本，從而導(dǎo)致當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測模型的性能下降。

一、簡要

為了克服上述的問題，有研究者提出了一種新的one-shot條件檢測框架(OSCD)。給予一個(gè)含有target object的support? image和query image作為輸入，OSCD可以在查詢圖像中檢測屬于目標(biāo)對象類別的所有目標(biāo)。

具體來說，OSCD由一個(gè)Siamese網(wǎng)絡(luò)和一個(gè)two-stages檢測模型組成。在two-stages檢測的每個(gè)階段，分別設(shè)計(jì)了一個(gè)特征融合模塊和一個(gè)可學(xué)習(xí)的度量模塊來進(jìn)行有效的條件檢測。一旦訓(xùn)練，OSCD可以在不需要進(jìn)一步訓(xùn)練的情況下檢測可見和看不見類的對象，這也有優(yōu)勢，包括classagnostic, training-free for unseen classes和without catastrophic forgetting。實(shí)驗(yàn)表明，該方法在基于Fashion-MNIST和Pascal VOC的數(shù)據(jù)集上取得了最先進(jìn)的性能

二、背景

如下圖所示。[S.K. Biswas, P. Milanfar, One shot detection with laplacian object and fast?matrix cosine similarity, IEEE Trans. Pattern Anal. Mach. Intell. (TPAMI)]中提出的傳統(tǒng)one-shot檢測框架，將onr-shot檢測問題視為具有滑動(dòng)窗口方案的經(jīng)典檢測問題，并選擇了最適合的窗口。特別是使用一個(gè)度量學(xué)習(xí)模塊，而不是經(jīng)典的分類器，來計(jì)算來自新感興趣的類的support ?image和query image的標(biāo)記窗口之間的相似性。另一種方法如下圖(b)，LSTD框架選擇利用來自新感興趣的類的support樣本來優(yōu)化區(qū)域候選網(wǎng)絡(luò)(RPN，即取代傳統(tǒng)的滑動(dòng)窗口方案)和基于深度學(xué)習(xí)的檢測器，并期望原始檢測流能夠以有限的支持樣本數(shù)量自適應(yīng)地識(shí)別新類。

由于這兩種方法的基本相似性，結(jié)果表明，這兩種方法通過將新類的support圖像作為條件處理，可以與條件目標(biāo)檢測模型相等。

然后，研究者就提出了將檢測問題更好地命名為one-shot條件目標(biāo)檢測。并設(shè)計(jì)了一個(gè)基于可學(xué)習(xí)度量和two-stages檢測模型的通用one-shot條件目標(biāo)檢測框架(OSCD)，如上圖(c)。

條件目標(biāo)檢測與目標(biāo)檢測之間存在一些區(qū)別。

首先，他們有不同的目標(biāo)。條件目標(biāo)檢測的目的是檢測與測試圖像中給定的條件圖像相似的對象。因此，條件目標(biāo)檢測可以檢測到屬于不可見類別的對象。而目標(biāo)檢測是檢測所有屬于訓(xùn)練類別的對象，不能檢測看不見類對象；其次，這兩種方法有不同的訓(xùn)練方式。條件目標(biāo)檢測的訓(xùn)練是基于support和query圖像對。而目標(biāo)檢測是標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)，并有足夠的訓(xùn)練樣本；第三，這兩種方法有不同的評價(jià)標(biāo)準(zhǔn)，在各種support和query圖像對上評估了條件目標(biāo)檢測模型，而目標(biāo)檢測模型則在許多檢測圖像上進(jìn)行了評估。

三、新框架

在one-shot條件目標(biāo)檢測的設(shè)置中，數(shù)據(jù)通常成對組織，由support和query圖像組成。support圖像通常包含一個(gè)主導(dǎo)的目標(biāo)對象（人或馬），并且模型應(yīng)該能夠在query圖像中檢測到屬于目標(biāo)對象類別的對象。

對于目標(biāo)檢測，假設(shè)在感興趣的類中沒有足夠的樣本，從而導(dǎo)致公共監(jiān)督學(xué)習(xí)方法的性能較差。此外，我們可能不知道在未來的任務(wù)中存在哪些類別。更嚴(yán)重的挑戰(zhàn)是，“目標(biāo)”可以是任何令人感興趣的模式。所有這些問題都使得目標(biāo)檢測任務(wù)對傳統(tǒng)方法來說極其困難。因此，提出了one-shot的條件目標(biāo)檢測方法來解決上述問題。

如下圖所示。One-shot條件檢測的目標(biāo)是根據(jù)查詢圖像中的給定條件（目標(biāo)對象的單個(gè)支持圖像）來檢測對象。在one-shot條件檢測的情況下，在許多支持查詢的可見類圖像對上訓(xùn)練一個(gè)模型，以獲得強(qiáng)先驗(yàn)。一旦訓(xùn)練，模型可以從具有單一支持圖像的看不見類中檢測屬于目標(biāo)類別的所有對象。

通用目標(biāo)檢測器(Faster R-CNN)和提出的OSCD。Faster?R-CNN可以定位和識(shí)別可見類（人）的對象，但無法對看不見類（馬）的對象進(jìn)行分類。相比之下，所提出的OSCD實(shí)現(xiàn)了C-RPN和C-Detector的條件目標(biāo)檢測，以更加關(guān)注支持類的對象，并過濾掉其他類的無關(guān)對象。

上圖，(a)C-RPN：S操作連接全局平均和最大池support features，并通過卷積層生成顯著support features，然后T平鋪突出support features使平鋪support features具有與query features相同的空間大小，因此F可以連接平鋪support features來查詢特征。C1、C2是兩個(gè)卷積層。(b)C-Detector：從C-RPN中選擇候選區(qū)域的query features，然后將它們與support features結(jié)合起來。R表示調(diào)整大小的操作，F(xiàn)表示深度上的連接。可學(xué)習(xí)的度量模塊由一個(gè)用于降維的卷積層和兩個(gè)用于檢測的全連接層組成。

四、實(shí)驗(yàn)及可視化

?(a) The generation process of support-query image pairs on the FashionOSCD dataset.

?(b) Examples for the Fashion-OSCD dataset. Green boxes denote?ground truth bounding boxes. Each image contains as much as 3 objects with?multiple scales and aspect ratios.

五、分析總結(jié)

研究者提出了一種新的one-shot條件目標(biāo)檢測框架。一個(gè)精心設(shè)計(jì)的C-RPN和C-Detector已經(jīng)被實(shí)現(xiàn)，以形成一個(gè)粗到細(xì)的two-stages條件檢測通道。在這two-stages，模型通過所提出的特征融合模塊和可學(xué)習(xí)的度量模塊來學(xué)習(xí)識(shí)別和定位支持類對象。在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明了新方法在one-shot條件目標(biāo)檢測方面取得了最先進(jìn)的性能。

雖然模型取得了良好的結(jié)果，但仍然有一些局限性：模型和具有足夠訓(xùn)練樣本的傳統(tǒng)監(jiān)督學(xué)習(xí)檢測器之間的性能差距很大，模型的計(jì)算開銷大于傳統(tǒng)的監(jiān)督學(xué)習(xí)檢測器。研究者需要繼續(xù)改進(jìn)所提出的框架，如利用triplet loss來提取更具表現(xiàn)力的深度特征和探索更好的Siamese networks。

感覺研究者進(jìn)行本研究時(shí)，還缺乏相關(guān)的OSCD研究。SiamFC and SiamRPN是研究者們所能找到的最相關(guān)的方法。在未來，可以把新方法與更多的one-shot目標(biāo)檢測方法進(jìn)行比較。

努力分享優(yōu)質(zhì)的計(jì)算機(jī)視覺相關(guān)內(nèi)容，歡迎關(guān)注：

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計(jì)算攝影、檢測、分割、識(shí)別、NeRF、GAN、算法競賽等微信群

個(gè)人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文