本文從小樣本目標檢測任務和問題、學習策略、檢測方法、數(shù)據(jù)集與實驗等角度出發(fā)，對當前小樣本目標檢測的研究成果加以梳理和總結。???
今天給大家?guī)硪黄P于小樣本目標檢測的研究綜述。希望這篇文章能對你有所幫助，讓你在學習和應用AI技術的道路上更進一步！
小樣本目標檢測(Few-shot Object Detection, FSOD)旨在通過少量標注樣本實現(xiàn)對圖像中目標的分類和定位。從概念上來講，小樣本目標檢測是指在帶有大量注釋信息的基類數(shù)據(jù)集上訓練得到基類檢測模型，僅利用極少標注的新類數(shù)據(jù)集和基類模型提供的先驗知識實現(xiàn)對新類的檢測，如圖 1 所示
圖 2 從數(shù)據(jù)流向的角度展示了小樣本目標檢測及其相似任務之間的區(qū)別與聯(lián)系
圖2 小樣本目標檢測及其相似任務的區(qū)別與聯(lián)系
小樣本目標檢測中的三個核心問題：過擬合、域偏移和數(shù)據(jù)及分布偏差。
過擬合。小樣本目標檢測的核心問題之一是過擬合。當新類數(shù)據(jù)與基類數(shù)據(jù)屬于同域，且新類別僅有少量的訓練樣本可用，同時還需考慮目標的分類和定位任務時，在訓練深度檢測模型時極易造成模型過擬合，使訓練良好的檢測模型在新類數(shù)據(jù)集上性能較差，從而導致模型的泛化能力不足和魯棒性差等問題。換言之，小樣本數(shù)據(jù)集與模型復雜度間的高度不匹配導致了模型訓練問題，因此，如何在小樣本條件下進行模型訓練，降低模型的學習難度，進一步增強模型的泛化性能成為當前小樣本檢測技術發(fā)展的難點之一。
域偏移。目前，小樣本目標檢測方法通常是借助大規(guī)?；悢?shù)據(jù)集來學習通用知識，同時將這些知識遷移至新任務的學習中。然而，當源域和目標域數(shù)據(jù)具有不同的數(shù)據(jù)分布時，可能出現(xiàn)域偏移問題。域偏移是指源域訓練的模型在應用于具有不同統(tǒng)計量的目標域時表現(xiàn)不佳，屬于異構遷移學習的范疇。具體而言，當源域的基類與目標域的新類數(shù)據(jù)間存在較大的域差異，且二者共享的知識較少時，將基類訓練的模型作為知識遷移至新類時很可能出現(xiàn)負遷移，從而導致模型對新任務的檢測性能不佳，這就是通常所說的域偏移問題。因此，如何利用先驗知識彌補樣本數(shù)據(jù)量不足問題，是當前研究面臨的巨大挑戰(zhàn)之一。與此同時，構建小樣本下的檢測模型，需綜合考慮合適的先驗知識和遷移策略，因此，如何有效地將源域知識遷移并泛化至目標域有待進步探索。
數(shù)據(jù)及分布偏差。數(shù)據(jù)集本質(zhì)上是從數(shù)據(jù)分布中觀察到的樣本集合。然而，當訓練樣本數(shù)量不充足時，數(shù)據(jù)的多樣性降低，導致數(shù)據(jù)偏差及分布偏差等問題。與大規(guī)模的數(shù)據(jù)集相比，有限的訓練數(shù)據(jù)會放大數(shù)據(jù)集中的噪聲，造成數(shù)據(jù)偏差，比如對于相同類別的圖像存在較大的類內(nèi)變化，不同類別的圖像間的距離較小等等。而且，因目標域樣本極其有限，無法準確地表征目標域的真實數(shù)據(jù)分布，導致目標域類別間及類別與背景間相互混淆，從而影響模型的檢測精度。因此，如何提升訓練數(shù)據(jù)的多樣性，降低分類混淆，進而保證小樣本檢測模型的穩(wěn)定性具有很大的研究空間。
針對小樣本下的模型訓練問題，當前的小樣本目標檢測方法通?；谌蝿盏膃pisode訓練策略和基于數(shù)據(jù)驅(qū)動的訓練策略這兩種學習策略。
基于任務的 episode 訓練策略。基于任務的 episode 訓練策略以任務為基本單元，每個任務的數(shù)據(jù)集分為支持集和查詢集，其目標是從大量訓練任務中獲取先驗知識，從而能夠通過少量數(shù)據(jù)在新任務中更快地學習。整個訓練過程可分為元訓練和元測試兩個階段，在元訓練階段，通過組合不同的訓練集構建不同的元任務，使得模型學習獨立于任務的泛化能力；在元測試階段，模型不需要重新訓練或僅需少量迭代次數(shù)即可學習新任務，最終實現(xiàn)“學會學習”。在訓練過程中，模型通過支持集中的樣本進行學習，然后在查詢集中進行測試和評估。圖3展示了 2-way 3-shot 任務的訓練范式。
該策略的優(yōu)點在于能夠快速獲取先驗知識，從而在新任務中更快地學習，但其要求所有任務滿足同分布，其任務的設計可能限制了模型的學習能力。
基于數(shù)據(jù)驅(qū)動的訓練策略?；跀?shù)據(jù)驅(qū)動的訓練策略任務，采用“預訓練微調(diào)”的訓練范式，直接針對數(shù)據(jù)集進行訓練，在具有大量注釋的基類數(shù)據(jù)集上進行預訓練獲得基類檢測模型，在小樣本數(shù)據(jù)集上進行微調(diào)泛化至新類。在訓練過程中，模型通過批量數(shù)據(jù)進行學習，然后在小的數(shù)據(jù)集上通過微調(diào)實現(xiàn)模型的可遷移性，使其泛化至新任務。圖4展示了基于數(shù)據(jù)驅(qū)動的訓練策略。
圖4 基于數(shù)據(jù)驅(qū)動的訓練策略
該策略的優(yōu)點在于能夠通過數(shù)據(jù)增強等方式增加數(shù)據(jù)的多樣性，提高模型的泛化能力，但其需要大量的標注數(shù)據(jù)進行訓練，且可能存在過擬合的問題。
從工作原理的角度出發(fā)，我們將小樣本目標檢測方法分為基于元學習的方法、基于遷移學習的方法、基于數(shù)據(jù)增強的方法以及基于度量學習的方法四類。表 1 對這四類方法進行了簡要地概括和對比。
基于元學習的方法核心思想是通過模擬一系列相似的小樣本任務，將先驗知識從注釋豐富的基類遷移至數(shù)據(jù)匱乏的新類之上，以應對樣本數(shù)量不足的問題。元學習方法以任務為單元進行訓練，通過任務和數(shù)據(jù)的雙重采樣來設計不同的小樣本任務，使其能夠利用少量的支持集樣本快速更新模型參數(shù)，最終在特定任務下僅需少量迭代即可快速泛化至新任務，不需要進一步微調(diào)。基于元學習的方法在小樣本目標檢測中取得了一定的成果，但是其設計較為困難，且在學習迭代過程中易出現(xiàn)不收斂問題。
圖5將Faster RCNN作為基礎檢測模型，構建了基于元學習的小樣本目標檢測框架。該框架通常采用并行結構，整個流程包括元訓練和元測試兩個階段。
基于遷移學習的方法與基于元學習的方法不同，基于遷移學習的方法不需要設計訓練任務，而是通過微調(diào)的方式將基類訓練的檢測模型遷移至新類。該方法不需要任務間存在很強的關聯(lián)性，且更強調(diào)在遷移的新任務上的性能，但依然存在諸多挑戰(zhàn)與難點?；谶w移學習的方法在小樣本目標檢測中也取得了一定的成果，但是需要解決的問題包括如何減少目標混淆、增強新類特征表示、保持基類的性能等。
圖6以兩階段檢測模型為基礎，構建了基于遷移學習的小樣本目標檢測框架該框架分為基類訓練和小樣本微調(diào)兩個階段。
基于數(shù)據(jù)增強的方法旨在通過生成更多新類樣本、增強新類特征表示或為模型提供其他信息等方式，克服訓練樣本短缺的局限性。對于目標檢測任務而言，可以采用兩種數(shù)據(jù)增強方式：一是不改變標注框的增強方式，如色彩變換、高斯噪聲以及彈性變換等等；二是改變標注框的增強方式，如裁剪變換、旋轉(zhuǎn)變換以及鏡像變換等。在小樣本目標檢測中，數(shù)據(jù)增強方法可以提升數(shù)據(jù)及分布的多樣性，從而提高模型的泛化能力。目前，一些工作從如何生成更多示例的角度展開研究，而另一些工作則從未標記/弱標記的圖像或語義信息中，如何為模型提供額外的先驗知識的角度出發(fā)展開研究，提出了一系列創(chuàng)新性方法，并取得了令人可喜的研究成果。
圖 7展示了基于Faster RCNN模型的基于數(shù)據(jù)增強的小樣本目標檢測方法。當前方法分為三類：樣本與特征空間增強、引入未標記或弱標記數(shù)據(jù)及引入額外的語義信息。
圖 7 基于數(shù)據(jù)增強的小樣本檢測方法
基于度量學習的方法核心思想是將小樣本目標檢測視為小樣本分類問題，通過學習比較的思想，在小樣本圖像分類任務下取得了良好的性能。該類方法主要從支持集圖像的類原型表示、度量機制的實現(xiàn)以及損失函數(shù)設計等三個角度分別進行改進。然而，不能簡單地將小樣本分類中的度量方法直接應用于小樣本目標檢測中，其原因在于檢測模型需要知道潛在目標區(qū)域才能進行比較。因此，基于度量學習的小樣本目標檢測方法需要在度量學習的基礎上，進一步考慮如何捕捉目標區(qū)域的信息，以提高檢測性能。
圖 8 給出了基于度量學習的小樣本目標檢測框架。度量模塊的結構如圖 9所示。
當前小樣本目標檢測的數(shù)據(jù)集主要包括PASCAL VOC、MSCOCO、LVIS和FSOD等四個數(shù)據(jù)集。數(shù)據(jù)集的概況如表 2 所示。
表 2 小樣本目標檢測常用數(shù)據(jù)集及其劃分方式
表3列出了在三種不同的基類/新類類別分割設定下，小樣本目標檢測典型方法在PASCALVOC數(shù)據(jù)集下的新類檢測性能。表中紅色加粗/藍色加粗分別表示性能最優(yōu)/次優(yōu)結果，下表同。
表 3 PASCAL VOC 數(shù)據(jù)集中對新類的小樣本檢測性能
由表3可知，大多數(shù)方法采用Faster RCNN作為基礎檢測模型，目前性能最好的方法是UniT。此外，基于遷移學習方法的性能在大多數(shù)任務下達到 SOTA，基于元學習方法的性能僅次于基于遷移學習方法，基于數(shù)據(jù)增強和度量學習方法的性能較差，表明在 PASCAL VOC 數(shù)據(jù)集上還有較大的提升空間。
表4給出了第一次分割下，四類經(jīng)典方法對基類遺忘性能的比較。其中，nAP50表示IoU閾值等于0.5時的新類檢測性能，bAP50表示IoU閾值等于0.5時的基類檢測性能。從實驗結果中可看出，基于遷移學習的兩種方法TFA和SRR-FSD分別在基類和新類的檢測精度指標上達到了最新水平。
表 4 PASCAL VOC數(shù)據(jù)集下基類和新類的小樣本檢測性能
表5列舉了四類經(jīng)典的小樣本目標檢測方法在COCO數(shù)據(jù)集上的新類檢測性能對比。其中，每類采用10個樣本和30個樣本，nAP表示新類別的平均檢測性能，nAP50表示IoU閾值等于0.5時的新類別檢測性能。從實驗結果中可以看出，對于檢測難度較大的COCO數(shù)據(jù)集而言，基于小樣本的檢測性能還有較大的提升空間。
表 5 四類經(jīng)典方法在COCO數(shù)據(jù)集10/30個樣本下的新類檢測性能
表6列舉了TFA方法與聯(lián)合訓練方法在LVIS數(shù)據(jù)集10-shot下的新類檢測性能。
表 6 兩種方法在LVIS數(shù)據(jù)集10個樣本下的新類檢測性能
表7列舉了四種小樣本目標檢測方法在FSOD數(shù)據(jù)集上的新類別檢測性能對比。從實驗結果中可以看出，基于元學習的方法FSOD和MM-FSOD不需要后續(xù)的微調(diào)步驟就能檢測新類別，且MM-FSOD方法的性能與FSOD方法相比平均高出17.95%，而基于遷移學習的LSTD方法則需要進一步的微調(diào)。
表 7 四種方法在FSOD數(shù)據(jù)集5個樣本下的新類檢測性能
盡管小樣本目標檢測取得了顯著進步，但各類方法仍受限于特定應用場景和局限。目前的算法在有限監(jiān)督下的小樣本場景表現(xiàn)良好，然而在復雜場景，如持續(xù)增量學習、弱監(jiān)督或域適應等方面的小樣本目標檢測仍面臨挑戰(zhàn)。特別是，針對無人機和機器人領域的持續(xù)增量小樣本檢測的研究相對匱乏，相關試驗性驗證也不充分。同時，弱監(jiān)督或域適應小樣本目標檢測尚處于起步階段，需根據(jù)特定領域知識和任務特性設計有針對性的小樣本檢測算法。此外，算法的實際應用也面臨挑戰(zhàn)，但在人工智能各個領域具有廣泛的應用價值和研究意義。因此，在復雜場景下，研發(fā)有效的小樣本目標檢測方法及其應用仍是一個重要的研究方向。
下載APP