解析目標(biāo)檢測(cè)全流程！附代碼數(shù)據(jù)

在計(jì)算機(jī)視覺(jué)中，紅外弱小目標(biāo)檢測(cè)是一個(gè)重要的方向，但直到近一兩年，才開(kāi)始運(yùn)用一些深度學(xué)習(xí)的方法。深度學(xué)習(xí)自2012年就開(kāi)始大火，為何近一兩年才更多被應(yīng)用于弱小目標(biāo)檢測(cè)？

個(gè)人認(rèn)為主要是由于數(shù)據(jù)集的制約。紅外弱小目標(biāo)成像特殊，一般獲得海量的真實(shí)數(shù)據(jù)非常困難（很多實(shí)驗(yàn)數(shù)據(jù)由人工合成）；另一方面多被應(yīng)用于軍事領(lǐng)域，即使擁有大量真實(shí)數(shù)據(jù)也不被輕易公開(kāi)。至今，仍然鮮有公開(kāi)的可供應(yīng)用和研究的標(biāo)準(zhǔn)紅外弱小目標(biāo)數(shù)據(jù)集。

本文將從傳統(tǒng)圖像方法+機(jī)器學(xué)習(xí)的角度來(lái)說(shuō)明如何進(jìn)行紅外弱小目標(biāo)檢測(cè)，所用數(shù)據(jù)集（MSDIT）均為自己拍攝和標(biāo)注，部分?jǐn)?shù)據(jù)已上傳至開(kāi)源數(shù)據(jù)平臺(tái)Graviti，供感興趣的同學(xué)學(xué)習(xí)和研究。

紅外弱小目標(biāo)數(shù)據(jù)集

我們構(gòu)建了一個(gè)多場(chǎng)景紅外弱小目標(biāo)數(shù)據(jù)集（MSIDT）。MSIDT 共計(jì) 6267 張圖像，包含約 6625 個(gè)紅外弱小目標(biāo)，包含建筑背景、凈空背景、復(fù)雜云背景、連續(xù)云背景、樹(shù)木背景及其他（海面、海天）背景 6 種通用場(chǎng)景。

下圖顯示了 MSIDT 的一些統(tǒng)計(jì)特性，MSIDT 涵蓋了紅外弱小目標(biāo)所有尺寸的變化范圍，其中 3*3 以?xún)?nèi)的點(diǎn)目標(biāo)占一半以上，另外，9*9 左右的面目標(biāo)約占 2%。MSIDT 具有成像真實(shí)(非理論合成)、目標(biāo)尺寸豐富、場(chǎng)景多樣的特性，且對(duì)所有目標(biāo)均進(jìn)行了標(biāo)注。

俗話(huà)說(shuō)，知己知彼百戰(zhàn)百戰(zhàn)不殆，我們接下來(lái)通過(guò)觀察分析一下紅外弱小目標(biāo)成像究竟有何特性：

• 目標(biāo)像素個(gè)數(shù)占整個(gè)圖像的比例非常少，根據(jù) SPIE 對(duì)弱小目標(biāo)的定義，"小"體現(xiàn)在：對(duì)于一幅 256×256 的紅外圖像，弱小目標(biāo)所占的面積一般在 81個(gè)像素以?xún)?nèi)，僅占整幅圖像的 0.12%；

• 缺失顏色特征、紋理特征和結(jié)構(gòu)特征，且容易和圖像中其他物體混淆，容易被噪聲淹沒(méi)。

• 在局部鄰域內(nèi)，目標(biāo)的灰度強(qiáng)度較高，表現(xiàn)為峰值；

• 目標(biāo)的灰度與相鄰的局部背景存在異質(zhì)性和對(duì)比性；

• 在局部鄰域內(nèi)，目標(biāo)具有孤立性，梯度和灰度在水平和垂直方向均有較大的變化。

• 目標(biāo)通常近似圓形或橢圓形，呈中心對(duì)稱(chēng)狀，灰度從中心向四周彌散， 可利用二維高斯函數(shù)對(duì)其進(jìn)行建模。

總體而言，做到精確地檢測(cè)紅外弱小目標(biāo)具有一定挑戰(zhàn)性，接下來(lái)，我們將根據(jù)紅外弱小目標(biāo)的成像特性設(shè)計(jì)算法進(jìn)行檢測(cè)工作。

紅外弱小目標(biāo)檢測(cè)過(guò)程

1. 計(jì)算顯著性圖和目標(biāo)尺寸

我們首先利用灰度分布計(jì)算得到一幅顯著性圖，以該顯著性圖為基礎(chǔ)進(jìn)行角點(diǎn)檢測(cè)以提取候選目標(biāo)。

另外，雖然弱小目標(biāo)很小，但其尺寸是變化的，要較準(zhǔn)確地對(duì)其特征進(jìn)行提取，就需要能自適應(yīng)地估計(jì)目標(biāo)的尺寸。

我們將目標(biāo)尺寸量化為3x3、5x5、7x7、9x9的規(guī)則尺寸，在紅外圖像的局部鄰域內(nèi)（如5x5的范圍內(nèi)），弱小目標(biāo)區(qū)域亮度通常高于其周?chē)尘皡^(qū)域，且背景區(qū)域的灰度變化較為平緩，所以我們可以利用多尺度灰度差分獲取顯著圖：即對(duì)于某一像素，用其不同尺寸鄰域內(nèi)的灰度均值差分的最大值表示其顯著性，簡(jiǎn)單來(lái)說(shuō)是分別使用3x3、5x5、7x7、9x9和11x11的濾波尺寸對(duì)圖像進(jìn)行均值濾波，然后3x3、5x5、7x7、9x9的濾波結(jié)果分別減11x11的濾波結(jié)果，取最大值作為顯著圖。

另一方面，我們觀察到，弱小目標(biāo)通常呈現(xiàn)為近似橢圓的形狀，灰度向四周彌散，與二維高斯函數(shù)類(lèi)似，二維高斯函數(shù)有一個(gè)特性，就是以其頂點(diǎn)為中心，隨著局部窗口的增大， 其中心區(qū)域的局部均值差分通常逐漸減小，而局部方差通常逐漸增大，局部均值差分與局部方差結(jié)合起來(lái)就可以對(duì)目標(biāo)的尺寸（二維高斯模板的尺寸）進(jìn)行估計(jì)：

表示計(jì)算顯著圖時(shí)不同濾波尺寸的局部方差，表示第K個(gè)尺度的局部方差，這里的尺度就是3x3、5x5、7x7、9x9大小的窗口。

最后取上式中最大值所對(duì)應(yīng)的尺度作為最優(yōu)目標(biāo)尺寸。對(duì)整個(gè)紅外圖像完成多尺度灰度-方差估計(jì)后，即可獲得顯著圖和每個(gè)像素位置對(duì)應(yīng)的最優(yōu)目標(biāo)尺寸（最優(yōu)目標(biāo)尺寸索引圖）。

2. 提取候選目標(biāo)ROI及NMS

在顯著圖中，紅外弱小目標(biāo)在水平和垂直方向的梯度變化均較為劇烈，這與角點(diǎn)的特征一致。所以我們可以將顯著圖中的紅外弱小目標(biāo)視為角點(diǎn)，并利用具有速度優(yōu)勢(shì)的 FAST 角點(diǎn)檢測(cè)定位視覺(jué)焦點(diǎn)以提取 ROI，且后續(xù)僅對(duì)這些 ROI 進(jìn)行特征提取避免了遍歷計(jì)算，可以提升檢測(cè)速度。

FAST角點(diǎn)檢測(cè)算法非常著名，在所有角點(diǎn)檢測(cè)算法中以速度極快著稱(chēng)，其具體原理非常簡(jiǎn)單，這里不作贅述。這里角點(diǎn)檢測(cè)會(huì)有一個(gè)問(wèn)題：FAST 角點(diǎn)檢測(cè)同樣會(huì)將目標(biāo)邊緣像素判斷為角點(diǎn)，所以，在 真實(shí)目標(biāo)周?chē)鷷?huì)產(chǎn)生一些冗余的檢測(cè)結(jié)果（下方右上圖密集的紅點(diǎn)），所以我們還需要做NMS。

我們進(jìn)行NMS的處理方式非常簡(jiǎn)單，主要思想是利用紅外弱小目標(biāo)中心區(qū)域的亮度平均要高于其邊緣區(qū)域這一特性，以候選角點(diǎn)為中心，計(jì)算原圖中其最優(yōu)尺寸區(qū)域內(nèi)的亮度平均，在一定鄰域內(nèi)刪除亮度平均較低的角點(diǎn)，保留該鄰域內(nèi)平均最高的角點(diǎn)。經(jīng)過(guò)NMS處理后會(huì)剔除所有目標(biāo)邊緣的角點(diǎn)，而僅保留一個(gè)靠近目標(biāo)中心的角點(diǎn)（上方右下圖只有一個(gè)紅點(diǎn)），后續(xù)將以該角點(diǎn)作為目標(biāo)中心點(diǎn)，由于紅外弱小目標(biāo)的尺寸通常在 9*9 以?xún)?nèi)，為了保留其周?chē)尘靶畔⒈阌谔卣魈崛。P者以角點(diǎn)為中心 21*21 的區(qū)域作為ROI，并畫(huà)出檢測(cè)框。

3. 手工構(gòu)建特征集

實(shí)現(xiàn)紅外弱小目標(biāo)準(zhǔn)確的識(shí)別與其特征描述的合理性和準(zhǔn)確性密切相關(guān)。根據(jù)弱小目標(biāo)的成像特性，我們構(gòu)建了一個(gè)包含 6 個(gè)特征的特征集對(duì)紅外弱小目標(biāo)進(jìn)行描述，并根據(jù)前文所述的最優(yōu)目標(biāo)尺寸進(jìn)行特征提取。

• 目標(biāo)區(qū)域灰度最大值

• 目標(biāo)區(qū)域灰度平均值

• 梯度特征

如下圖，紅外弱小目標(biāo)的梯度矢量場(chǎng)圍繞著目標(biāo)大致指向區(qū)域中心，可以先對(duì) ROI 內(nèi)每 個(gè)像素求梯度幅值和梯度方向，然后以 ROI 中心為原點(diǎn)將其劃分為 4 個(gè)象限，對(duì)每個(gè)象限中滿(mǎn)足梯度方向條件的像素求其梯度幅值的均方值，將4 個(gè)象限中梯度幅值均方值的最小值和最大值的比值作為梯度特征。

• 對(duì)比度
• 顯著度
• 方差特征

考慮到出現(xiàn)目標(biāo)的區(qū)域會(huì)存在劇烈的灰度變化，而其周?chē)尘耙话阆鄬?duì)較平滑，所以使用了方差特征，將ROI區(qū)域分成如下3個(gè)子塊，分別為BL、T1、BR和BU、T2、BD。S=21（當(dāng)然也可以自己設(shè)定），TS為目標(biāo)最優(yōu)尺寸，可以想象，當(dāng)目標(biāo)存在于T1和T2時(shí)，T1和T2的方差勢(shì)必會(huì)相對(duì)很大，而周?chē)鶥L、BR、BU、BD子塊為背景，方差相對(duì)較小。

所以方差特征就可以表示為T(mén)1和T2方差的均值除以周?chē)鶥L、BR、BU、BD子塊方差的均值。

4. SOFT-FATR網(wǎng)絡(luò)

接下來(lái)，我們就用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練了。這里我們選擇了FART（Fuzzy Adaptive Resonance Theory），這個(gè)網(wǎng)絡(luò)大家可能沒(méi)怎么聽(tīng)過(guò)，F(xiàn)ART是ART網(wǎng)絡(luò)的衍生，ART網(wǎng)絡(luò)在西瓜書(shū)的第5章有簡(jiǎn)略的描述，他們屬于競(jìng)爭(zhēng)型學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸出神經(jīng)元相互競(jìng)爭(zhēng)，每一時(shí)刻僅僅允許有一個(gè)獲勝神經(jīng)元被激活，其他神經(jīng)元?jiǎng)t被抑制，這類(lèi)神經(jīng)網(wǎng)路遵循這種"勝者通吃"的機(jī)制。

那么為什么我們選擇這個(gè)網(wǎng)絡(luò)呢？高顯著性物體尤其某些形態(tài)類(lèi)似于弱小目標(biāo)的物體（如路燈）對(duì)檢測(cè)任務(wù)會(huì)產(chǎn)生較大干擾，這種情況下將很難分類(lèi)或界定真實(shí)目標(biāo)和背景。這一問(wèn)題可以視為不確定性問(wèn)題或不精確性問(wèn)題，而模糊神經(jīng)網(wǎng)絡(luò)能有效地解決這類(lèi)問(wèn)題，所以對(duì)于弱小目標(biāo)檢測(cè)，我們選擇嘗試一下FART網(wǎng)絡(luò)。

另外，我們對(duì)FART做了一些小小的改進(jìn)，原因是FART 網(wǎng)絡(luò)采用僅允許一個(gè)獲勝節(jié)點(diǎn)進(jìn)行更新學(xué)習(xí)的硬競(jìng)爭(zhēng)機(jī)制，浪費(fèi)了神經(jīng)節(jié)點(diǎn)的信息。在實(shí)際競(jìng)爭(zhēng)中，往往存在多個(gè)滿(mǎn)足警戒條件的獲勝神經(jīng)節(jié)點(diǎn)，而多個(gè)神經(jīng)節(jié) 點(diǎn)之間存在相互抑制的現(xiàn)象。所以利用生物側(cè)抑制理論，并與余弦相似度結(jié)合設(shè)計(jì)了軟競(jìng)爭(zhēng)模糊自適應(yīng)共振網(wǎng)絡(luò)（Soft-FART），Soft-FART 網(wǎng)絡(luò)允許對(duì)所有滿(mǎn)足警戒條件的獲勝神經(jīng)節(jié)點(diǎn)進(jìn)行學(xué)習(xí)更新，可以提高神經(jīng)節(jié)點(diǎn)信息的利用率，以克服傳統(tǒng) FART 網(wǎng)絡(luò)硬競(jìng)爭(zhēng)機(jī)制的不足。

Soft-FART 網(wǎng)絡(luò)的輸入層 F0、比較層 F1 和識(shí)別層 F2 即為傳統(tǒng) FART 網(wǎng)絡(luò)。與傳統(tǒng) FART 網(wǎng)絡(luò)不同的是，Soft-FART 網(wǎng)絡(luò)將競(jìng)爭(zhēng)中所有滿(mǎn)足警戒條件的獲勝 神經(jīng)節(jié)點(diǎn)組成勝出層 F3 和抑制層 F4。

當(dāng)輸入矢量 I 傳遞給 F1 層時(shí)，F(xiàn)1 層對(duì) F2 層各個(gè)神經(jīng)節(jié)點(diǎn)均產(chǎn)生一個(gè)選擇 信號(hào) ，同時(shí) F2 層給 F1 層傳遞一個(gè)反饋信號(hào)，篩選出所有滿(mǎn)足警戒條件的 獲勝神經(jīng)節(jié)點(diǎn)，而非僅允許一個(gè)神經(jīng)節(jié)點(diǎn)勝出。

然后，在抑制層利用側(cè)抑制理論計(jì)算各獲勝神經(jīng)節(jié)點(diǎn)之間的側(cè)抑制系數(shù) 并傳遞至勝出層；同時(shí)在勝出層計(jì)算出各獲勝節(jié)點(diǎn)與輸入矢量的余弦相似度 作 為各獲勝節(jié)點(diǎn)未受抑制時(shí)的初始興奮信號(hào)；最后勝出層結(jié)合側(cè)抑制系數(shù) 和初始興奮信號(hào)計(jì)算出各獲勝節(jié)點(diǎn)的實(shí)際興奮信號(hào) ，并將該信號(hào)反饋至 F2 層對(duì) 所有獲勝節(jié)點(diǎn)進(jìn)行權(quán)值更新。每次競(jìng)爭(zhēng)學(xué)習(xí)完成后，將本次勝出層和抑制層的神 經(jīng)節(jié)點(diǎn)清除，下一次競(jìng)爭(zhēng)出的獲勝神經(jīng)節(jié)點(diǎn)將重新組成勝出層和抑制層。

采用 Soft-FART 對(duì)紅外弱小目標(biāo)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)：相似環(huán)境下（特征相似， 滿(mǎn)足警戒引起共振）的弱小目標(biāo)數(shù)據(jù)會(huì)被歸為同一"類(lèi)"，然后對(duì)特征權(quán)重進(jìn)行學(xué)習(xí)修正，以更泛化地描述該環(huán)境下的弱小目標(biāo)；對(duì)于新環(huán)境下（特征有一定區(qū)別，無(wú)法引起共振）的弱小目標(biāo)數(shù)據(jù)，網(wǎng)絡(luò)通則產(chǎn)生新的神經(jīng)節(jié)點(diǎn)以對(duì)該新環(huán)境下的弱小目標(biāo)進(jìn)行記憶；最后通過(guò)網(wǎng)絡(luò)的迭代學(xué)習(xí)，當(dāng)特征 權(quán)重趨于穩(wěn)定或不再變化時(shí)即停止學(xué)習(xí)生成訓(xùn)練模型。

5. 檢測(cè)流程

檢測(cè)效果

這個(gè)方法在MSIDT數(shù)據(jù)集上的準(zhǔn)確率為98%，召回率88%，F(xiàn)1是0.925，還有很大的提升空間。

代碼和數(shù)據(jù)

https://github.com/2209520576/Infrared-Dim-Target-Detection-Based-on-Human-Visual-Mechanism

https://gas.graviti.cn/dataset/datawhale/MSIDT

# 主要數(shù)據(jù)已上傳開(kāi)源數(shù)據(jù)平臺(tái)Graviti