?綜述 | 非制冷紅外圖像降噪算法
點擊左上方藍(lán)字關(guān)注我們
王加，周永康，李澤民，王世錦，曾邦澤，趙德利，胡健釧
昆明物理研究所，陸軍裝備部駐重慶地區(qū)軍事代表局駐昆明地區(qū)第一軍代室
?
摘要：紅外圖像處理中，由于非制冷紅外探測器工藝技術(shù)上的原因，原始的紅外圖像包含多種噪聲，尤其是椒鹽噪聲、固定或隨機(jī)條紋噪聲。當(dāng)前有許多紅外圖像降噪的濾波算法，但在時間、空間、降噪效果、細(xì)節(jié)保持等方面各有側(cè)重，難以實現(xiàn)完美結(jié)合。如何更快速、更高效、更準(zhǔn)確地濾除噪聲信息，保留更多的細(xì)節(jié)信息，是今后紅外圖像處理降噪研究的關(guān)鍵方向。本文調(diào)研了目前主流的紅外圖像降噪算法，并從傳統(tǒng)濾波降噪、變換域濾波降噪、基于圖像分層處理濾波降噪三大類別進(jìn)行了分析比較，并且提出了一種結(jié)合傳統(tǒng)算法和基于圖像分層的自適應(yīng)降噪算法，為今后的相關(guān)領(lǐng)域研究人員提供參考。
?
關(guān)鍵詞：紅外圖像降噪；自適應(yīng)降噪；傳統(tǒng)濾波器；圖像分層濾波器變換域濾波器
?
0?引言
?
非制冷紅外探測系統(tǒng)多用于軍事領(lǐng)域，紅外圖像屬于灰度圖像，由于受到探測器的限制和多種外界環(huán)境因素的干擾，普遍存在灰度范圍窄、圖像對比度低、信噪比小、圖像邊緣模糊、高頻細(xì)節(jié)信息少等缺陷。紅外圖像具有明顯的椒鹽噪聲（主要來源于非制冷探測器響應(yīng)不均勻）以及固定或隨機(jī)條紋噪聲。在軍用領(lǐng)域內(nèi)，對非制冷紅外探測系統(tǒng)的實時性有很高要求，對生成的紅外圖像的細(xì)節(jié)信息和捕捉小目標(biāo)信息同樣有著更高的要求。因此需要開發(fā)一種實時性高且占用資源小的算法對紅外圖像進(jìn)行降噪處理。對紅外圖像的降噪研究至今，研究人員們嘗試更加充分地利用圖像信號的各種特性，最大限度地過濾紅外圖像的噪聲信息，盡可能地保留圖像細(xì)節(jié)信息的完整性。傳統(tǒng)的濾波器比如高斯濾波、均值濾波、中值濾波對細(xì)節(jié)信息的保留不足，無法滿足軍用的要求。對紅外圖像進(jìn)行分層處理如引導(dǎo)濾波、雙邊濾波、加權(quán)最小二乘濾波，對細(xì)節(jié)信息的保留有所改善，但是仍需要進(jìn)一步的改善。變換域濾波中如小波變換、Contourlet變換、三維塊匹配算法（Block-Matching and 3Dfiltering簡稱BM3D算法）對細(xì)節(jié)保留有較好的效果，但是算法復(fù)雜度較高，實時性不足，難以滿足工程應(yīng)用的要求。如何在滿足實時性要求的前提下最大限度地保留細(xì)節(jié)信息和小目標(biāo)信息，實現(xiàn)降噪是亟待解決的問題。
?
1?傳統(tǒng)的濾波算法
?
傳統(tǒng)的濾波算法包括高斯濾波、均值濾波以及中值濾波。這幾類濾波算法是通過分析在一定大小的窗口內(nèi)中心像素與其他相鄰像素之間在灰度空間的直接聯(lián)系，來獲取新的中心像素值的方法。高斯濾波器用像素鄰域的加權(quán)均值來代替該點的像素值，但是由于高斯濾波對每個像素都進(jìn)行線性濾波，所以導(dǎo)致其降噪能力并不算理想。均值濾波處理是使噪聲部分被弱化到周圍像素點上，所得到的結(jié)果是噪聲幅度減小，不能完全消除噪聲，并且噪聲點的顆粒面積同時變大，所以噪聲點所占比例反而擴(kuò)大了。中值濾波通過統(tǒng)計模板內(nèi)部所有像素的平均中值，能夠較好地消除椒鹽噪聲，但是會使圖像變模糊，并且對邊緣細(xì)節(jié)信息的損失較大。
?
1.1?高斯濾波
?
高斯濾波是對整個圖像進(jìn)行加權(quán)平均的過程，即使用一個特定的窗口對圖像中的每一個像素點進(jìn)行掃描，用窗口確定范圍內(nèi)像素的加權(quán)平均灰度值去替換窗口中心像素點的值。
?
文獻(xiàn)[1]提出了一種改進(jìn)的自適應(yīng)高斯濾波算法的降噪方法，運用高斯核中的參數(shù)，作為對應(yīng)窗口中的權(quán)重，將像素矩陣中的每一個灰度值都關(guān)聯(lián)起來，最終達(dá)到降噪的目的。此方法通過算法發(fā)現(xiàn)改進(jìn)的自適應(yīng)高斯濾波算法具備一定的通用性。但是，針對不同強(qiáng)度以及不同類型的噪聲下是否仍然具備同樣降噪效果，仍需大量實驗反復(fù)驗證，以提高算法的適用性。
?
1.2?均值濾波
?
均值濾波是一種直接在空間域上進(jìn)行平滑處理的算法，是一種較為直觀的線性濾波方式，主要通過在領(lǐng)域內(nèi)各像素的平均灰度值替換初始的灰度值。
?
均值濾波算法使用簡便，易于實現(xiàn)，對于濾除圖像中產(chǎn)生的椒鹽噪聲效果較好，但是會造成圖像的過于平滑，從而導(dǎo)致圖像會變得模糊，造成細(xì)節(jié)信息的丟失。
?
文獻(xiàn)[2]針對邊緣細(xì)節(jié)信息的不足，提出了一種基于均值濾波的算法上增添了梯度影響因子的濾波算法，更好地降低噪聲的同時將細(xì)節(jié)信息保留下來，但是增加了算法的復(fù)雜度，實時性不足，仍需要進(jìn)一步研究。
?
1.3?中值濾波
?
中值濾波屬于非線性濾波，是對一個滑動領(lǐng)域內(nèi)的所有像素灰度值進(jìn)行排序，找到其中間值，用中間值代替中心像素原來灰度值的算法。對于這種算法而言，正確選擇領(lǐng)域尺寸的大小是一個較為重要的步驟。對于處理簡單模型的噪聲時，如均勻空曠區(qū)域背景下的噪聲，具有較好的效果，但是對于圖像的細(xì)節(jié)部分噪聲處理較為乏力，尤其對于圖像的邊角區(qū)域，易造成細(xì)節(jié)信息丟失。
?
在中值濾波計算時，選取的是窗口的中間值，如果中間值和原始值差距較大，則會改變原始圖像的信息特征，例如將圖像中的點或者線信息當(dāng)成是噪聲進(jìn)行濾除?；谥兄禐V波改進(jìn)了加權(quán)中值濾波器，自適應(yīng)中值濾波也是對中值濾波缺點的改進(jìn)。
?
文獻(xiàn)[3]針對紅外圖像的降噪處理，提出了一種改進(jìn)的中值濾波器算法，改進(jìn)的自適應(yīng)窗口中值濾波器能夠在濾除較明顯的椒鹽噪聲的同時，還能更完整地保留紅外圖像的細(xì)節(jié)信息，對比于傳統(tǒng)的中值濾波器，處理的效果更為理想。但是仍然存在一些可以繼續(xù)改進(jìn)的部分，例如在一些細(xì)節(jié)信息得以保留的同時，能否使圖像整體的均勻性更佳。
?
2?基于圖像分層處理的濾波算法
?
當(dāng)前對紅外圖像降噪處理應(yīng)用較為主流的方法如圖1所示，是對圖像進(jìn)行分層處理，即通過低通濾波器將輸入圖像進(jìn)行平滑處理，作為背景層；再將輸入圖像與背景層圖像做差，得到圖像中的細(xì)節(jié)信息，作為細(xì)節(jié)層。由于細(xì)節(jié)層中包含所有高頻信息，所以不僅含有圖像的細(xì)節(jié)信息，也會含有噪聲信息。對細(xì)節(jié)層中所需要的真實細(xì)節(jié)進(jìn)行增強(qiáng)，對形成干擾的噪聲進(jìn)行降噪處理。最后，將處理過后的細(xì)節(jié)層與背景層合并，輸出圖像。
?
在紅外圖像分層處理中，目前較為主流的濾波器有引導(dǎo)濾波器、雙邊濾波器以及加權(quán)最小二乘濾波器。以上3種濾波器對于紅外圖像的細(xì)節(jié)信息有較好的平滑效果，通過與輸入圖像作差，從而將細(xì)節(jié)層從輸入圖像分離出來，達(dá)到細(xì)節(jié)提取的目的。
圖1 紅外圖像分層處理基本框架
文獻(xiàn)[4]提出了改進(jìn)的引導(dǎo)濾波算法，能更好地保護(hù)邊緣細(xì)節(jié)信息，進(jìn)一步提升了噪聲的抑制效果。文獻(xiàn)[5]提出了一種自適應(yīng)雙邊濾波結(jié)合自適應(yīng)高斯濾波的算法，通過自適應(yīng)高斯濾波解決了雙邊濾波帶來的梯度反轉(zhuǎn)的問題。進(jìn)一步抑制了噪聲對圖像的影響。
?
文獻(xiàn)[6]采用加權(quán)最小二乘濾波器將輸入的圖像進(jìn)行多尺度分層，用不同算法對不同層進(jìn)行處理后再將細(xì)節(jié)層和背景層合并，有效地避免了梯度反轉(zhuǎn)現(xiàn)象的產(chǎn)生，抑制了圖像噪聲。
?
2.1?基于引導(dǎo)濾波紅外圖像分層的降噪算法
?
引導(dǎo)濾波器屬于線性變換濾波的一種，通過一張導(dǎo)引圖，對輸入圖像進(jìn)行對比濾波處理，使得最后的輸出圖像接近于輸入圖像，但是細(xì)節(jié)部分與導(dǎo)引圖接近。引導(dǎo)濾波能在平滑圖像的同時對紅外圖像邊界保持可以起到較好的作用。引導(dǎo)濾波的數(shù)學(xué)模型如下表示：
式中：Qi為輸出圖像；Ii為引導(dǎo)圖像；Pi表示輸入圖像；i表示位置像素點；wk表示確定的窗口；建立了和每個像素點從輸入到輸出的關(guān)系；ak和bk是唯一確定的常量系數(shù)；︱w︱表示窗口內(nèi)像素點的個數(shù)；μk和σk2分別表示窗口wk內(nèi)的平均值和方差；Pk是輸入圖像在窗口wk中的平均值；ε為正則化參數(shù)，用于避免ak過大。
?
如圖2所示為經(jīng)過引導(dǎo)濾波分層之后，對細(xì)節(jié)層經(jīng)過中值濾波處理以及自適應(yīng)中值濾波處理后的細(xì)節(jié)層以及與背景層合并后的圖像。
?
2.2?基于雙邊濾波紅外圖像分層的降噪算法
?
雙邊濾波器屬于非線性濾波的一種，是綜合了圖像的空間鄰近度和像素值相似度的一種濾波處理方法，每個像素點的最終處理結(jié)果表示為其臨近區(qū)域各像素的加權(quán)均值。該加權(quán)均值既考慮空間鄰近度與像素灰度差值，也考慮空間域信息和灰度相似性，以達(dá)到保邊降噪的目的。對于一幅二維的灰度圖像，對位置的像素進(jìn)行濾波，具體數(shù)學(xué)模型如下所示：
圖2 引導(dǎo)濾波細(xì)節(jié)層處理效果對比圖
式中：I(x)和?(x)是降噪前后x處像素的灰度值；‖x， y‖22是二范數(shù)，表示歐式距離；wS為空間鄰近度因子；wr為亮度相似度因子；Z為權(quán)重的歸一化因子；σS2和σr2分別表示濾波強(qiáng)弱程度的方差參數(shù)；N(x)是以位置x為中心的模板濾波窗口。
?
如圖3所示為經(jīng)過雙邊濾波分層之后，對細(xì)節(jié)層經(jīng)過中值濾波處理以及自適應(yīng)中值濾波處理后的細(xì)節(jié)層以及與背景層合并后的圖像。
?
2.3?基于加權(quán)最小二乘濾波的紅外圖像降噪算法
?
加權(quán)最小二乘濾波目的是使得輸入圖像與經(jīng)過平滑處理后的圖像盡量相似，但是在邊緣部分盡量保持原狀，其數(shù)學(xué)模型表示如下：
式中：(i，j)表示圖像中的像素點坐標(biāo)，[Iout(i，j)-Iin(i，j)]2是為了使輸出圖像和輸入圖像之間的差距盡可能小，圖像平滑程度取決于平滑因子ai(Iin)和aj(Iin)，是和輸入圖像相關(guān)的平滑系數(shù)。λ用于平衡兩個多項式，數(shù)值越大圖像的平滑程度越高。
圖3 雙邊濾波細(xì)節(jié)層處理效果對比圖
?
式(11)的矩陣形式表示如式(12)所示：
式中：Ai和Aj分別為包含平滑因子的對角矩陣。Di和Dj為離散微分算子矩陣。求解取得最小值的線性系統(tǒng)如下所示：
式中：I為等階單位矩陣，對于平滑因子如下所示：
式中：l由輸入圖像取對數(shù)獲得，即l＝ln(Iin)，α作為控制細(xì)節(jié)的尺度，ε為一個很小的常量。
?
如圖4所示，為經(jīng)過加權(quán)最小二乘濾波分層之后，對細(xì)節(jié)層經(jīng)過中值濾波處理以及自適應(yīng)中值濾波處理后的細(xì)節(jié)層以及與背景層合并后的圖像。
?
2.4?自適應(yīng)降噪系數(shù)細(xì)節(jié)圖像處理
?
經(jīng)研究表明，人眼對均勻區(qū)域的細(xì)節(jié)圖像噪聲敏感程度更高，在復(fù)雜的細(xì)節(jié)區(qū)域中包含的噪聲，人眼相對而言不易察覺。在圖像細(xì)節(jié)多的區(qū)域，圖像的局部方差大，噪聲可能被細(xì)節(jié)所掩蓋，而在圖像細(xì)節(jié)少的區(qū)域，噪聲易于觀察到。在對細(xì)節(jié)層圖像進(jìn)行降噪時，使圖像的細(xì)節(jié)降噪系數(shù)根據(jù)圖像的不同區(qū)域自適應(yīng)地進(jìn)行變化，降噪系數(shù)公式如下所示：
式中：定義噪聲掩膜函數(shù)，m(i，j)與圖像的局部方差有關(guān)；v(i，j)用于表征噪聲可見性與掩膜函數(shù)之間的關(guān)系；gL為圖像低增益值；gH為圖像高增益值，在統(tǒng)計圖像中的某個像素點v(i，j)趨近于零時，該像素點的降噪系數(shù)取值相對較大，反之系數(shù)取值相對較小。為了不使圖像的細(xì)節(jié)層信息被過多的抑制，gL與gH的選值為較小的整數(shù)。
?
通過自適應(yīng)降噪系數(shù)，對圖像的細(xì)節(jié)層分區(qū)域進(jìn)行處理，將噪聲更多的進(jìn)行抑制，對細(xì)節(jié)進(jìn)行更明顯的增加。
?
如圖5所示，分別為經(jīng)過引導(dǎo)濾波、雙邊濾波以及加權(quán)最小二乘濾波分層之后，對細(xì)節(jié)層經(jīng)過自適應(yīng)降噪系數(shù)處理以后的細(xì)節(jié)層以及與背景層合并后的圖像。
圖4 加權(quán)最小二乘濾波細(xì)節(jié)層處理效果對比圖
?
3?變換域降噪算法
?
隨著紅外圖像降噪算法的多角度研究，也涌現(xiàn)出一些相對復(fù)雜的算法。小波變換是關(guān)于人眼視覺信息處理的一種較為理想的數(shù)學(xué)模型，它對信號的分解存在于空間域以及變換域兩個域中，而且具有在方向范圍內(nèi)將信息局部化表達(dá)出來的特性。Contourlet變換對于圖像的細(xì)節(jié)信息和線性信息具有較大的優(yōu)勢，在復(fù)雜噪聲的環(huán)境下也能獲得較好的降噪效果。BM3D降噪算法結(jié)合了空間域和變換域的算法，運用了兩次降噪的過程，經(jīng)過算法處理后殘留的噪聲更少，圖像細(xì)節(jié)保留得更為完好，是目前算法中效果領(lǐng)先的降噪算法。
圖5 自適應(yīng)降噪系數(shù)細(xì)節(jié)層處理效果對比圖
文獻(xiàn)[7]分析了小波閾值去噪的基本原理以及軟、硬閾值方法去噪的優(yōu)缺點，對閾值函數(shù)做了改進(jìn)。結(jié)果表明：采用改進(jìn)閾值的去噪方法在有效地減少紅外圖像噪聲的同時，能保留更多的圖像細(xì)節(jié)信息，去噪后的紅外圖像具有更高的信噪比，對紅外圖像中的噪聲具有良好的濾除效果。
?
文獻(xiàn)[8]提出一種了基于小波的非下采樣Contourlet變換并結(jié)合灰色系統(tǒng)理論的算法。首先分析灰色關(guān)聯(lián)度與非下采樣Contourlet變換系數(shù)間的關(guān)系，得出系數(shù)之間的相關(guān)性；再由相關(guān)性得出圖像的降噪算法。該算法能較好地區(qū)分出邊緣細(xì)節(jié)以及噪聲。因此，在降低噪聲的同時能夠較好地保留細(xì)節(jié)信息。
?
文獻(xiàn)[9]依據(jù)噪聲是復(fù)合存在的特點，提出了基于BM3D算法的改進(jìn)算法，在傳統(tǒng)的BM3D算法中加入了方差穩(wěn)定性變換，得到方差統(tǒng)一的噪聲圖像，同時，對BM3D算法的第一步計算后加入噪聲殘差圖對比，以保留圖像更多的細(xì)節(jié)。
?
盡管這些算法能獲得更為滿意的處理效果，但是其算法的復(fù)雜度以及時間和空間復(fù)雜度使得工程適用性較差，在實際工程應(yīng)用中的時間和空間消耗占比很大，難以滿足實時處理圖像的目的。這些算法很難完整地移植到目前大多采用FPGA/DSP的硬件平臺之上。大多數(shù)情況下需要進(jìn)行簡化和近似處理，不可避免地使處理效果有所折扣。
?
4?分析討論
?
4.1?算法優(yōu)缺點分析
?
為了更為直觀地體現(xiàn)出3類算法的區(qū)別，將各類算法的特點展示出來，本文對降噪算法進(jìn)行了概括性的比較，如表1所示。
?
如圖6所示，將經(jīng)過3種濾波分層處理后，加入自適應(yīng)增益系數(shù)處理后的細(xì)節(jié)圖像，結(jié)合自適應(yīng)中值濾波處理，使圖像均勻區(qū)域的噪聲進(jìn)一步降低，細(xì)節(jié)信息盡可能多地保留下來。
?
4.2?未來發(fā)展趨勢分析
?
如何兼顧細(xì)節(jié)保留與噪聲抑制，且對于不同的降噪算法，針對抑制的噪聲也不盡相同，這些問題一直以來就是紅外圖像降噪處理中最需要去平衡最難以解決的問題。在民用領(lǐng)域，對計算速度與資源占用的要求也較為寬泛，可以從其他角度如變換域降噪對紅外圖像進(jìn)行處理。在軍用領(lǐng)域，對各項指標(biāo)的要求都較為嚴(yán)格，特別是實時性要求高，變換域降噪等占用資源多，算法復(fù)雜度高，計算時間長的降噪算法并不適用，需要從空間域降噪進(jìn)行多角度、多維度的探索，去著手解決問題。
?
非制冷紅外圖像降噪算法在軍用工程應(yīng)用方面具有計算速度快，占用資源小的要求，根據(jù)本身的優(yōu)勢，可以結(jié)合更多維度的降噪算法，以求得更好的紅外圖像質(zhì)量，也可更有效地對噪聲進(jìn)行抑制。進(jìn)一步提升非制冷紅外圖像降噪算法的性能，使其更加多元化的應(yīng)用到紅外探測系統(tǒng)之中，生成的圖像更符合人眼觀察特性，進(jìn)一步推動紅外探測系統(tǒng)的發(fā)展與進(jìn)步。
?
表1 三類基于分層處理算法優(yōu)缺點對比
?
圖6 三種分層處理濾波器結(jié)合中值濾波器與自適應(yīng)系數(shù)處理效果對比
5?結(jié)論
本文分別對傳統(tǒng)濾波器、基于圖像分層濾波器和基于變換域的濾波器進(jìn)行了分析。并對非制冷紅外圖像降噪算法的發(fā)展趨勢做出了一定的分析。其中傳統(tǒng)濾波器對于細(xì)節(jié)信息的保留有較大缺陷，變換域濾波器的算法復(fù)雜度較高，耗費的計算時間較大，不易于實現(xiàn)工程化?；诩t外圖像具有典型的椒鹽噪聲和條紋噪聲的特點，提出了一種結(jié)合傳統(tǒng)算法和基于圖像分層的自適應(yīng)降噪算法思路，在保留細(xì)節(jié)的情況下，降噪性能得到了提升?；诩t外圖像分層處理的降噪算法在對圖像質(zhì)量和系統(tǒng)計算效率都有較高的要求的軍事領(lǐng)域，具有一定的實際應(yīng)用價值，但還仍需進(jìn)一步的研究提高。
文獻(xiàn)：
[1]?李健，丁小奇，陳光，等.基于改進(jìn)高斯濾波算法的葉片圖像去噪方法[J].南方農(nóng)業(yè)學(xué)報，2019，50(6): 1385-1391.
[2]?魏松濤，何文思.一種基于均值濾波和梯度影響因子的濾波算法[J].機(jī)械制造與自動化，2020，49(1): 20-22.
[3]?劉智嘉，夏寅輝，楊德振，等.基于中值濾波器的紅外圖像噪聲處理的改進(jìn)方法[J].激光與紅外，2019，49(3): 376-380.
[4] LIU Ning，ZHAO Dongxue. Detail enhancement for high dynamic range infraredimages based on guided image filter[J]. Infrared Physics and Technology，2014，67(7): 138-147
[5]?謝岱偉.一種基于雙邊濾波的高動態(tài)紅外圖像壓縮與細(xì)節(jié)增強(qiáng)算法[J].艦船電子對抗，2019，42(2): 96-98，117.
[6]?朱道廣，隋修寶，朱才高，等.基于多尺度的高動態(tài)紅外圖像增強(qiáng)算法[J].紅外技術(shù)，2013，35(8): 476-481，486.
[7]?秦乾坤，楊慧，岳威，等.基于改進(jìn)小波閾值的紅外熱波無損檢測圖像噪聲抑制方法的研究[J].計算機(jī)時代，2019(1): 75-78，82.
[8]?王寶坤.基于非下采樣Contourlet變換的圖像降噪研究[D].哈爾濱:東北林業(yè)大學(xué)，2018.
[9]?黃麗姝，馬銘志.改進(jìn)的基于BM3D的圖像去噪算法[J].現(xiàn)代計算機(jī)(專業(yè)版)，2019(6): 60-63，71.
END