圖像降噪有哪些方法？
點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
圖像增強(qiáng)是圖像處理和計(jì)算機(jī)視覺(jué)中的重要研究課題。它主要用作圖像預(yù)處理或后處理，以使處理后的圖像更清晰，以便隨后進(jìn)行圖像分析和理解。本期我們主要總結(jié)了圖像增強(qiáng)中圖像去噪的主要方法以及對(duì)不同算法的基本理解。
噪音模型
圖像中有許多噪聲源，這些噪聲來(lái)自各個(gè)方面，例如圖像采集，傳輸和壓縮。噪聲的類型也不同，例如鹽和胡椒噪聲，高斯噪聲等。針對(duì)不同的噪聲有不同的處理算法。
對(duì)于具有噪聲的輸入圖像v（x），附加噪聲可以用以下公式表示：
其中，u（x）是沒(méi)有噪聲的原始圖像。x是一組像素，η（x）是加性噪聲項(xiàng)，代表噪聲的影響。Ω是像素的集合，即整個(gè)圖像。從該公式可以看出，噪聲直接疊加在原始圖像上。這種噪聲可能是鹽和胡椒噪聲或高斯噪聲。從理論上講，如果可以準(zhǔn)確地獲得噪聲，則可以通過(guò)從輸入圖像中減去噪聲來(lái)恢復(fù)原始圖像。但是現(xiàn)實(shí)往往是很瘦的。除非清楚地知道產(chǎn)生噪聲的方式，否則很難單獨(dú)找到噪聲。
高斯噪聲
高斯噪聲通常發(fā)生在相機(jī)電子設(shè)備的模擬信號(hào)中，可以將其建模為加性噪聲，作用在輸入圖像I上，從而產(chǎn)生降級(jí)圖像y：
恢復(fù)的目的是獲得原始圖像的估計(jì)。我們希望使此估計(jì)盡可能接近原始輸入圖像。
高斯濾波器是一種線性濾波器，可以有效地抑制噪聲并使圖像平滑。它的工作原理與平均濾波器相似，都以濾波器窗口中像素的平均值作為輸出。
二維高斯核模板或卷積核：
標(biāo)準(zhǔn)化：
窗口模板的系數(shù)不同于平均濾波器，平均濾波器的模板系數(shù)與1相同。高斯濾波器的模板系數(shù)隨著距模板中心的距離增加而減小。
因此，與平均濾波器相比，高斯濾波器的圖像模糊程度較小。
將Rudin等人的降噪技術(shù)應(yīng)用于被高斯噪聲破壞的圖像的示例。
鹽和胡椒粉噪音
脈沖噪聲對(duì)應(yīng)于飽和或關(guān)閉的隨機(jī)像素。它可能發(fā)生在帶有電子尖峰的設(shè)備中，我們可以將其建模為：
其中b?Ber（0.5）是參數(shù)0.5的伯努利變量。
如果僅可能損壞幾個(gè)像素，則中值濾波器是脈沖噪聲的不錯(cuò)選擇。
中值濾波器可以歸類為低通濾波器，它是一種線性濾波器，其輸出是鄰域模板中像素的簡(jiǎn)單平均值，并且主要用于圖像模糊和降噪。均值濾波器的概念非常直觀。濾鏡窗口中像素的平均灰度值用于替換圖像中的像素值。
結(jié)果是減少了圖像的銳利變化。結(jié)果，雖然平均濾波器可以減少噪點(diǎn)，但也會(huì)模糊圖像的邊緣。
均值濾波器的處理結(jié)果是濾除圖像中不相關(guān)的細(xì)節(jié)，其中不相關(guān)的細(xì)節(jié)是指小于濾鏡模板大小的像素區(qū)域。
塊匹配和3D過(guò)濾
塊匹配和3D過(guò)濾（BM3D）可以說(shuō)是目前最好的算法之一。BM3D算法總共有兩個(gè)主要步驟，分為基本估計(jì)和最終估計(jì)。
基本估算
第一步是搜索相似的塊，然后將相似的塊分組到3D堆棧中。
我們?cè)谠肼晥D像中選擇一些大小為k×k的參考?jí)K，在參考?jí)K周圍的適當(dāng)大小（n×n）的區(qū)域中搜索，找到差異程度最小的多個(gè)塊，并進(jìn)行積分這些塊變成3維矩陣。查找相似塊的過(guò)程可以由以下公式表示：
d（P，Q）表示兩個(gè)塊之間的歐幾里得距離。通過(guò)積分相似塊獲得的最終矩陣是流程圖第1步左下角的藍(lán)色R矩陣。
由噪聲分組的塊的說(shuō)明由白高斯噪聲（均值為零和標(biāo)準(zhǔn)偏差為15）降級(jí)的圖像。參考?jí)K標(biāo)有“ R”，其余塊與之匹配。
第二步，協(xié)同過(guò)濾：在形成幾個(gè)三維矩陣之后，首先對(duì)每個(gè)三維矩陣中的二維塊進(jìn)行二維變換，可以使用小波變換或DCT變換等。
二維轉(zhuǎn)換完成后，對(duì)矩陣的三維進(jìn)行一維轉(zhuǎn)換，通常是Hadamard轉(zhuǎn)換。
Hadamard變換是Walsh變換的特殊順序，也稱為Walsh-Hadamar變換。Hadamard變換矩陣也是一個(gè)方矩陣，僅包含+1和-1兩個(gè)矩陣元素。
任何兩行或任何兩列之后的數(shù)字總和必須為零，也就是說(shuō)，在不同的行或不同的列之間，它們都彼此正交。Hadamard變換核矩陣和Walsh變換之間的區(qū)別只是行的順序。
變換完成后，對(duì)三維矩陣進(jìn)行硬閾值處理，將小于閾值的系數(shù)設(shè)置為0，然后通過(guò)一維逆變換和二維逆變換獲得處理后的圖像塊。第三維。此過(guò)程也可以用以下公式表示：
在該公式中，二維變換和一維變換由T_ {3Dhard}表示。γ是閾值運(yùn)算：
第三步，聚合：對(duì)這些圖塊進(jìn)行逆變換，然后放回原處，使用非零分量的數(shù)量計(jì)算堆棧權(quán)重，最后將堆棧后的圖像除以每個(gè)點(diǎn)的權(quán)重，得到基本的估計(jì)圖像，權(quán)重取決于設(shè)置的數(shù)字0和噪點(diǎn)的強(qiáng)度，此時(shí)圖像的噪點(diǎn)已被大大消除。
最終估算
在基本的估計(jì)，大大消除了噪音。對(duì)于嘈雜的原始圖片的每個(gè)目標(biāo)塊，可以將相應(yīng)的基本估計(jì)塊的歐幾里德距離直接用于度量相似度。按從最小到最大的距離排序，并最多選擇前N個(gè)。基本估計(jì)塊和有噪聲的原始?jí)K分別被堆疊成兩個(gè)三維陣列。因此，此步驟與第一步之間的區(qū)別在于，這次將獲得兩個(gè)三維陣列，一個(gè)是由噪聲圖像形成的三維陣列，另一個(gè)是通過(guò)基本估計(jì)獲得的三維陣列。
兩個(gè)三維矩陣都經(jīng)過(guò)二維和一維轉(zhuǎn)換。這里的二維變換通常使用DCT變換以獲得更好的結(jié)果。使用維納濾波來(lái)縮放由噪聲圖形成的三維矩陣的系數(shù)。該系數(shù)是從根據(jù)基準(zhǔn)和噪聲強(qiáng)度估算的三維矩陣的值中獲得的。此過(guò)程也可以用以下公式表示：
在該公式中，二維變換和一維變換由T_ {3Dwein}表示。w_p是維納濾波的系數(shù)：
σ是噪聲的標(biāo)準(zhǔn)偏差，代表噪聲的強(qiáng)度。
聚集：與第一步一樣，這些塊在此處也合并到其原始位置，但是此時(shí)的加權(quán)權(quán)重取決于維納濾波器系數(shù)和噪聲強(qiáng)度。
（a）嘈雜的攝影師圖像的一部分（PSNR = 17.23，σ= 35）。（b）LPGPCA的結(jié)果：PSNR = 27.2。?BM3D的結(jié)果：PSNR = 27.83。（d）提出的方法的結(jié)果（改進(jìn)的BM3D）：PSNR = 28.01。
經(jīng)過(guò)最終估算后，BM3D算法已大大消除了原始圖像的噪聲。
評(píng)價(jià)
常用的降噪指標(biāo)是“峰值信噪比”（PSNR）。這與眾所周知的均方誤差有關(guān)。對(duì)于大小為m×n 的參考圖像I和恢復(fù)的圖像Y，均方誤差定義為：
PSNR在分貝中定義為：
其中I_ {max}是圖像的最大值。歸一化為1，可以得到：
通常，PSNR值越高，質(zhì)量越好。一般來(lái)說(shuō)，當(dāng)PSNR小于30dB時(shí)，它代表了人眼無(wú)法忍受的范圍。因此，大多數(shù)PSNR值必須> 30dB。但是，高PSNR并不意味著圖像質(zhì)量一定很好。有時(shí)必須使用人眼來(lái)幫助判斷圖像質(zhì)量是否更正確。
PSNR量度的圖示。
結(jié)論
大多數(shù)圖像處理算法的有效性取決于仔細(xì)的參數(shù)選擇。例如，去噪方法通常需要降噪強(qiáng)度或一個(gè)補(bǔ)丁的大小進(jìn)行設(shè)置。可以針對(duì)每個(gè)圖像調(diào)整這些參數(shù)，但是忽略局部圖像特征會(huì)導(dǎo)致次優(yōu)結(jié)果。
自適應(yīng)地設(shè)置濾波參數(shù)具有明顯的好處，在平滑細(xì)節(jié)細(xì)節(jié)風(fēng)險(xiǎn)較低的平滑區(qū)域中，去噪強(qiáng)度可以更高；而在噪聲很少可見(jiàn)的高紋理區(qū)域中，降噪強(qiáng)度可以更低。通過(guò)混合不同算法的輸出也可以輕松實(shí)現(xiàn)自適應(yīng)性，每種算法最多只能在圖像的不同部分運(yùn)行。
參考文獻(xiàn)
Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE, 2005, 2: 60 -65.
Buades A, Coll B, Morel J M. Nonlocal image and movie denoising[J]. International journal of computer vision, 2008, 76(2): 123–139.
Antoni Buades, Bartomeu Coll, and Jean-Michel Morel, Non-Local Means Denoising, Image Processing On Line, 1 (2011).?http://dx.doi.org/10.5201/ipol.2011.bcm_nlm
Jacques Froment, Parameter-Free Fast Pixelwise Non-Local Means Denoising, Image Processing On Line, 4 (2014), pp. 300–326.?http://dx.doi.org/10.5201/ipol.2014.120
Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. Image Processing, IEEE Transactions on, 2007, 16(8): 2080–2095.
Marc Lebrun, An Analysis and Implementation of the BM3D Image Denoising Method, Image Processing On Line, 2 (2012), pp. 175–213.?http://dx.doi.org/10.5201/ipol.2012.l -bm3d
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~