可復(fù)現(xiàn)的圖像降噪算法總結(jié)——超贊整理

重磅干貨，第一時(shí)間送達(dá)

本文轉(zhuǎn)自：AI算法與圖像處理

圖像降噪，是最簡(jiǎn)單也是最基礎(chǔ)的圖像處理逆問(wèn)題（inverse problem）。

大多數(shù)情況下，圖像降噪都是ill-posed的問(wèn)題。因?yàn)橥ㄟ^(guò)有噪音的觀察，總是無(wú)法逆向求得唯一正確的干凈圖片。就好像讓你解一個(gè)超越方程一樣，不借助其他額外的條件信息，是沒(méi)有唯一解的。

降噪問(wèn)題（這里只討論additive noise），用最簡(jiǎn)單的數(shù)學(xué)語(yǔ)言一句話就可以描述清楚：

y = x + e

y是你觀察到的帶噪音的圖像，e是噪音，x是干凈無(wú)噪音的圖像。只已知y，外加e的概率分布，降噪問(wèn)題需要你去尋找最接近真實(shí)值的x。

說(shuō)起來(lái)降噪問(wèn)題如此簡(jiǎn)單明了，但自從信號(hào)處理開宗立派起，研究人員一直在孜孜不倦地提出各種降噪算法。我最早也沒(méi)搞懂，大家何必糾結(jié)于這么簡(jiǎn)單的問(wèn)題，而不去考慮更復(fù)雜，更貼近實(shí)際的花哨應(yīng)用？

然而世間萬(wàn)物的規(guī)律，萬(wàn)變不離其中：不管多復(fù)雜問(wèn)題，其本質(zhì)往往都有簡(jiǎn)單的起源。而看似簡(jiǎn)單的問(wèn)題，往往卻是高手一身修行的追求：就好像考察一個(gè)書法家功力，看他寫一個(gè)永字就好；看一個(gè)川菜廚師功力，看他做一道開水白菜就好。

科研之道和其他道也類似，簡(jiǎn)單的任務(wù)見到的是這個(gè)approach的潛力：這僅僅是起點(diǎn)，而不是終點(diǎn)。一個(gè)好的科研者應(yīng)該要著眼于起點(diǎn)，追求問(wèn)題的本源，然后拓展到未來(lái)，此為道。只追求花哨的應(yīng)用，拼湊堆疊，舍本求末甚至本末倒置，只能為術(shù)。

好吧，扯遠(yuǎn)了。我就是想說(shuō)，圖像降噪問(wèn)題，最簡(jiǎn)單也最困難。

那么要怎么解好這個(gè)逆問(wèn)題呢？

降噪的本質(zhì)，是要從觀測(cè)值中分離噪音，保留圖像。算法的關(guān)鍵，是要掌握并借助于圖像本身獨(dú)特的性質(zhì)和結(jié)構(gòu)。具體用什么性質(zhì)，這個(gè)流派就多了，我在這里就先提供一個(gè)不完全總結(jié)，關(guān)于近期的一些好的圖像降噪算法。

根據(jù)算法利用了什么圖像性質(zhì)，或者用到的手段，我大概把各種算法分成如下幾類：

1. 濾波類

2. 稀疏表達(dá)類

3. 外部先驗(yàn)

4. 聚類低秩

5. 深度學(xué)習(xí)

我根據(jù)我的了解，對(duì)于每一個(gè)類比總結(jié)了一個(gè)常見算法列表：wenbihan/reproducible-image-denoising-state-of-the-art

入選的算法要滿足：1.近期(05年以后)提出的算法，2.有可復(fù)現(xiàn)的代碼提供，3.可以得到很好，或者接近state-of-the-art的效果。

由于我的水平有限，希望同行高手來(lái)幫這個(gè)public repo添磚加瓦。

下面對(duì)于這幾類算法的一些簡(jiǎn)略地解釋：

濾波類：相對(duì)比較傳統(tǒng)的一類算法，通過(guò)設(shè)計(jì)濾波器對(duì)圖像進(jìn)行處理。特點(diǎn)是速度往往比較快，很多卷積濾波可以借助快速傅里葉變化來(lái)加速。近期的一些算法例如BM3D也結(jié)合了一些block matching來(lái)利用圖片的self-similarity，達(dá)到了很棒的效果。

稀疏表達(dá)類：自然圖片之所以看起來(lái)不同于隨機(jī)噪音/人造結(jié)構(gòu)，是因?yàn)榇蠹野l(fā)現(xiàn)他們總會(huì)在某一個(gè)模型（synthesis model或者analysis model）下存在稀疏表達(dá)。而我們想排除的噪音往往無(wú)法被稀疏化?；谶@個(gè)判別式模型（discriminative model），用稀疏性來(lái)約束自然圖像，在很多逆問(wèn)題里取得了拔群的效果。

github.com/wenbihan/rep

外部先驗(yàn)（external prior）：如果從有噪音的圖片本身無(wú)法找到規(guī)律，我們也可以借助其他類似但又沒(méi)有噪音的圖片，來(lái)總結(jié)圖片具有的固有屬性。這一類方法利用的外部圖片來(lái)創(chuàng)造先驗(yàn)條件，然后用于約束需要預(yù)測(cè)的圖片。最有代表性的工作，就是混合高斯模型（Gaussian Mixture Model）。嚴(yán)格來(lái)說(shuō)，基于深度學(xué)習(xí)的算法也可以歸于這個(gè)類。

聚類低秩（Low-Rankness）：除了可稀疏性，低秩性也是自然圖片常見的一個(gè)特性。數(shù)學(xué)上，可稀疏表達(dá)的數(shù)據(jù)可以被認(rèn)為是在Union of low-dimensional subspaces；而低秩數(shù)據(jù)則是直接存在于一個(gè)Low-dimensional subspace。這個(gè)更嚴(yán)格的限制往往也可以取得很好的降噪效果。

深度學(xué)習(xí)（Deep Learning）：這類可以歸于外部先驗(yàn)的子類，但由于近期大熱，我單獨(dú)拿出來(lái)說(shuō)說(shuō)。如果說(shuō)解決逆問(wèn)題的關(guān)鍵，是尋找一個(gè)好的圖像約束器（regularizer），那么我們?yōu)槭裁床挥靡粋€(gè)最好的約束器？深度學(xué)習(xí)方法的精髓，就在于通過(guò)大量的數(shù)據(jù)，學(xué)習(xí)得到一個(gè)高復(fù)雜度（多層網(wǎng)絡(luò)結(jié)構(gòu)）的圖片約束器，從而將學(xué)習(xí)外部先驗(yàn)條件這一途徑推到極限。近期的很多這類工作，都是沿著這一思路，取得了非常逆天的效果。

對(duì)于我總結(jié)的每一個(gè)類別，我都在創(chuàng)建的【github page】里面列舉了一些推薦的工作，并且附帶其可復(fù)現(xiàn)的代碼實(shí)現(xiàn)。（你還在為寫paper跑實(shí)驗(yàn)，不知道和哪些baseline做對(duì)比嗎？還在為讀了paper不知道怎么實(shí)現(xiàn)算法而苦惱嗎？還在不知道怎么上手嗎？請(qǐng)猛戳這里，-_-||）

https://github.com/wenbihan/reproducible-image-denoising-state-of-the-art

根據(jù)我的經(jīng)驗(yàn)，基本上主流的圖像降噪算法，都可以被放到這上面的5種類型中。

其他參考資料

https://www.zhihu.com/question/67938028/answer/259014596

https://www.zhihu.com/question/66359919/answer/241936523