可復(fù)現(xiàn)的圖像降噪算法總結(jié)——超贊整理
本文轉(zhuǎn)自：AI算法與圖像處理
圖像降噪，是最簡單也是最基礎(chǔ)的圖像處理逆問題（inverse problem）。
大多數(shù)情況下，圖像降噪都是ill-posed的問題。因為通過有噪音的觀察，總是無法逆向求得唯一正確的干凈圖片。就好像讓你解一個超越方程一樣，不借助其他額外的條件信息，是沒有唯一解的。
降噪問題（這里只討論additive noise），用最簡單的數(shù)學(xué)語言一句話就可以描述清楚：
y = x + e
y是你觀察到的帶噪音的圖像，e是噪音，x是干凈無噪音的圖像。只已知y，外加e的概率分布，降噪問題需要你去尋找最接近真實值的x。
說起來降噪問題如此簡單明了，但自從信號處理開宗立派起，研究人員一直在孜孜不倦地提出各種降噪算法。我最早也沒搞懂，大家何必糾結(jié)于這么簡單的問題，而不去考慮更復(fù)雜，更貼近實際的花哨應(yīng)用？
然而世間萬物的規(guī)律，萬變不離其中：不管多復(fù)雜問題，其本質(zhì)往往都有簡單的起源。而看似簡單的問題，往往卻是高手一身修行的追求：就好像考察一個書法家功力，看他寫一個永字就好；看一個川菜廚師功力，看他做一道開水白菜就好。
科研之道和其他道也類似，簡單的任務(wù)見到的是這個approach的潛力：這僅僅是起點，而不是終點。一個好的科研者應(yīng)該要著眼于起點，追求問題的本源，然后拓展到未來，此為道。只追求花哨的應(yīng)用，拼湊堆疊，舍本求末甚至本末倒置，只能為術(shù)。
好吧，扯遠(yuǎn)了。我就是想說，圖像降噪問題，最簡單也最困難。
那么要怎么解好這個逆問題呢？
降噪的本質(zhì)，是要從觀測值中分離噪音，保留圖像。算法的關(guān)鍵，是要掌握并借助于圖像本身獨特的性質(zhì)和結(jié)構(gòu)。具體用什么性質(zhì)，這個流派就多了，我在這里就先提供一個不完全總結(jié)，關(guān)于近期的一些好的圖像降噪算法。
根據(jù)算法利用了什么圖像性質(zhì)，或者用到的手段，我大概把各種算法分成如下幾類：
濾波類
稀疏表達(dá)類
外部先驗
聚類低秩
深度學(xué)習(xí)
我根據(jù)我的了解，對于每一個類比總結(jié)了一個常見算法列表：wenbihan/reproducible-image-denoising-state-of-the-art
入選的算法要滿足：1.近期(05年以后)提出的算法，2.有可復(fù)現(xiàn)的代碼提供，3.可以得到很好，或者接近state-of-the-art的效果。
由于我的水平有限，希望同行高手來幫這個public repo添磚加瓦。
下面對于這幾類算法的一些簡略地解釋：
濾波類：相對比較傳統(tǒng)的一類算法，通過設(shè)計濾波器對圖像進(jìn)行處理。特點是速度往往比較快，很多卷積濾波可以借助快速傅里葉變化來加速。近期的一些算法例如BM3D也結(jié)合了一些block matching來利用圖片的self-similarity，達(dá)到了很棒的效果。
稀疏表達(dá)類：自然圖片之所以看起來不同于隨機噪音/人造結(jié)構(gòu)，是因為大家發(fā)現(xiàn)他們總會在某一個模型（synthesis model或者analysis model）下存在稀疏表達(dá)。而我們想排除的噪音往往無法被稀疏化?；谶@個判別式模型（discriminative model），用稀疏性來約束自然圖像，在很多逆問題里取得了拔群的效果。
github.com/wenbihan/rep
外部先驗（external prior）：如果從有噪音的圖片本身無法找到規(guī)律，我們也可以借助其他類似但又沒有噪音的圖片，來總結(jié)圖片具有的固有屬性。這一類方法利用的外部圖片來創(chuàng)造先驗條件，然后用于約束需要預(yù)測的圖片。最有代表性的工作，就是混合高斯模型（Gaussian Mixture Model）。嚴(yán)格來說，基于深度學(xué)習(xí)的算法也可以歸于這個類。
聚類低秩（Low-Rankness）：除了可稀疏性，低秩性也是自然圖片常見的一個特性。數(shù)學(xué)上，可稀疏表達(dá)的數(shù)據(jù)可以被認(rèn)為是在Union of low-dimensional subspaces；而低秩數(shù)據(jù)則是直接存在于一個Low-dimensional subspace。這個更嚴(yán)格的限制往往也可以取得很好的降噪效果。
深度學(xué)習(xí)（Deep Learning）：這類可以歸于外部先驗的子類，但由于近期大熱，我單獨拿出來說說。如果說解決逆問題的關(guān)鍵，是尋找一個好的圖像約束器（regularizer），那么我們?yōu)槭裁床挥靡粋€最好的約束器？深度學(xué)習(xí)方法的精髓，就在于通過大量的數(shù)據(jù)，學(xué)習(xí)得到一個高復(fù)雜度（多層網(wǎng)絡(luò)結(jié)構(gòu)）的圖片約束器，從而將學(xué)習(xí)外部先驗條件這一途徑推到極限。近期的很多這類工作，都是沿著這一思路，取得了非常逆天的效果。
對于我總結(jié)的每一個類別，我都在創(chuàng)建的【github page】里面列舉了一些推薦的工作，并且附帶其可復(fù)現(xiàn)的代碼實現(xiàn)。（你還在為寫paper跑實驗，不知道和哪些baseline做對比嗎？還在為讀了paper不知道怎么實現(xiàn)算法而苦惱嗎？還在不知道怎么上手嗎？請猛戳這里，-_-||）
https://github.com/wenbihan/reproducible-image-denoising-state-of-the-art
根據(jù)我的經(jīng)驗，基本上主流的圖像降噪算法，都可以被放到這上面的5種類型中。
其他參考資料
https://www.zhihu.com/question/67938028/answer/259014596
https://www.zhihu.com/question/66359919/answer/241936523
本文轉(zhuǎn)自：AI算法與圖像處理
圖像降噪，是最簡單也是最基礎(chǔ)的圖像處理逆問題（inverse problem）。
大多數(shù)情況下，圖像降噪都是ill-posed的問題。因為通過有噪音的觀察，總是無法逆向求得唯一正確的干凈圖片。就好像讓你解一個超越方程一樣，不借助其他額外的條件信息，是沒有唯一解的。
降噪問題（這里只討論additive noise），用最簡單的數(shù)學(xué)語言一句話就可以描述清楚：
y = x + e
y是你觀察到的帶噪音的圖像，e是噪音，x是干凈無噪音的圖像。只已知y，外加e的概率分布，降噪問題需要你去尋找最接近真實值的x。
說起來降噪問題如此簡單明了，但自從信號處理開宗立派起，研究人員一直在孜孜不倦地提出各種降噪算法。我最早也沒搞懂，大家何必糾結(jié)于這么簡單的問題，而不去考慮更復(fù)雜，更貼近實際的花哨應(yīng)用？
然而世間萬物的規(guī)律，萬變不離其中：不管多復(fù)雜問題，其本質(zhì)往往都有簡單的起源。而看似簡單的問題，往往卻是高手一身修行的追求：就好像考察一個書法家功力，看他寫一個永字就好；看一個川菜廚師功力，看他做一道開水白菜就好。
科研之道和其他道也類似，簡單的任務(wù)見到的是這個approach的潛力：這僅僅是起點，而不是終點。一個好的科研者應(yīng)該要著眼于起點，追求問題的本源，然后拓展到未來，此為道。只追求花哨的應(yīng)用，拼湊堆疊，舍本求末甚至本末倒置，只能為術(shù)。
好吧，扯遠(yuǎn)了。我就是想說，圖像降噪問題，最簡單也最困難。
那么要怎么解好這個逆問題呢？
降噪的本質(zhì)，是要從觀測值中分離噪音，保留圖像。算法的關(guān)鍵，是要掌握并借助于圖像本身獨特的性質(zhì)和結(jié)構(gòu)。具體用什么性質(zhì)，這個流派就多了，我在這里就先提供一個不完全總結(jié)，關(guān)于近期的一些好的圖像降噪算法。
根據(jù)算法利用了什么圖像性質(zhì)，或者用到的手段，我大概把各種算法分成如下幾類：
濾波類
稀疏表達(dá)類
外部先驗
聚類低秩
深度學(xué)習(xí)
我根據(jù)我的了解，對于每一個類比總結(jié)了一個常見算法列表：wenbihan/reproducible-image-denoising-state-of-the-art
入選的算法要滿足：1.近期(05年以后)提出的算法，2.有可復(fù)現(xiàn)的代碼提供，3.可以得到很好，或者接近state-of-the-art的效果。
由于我的水平有限，希望同行高手來幫這個public repo添磚加瓦。
下面對于這幾類算法的一些簡略地解釋：
濾波類：相對比較傳統(tǒng)的一類算法，通過設(shè)計濾波器對圖像進(jìn)行處理。特點是速度往往比較快，很多卷積濾波可以借助快速傅里葉變化來加速。近期的一些算法例如BM3D也結(jié)合了一些block matching來利用圖片的self-similarity，達(dá)到了很棒的效果。
稀疏表達(dá)類：自然圖片之所以看起來不同于隨機噪音/人造結(jié)構(gòu)，是因為大家發(fā)現(xiàn)他們總會在某一個模型（synthesis model或者analysis model）下存在稀疏表達(dá)。而我們想排除的噪音往往無法被稀疏化?；谶@個判別式模型（discriminative model），用稀疏性來約束自然圖像，在很多逆問題里取得了拔群的效果。
github.com/wenbihan/rep
外部先驗（external prior）：如果從有噪音的圖片本身無法找到規(guī)律，我們也可以借助其他類似但又沒有噪音的圖片，來總結(jié)圖片具有的固有屬性。這一類方法利用的外部圖片來創(chuàng)造先驗條件，然后用于約束需要預(yù)測的圖片。最有代表性的工作，就是混合高斯模型（Gaussian Mixture Model）。嚴(yán)格來說，基于深度學(xué)習(xí)的算法也可以歸于這個類。
聚類低秩（Low-Rankness）：除了可稀疏性，低秩性也是自然圖片常見的一個特性。數(shù)學(xué)上，可稀疏表達(dá)的數(shù)據(jù)可以被認(rèn)為是在Union of low-dimensional subspaces；而低秩數(shù)據(jù)則是直接存在于一個Low-dimensional subspace。這個更嚴(yán)格的限制往往也可以取得很好的降噪效果。
深度學(xué)習(xí)（Deep Learning）：這類可以歸于外部先驗的子類，但由于近期大熱，我單獨拿出來說說。如果說解決逆問題的關(guān)鍵，是尋找一個好的圖像約束器（regularizer），那么我們?yōu)槭裁床挥靡粋€最好的約束器？深度學(xué)習(xí)方法的精髓，就在于通過大量的數(shù)據(jù)，學(xué)習(xí)得到一個高復(fù)雜度（多層網(wǎng)絡(luò)結(jié)構(gòu)）的圖片約束器，從而將學(xué)習(xí)外部先驗條件這一途徑推到極限。近期的很多這類工作，都是沿著這一思路，取得了非常逆天的效果。
對于我總結(jié)的每一個類別，我都在創(chuàng)建的【github page】里面列舉了一些推薦的工作，并且附帶其可復(fù)現(xiàn)的代碼實現(xiàn)。（你還在為寫paper跑實驗，不知道和哪些baseline做對比嗎？還在為讀了paper不知道怎么實現(xiàn)算法而苦惱嗎？還在不知道怎么上手嗎？請猛戳這里，-_-||）
https://github.com/wenbihan/reproducible-image-denoising-state-of-the-art
根據(jù)我的經(jīng)驗，基本上主流的圖像降噪算法，都可以被放到這上面的5種類型中。
其他參考資料
https://www.zhihu.com/question/67938028/answer/259014596
https://www.zhihu.com/question/66359919/answer/241936523
—版權(quán)聲明—
僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。
若有侵權(quán)，請聯(lián)系微信號:yiyang-sy 刪除或修改！