色老板精品视频在线观看,一本色道久久综合亚州精品,欧洲成人网站,五月精品,99久久久国产精品无码,日韩AV无码一区二区,丁香花在线视频婷婷综合 ,日本黄色操逼

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

本文轉(zhuǎn)自：AI算法與圖像處理

近日哈爾濱工業(yè)大學(xué)、廣東工業(yè)大學(xué)、清華大學(xué)與臺(tái)灣國(guó)立清華大學(xué)等研究人員共同撰寫(xiě)一篇深度學(xué)習(xí)在圖像去噪上的綜述并在arxiv發(fā)表，該綜述系統(tǒng)地總結(jié)圖像去噪的重要性、圖像去噪技術(shù)的發(fā)展、傳統(tǒng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的圖像去噪技術(shù)的優(yōu)缺點(diǎn)以及刨析出圖像去噪技術(shù)面對(duì)的挑戰(zhàn)與潛在的研究點(diǎn)。該綜述對(duì)學(xué)術(shù)界和工業(yè)界都有重要的指導(dǎo)作用，值得學(xué)習(xí)。

Deep Learning onImage Denoising: An Overview

論文鏈接：

https://arxiv.org/abs/1912.13171

相關(guān)代碼鏈接：

https://github.com/hellloxiaotian

1 背景與動(dòng)機(jī)

數(shù)字圖像設(shè)備已經(jīng)被應(yīng)用在天氣預(yù)測(cè)、災(zāi)難救援、安全監(jiān)控與醫(yī)學(xué)診病等多個(gè)領(lǐng)域。然而數(shù)字設(shè)備常受到相機(jī)抖動(dòng)、運(yùn)動(dòng)的物體、暗光和噪聲等影響而導(dǎo)致捕獲的照片不干凈。因此圖像去噪技術(shù)的研究具有重要的理論和實(shí)際應(yīng)用價(jià)值。

圖像去噪技術(shù)在20世紀(jì)90年代已經(jīng)成為研究熱點(diǎn)。例如：用非局部相似性來(lái)優(yōu)化稀疏方法能提高去噪的性能。字典學(xué)習(xí)有助于快速移除噪聲。先驗(yàn)知識(shí)通過(guò)平滑噪聲圖像來(lái)恢復(fù)潛在干凈圖像的細(xì)節(jié)。更多競(jìng)爭(zhēng)去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。

雖然這些大部分方法在圖像去噪上能達(dá)到好的性能，但是他們有以下缺點(diǎn)：

(1) 在測(cè)試階段涉及復(fù)雜優(yōu)化方法,

(2) 手動(dòng)設(shè)置參數(shù),

(3) 一個(gè)固定的模型來(lái)處理單個(gè)去噪任務(wù)。擁有靈活的結(jié)構(gòu)，強(qiáng)的自學(xué)習(xí)能力的深度學(xué)習(xí)技術(shù)能用來(lái)解決這些不足。

2 本文研究框架

本文由淺到深介紹深度學(xué)習(xí)在圖像去噪應(yīng)用，首先介紹深度學(xué)習(xí)在圖像處理的基本框架，包括：有監(jiān)督和無(wú)監(jiān)督機(jī)器學(xué)習(xí)、卷積網(wǎng)絡(luò)、深度學(xué)習(xí)在圖像去噪的主要結(jié)構(gòu)（如：VGG、ResNet、GoogLeNet和GAN）和深度學(xué)習(xí)技術(shù)常用軟件和硬件；其次重點(diǎn)介紹深度學(xué)習(xí)技術(shù)在圖像去噪上應(yīng)用，如圖示1所示：

深度學(xué)習(xí)技術(shù)在圖像去噪上應(yīng)用包括外加的白噪聲圖像去噪的深度學(xué)習(xí)技術(shù)、真實(shí)噪聲圖像去噪的深度學(xué)習(xí)技術(shù)、盲去噪的深度學(xué)習(xí)技術(shù)和混合噪聲圖像去噪的深度學(xué)習(xí)技術(shù)。

2.1 外加的白噪聲圖像去噪的深度學(xué)習(xí)技術(shù)：

CNN/NN for AWNI denoising, CNN/NN and common feature extraction methods for AWNI denoising 和The combination of optimization method and CNN/NN for AWNI denoising。

2.1.1 CNN/NN for AWNI denoising：

根據(jù)噪聲的屬性設(shè)計(jì)不同網(wǎng)絡(luò)結(jié)構(gòu)是極為關(guān)鍵的，設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)有以下方式：

（1）利用多視角來(lái)設(shè)計(jì)網(wǎng)絡(luò)；

（2）改變Loss函數(shù)；

（3）增加CNN的寬度或者深度；

（4）在CNN中增加任意的插件；

（5）在CNN中使用跳躍連接 (Skip connection)或者級(jí)聯(lián)操作（Cascaded operations）。

補(bǔ)充說(shuō)明：

第（1）種方式：包括三種類(lèi)型：一幅噪聲圖像作為多個(gè)子網(wǎng)絡(luò)的輸入；一個(gè)樣本的不同角度作為網(wǎng)絡(luò)的輸入；一個(gè)網(wǎng)絡(luò)的不同通道作為輸入。

第（4）種方式：任意插件包括激活函數(shù)、空洞卷積、全連接層和池化層等。

第（5）種方式：包括skip connection和cascaded operation。表 1 提供CNNs/NNs for AWNI denoising的總結(jié)。

2.1.2 CNN/NN and common feature extraction methods for AWNI denoising：

weak edge-information, non-linear, high-dimensional and non-salient noisy images 和high computational costs。對(duì)于weak edge-information noisy images來(lái)說(shuō)，CNN with transformation domain method來(lái)移除噪聲是非常有效的。對(duì)于non-linear noisy images來(lái)說(shuō)，CNN with kernel method在恢復(fù)潛在干凈圖像是非常有效的。這類(lèi)方法一般有三步：

第一步用CNN來(lái)提取特征，

第二步用核方法把非線性特征轉(zhuǎn)為線性特征，

第三步利用殘差技術(shù)來(lái)重構(gòu)潛在的干凈圖像。

對(duì)于high dimensional noisy images來(lái)說(shuō)，CNN和降維方法的組合是常用的去噪方法。對(duì)于non-salient noisy images來(lái)說(shuō)，信號(hào)處理方法能引導(dǎo)CNN來(lái)提取顯著的特征。對(duì)于high computational cost， CNN和圖像的屬性結(jié)合能有效地降低復(fù)雜度。上述所涉及方法的更多信息被展示在表2。

2.1.3 The combination of optimization method and CNN/NN for AWNI denoising：

（1）提高去噪速度，

（2）提高去噪的性能。

對(duì)于提高去噪效率，把優(yōu)化方法嵌入到CNN來(lái)尋找最優(yōu)解決是不錯(cuò)工具。此外，把噪聲映射和噪聲圖像塊作為CNN的輸入也能提高預(yù)測(cè)噪聲的速度。對(duì)于提高去噪的性能，把CNN和先驗(yàn)知識(shí)結(jié)合起來(lái)能有效移除噪聲。表3展示The combination of optimization method and CNN/NN for AWNI denoising方法的詳細(xì)信息。

2.2 Deep learning techniques for real noisy image denoising：

單一的end-to-end的CNN和CNN和先驗(yàn)知識(shí)的結(jié)合。對(duì)于第一類(lèi)，設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)處理真實(shí)噪聲圖像是流行的。把多尺度、Skip connection、batch renormalization、dilated convolutions、attention mechanism融合到CNN中都能有效處理真實(shí)噪聲圖像。這些方法的詳細(xì)信息被展示在表4：

對(duì)于第二方面把CNN和先驗(yàn)知識(shí)組合能很好地解決真實(shí)噪聲圖像。驗(yàn)證知識(shí)包括HQS、TV和channel prior。表5顯示這些方法的詳細(xì)信息。

2.3 Deep learning techniques for blind denoising:

利用image device和soft shrinkage和CNN/NN結(jié)合能很好地進(jìn)行blind denoising。更多方法在表6被展示。

2.4 Deep learning techniques for hybrid noisy imagedenoising:

用warped guidance和CNN組合，單一的CNN以及CNN和iterative algorithm組合都能很好地移除混合噪聲，更多信息如表7所示：

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)庫(kù)：

3.1.1訓(xùn)練集：

BSD400、Waterloo Exploration Database和polyU-Real-World Noisy Images。

3.1.2測(cè)試數(shù)據(jù)集：

Set12、BSD68、CBSD68、Kodak24、McMaster、CC、DND、NC12、SIDD和Nam。

3.2 Deep learning techniques for additive white noisy-image denoising結(jié)果

3.3 Deep learning techniques for real-noisy image denoising結(jié)果

Deeplearning techniques for blind denoising結(jié)果

3.4 Deep learning techniques for hybrid-noisy-image denoising結(jié)果

4 討論

深度學(xué)習(xí)一般在圖像去噪上都是提高圖像性能、去噪效率和復(fù)雜的噪聲圖像。

4.1 提高去噪性能，有如下解決方法：

(1)增大網(wǎng)絡(luò)的感受野能捕獲更多上下文信息來(lái)提高去噪性能。其中，增加網(wǎng)絡(luò)寬度和深度是增加感受野最常見(jiàn)的方式，然而，他們會(huì)導(dǎo)致高的計(jì)算代價(jià)和更多內(nèi)存消耗。空洞卷積能有效解決這個(gè)問(wèn)題。

(2)CNN和先驗(yàn)結(jié)合能提取出更魯棒的特征。

(3)組合局部和全局的信息能提高網(wǎng)絡(luò)的記憶能力。

(4)把信號(hào)處理機(jī)制融合到CNN能更好遏制噪聲。

(5)數(shù)據(jù)增加能提高圖像去噪性能。

(6)遷移學(xué)習(xí)、圖學(xué)習(xí)和網(wǎng)絡(luò)搜索能很好處理噪聲圖像。

4.2提高去噪效率

壓縮網(wǎng)絡(luò)能有效地提高去噪的速度。減少網(wǎng)絡(luò)寬度和深度、利用小的卷積核、組卷積都能有效地提高去噪速度。

4.3解決復(fù)雜的噪聲圖像

利用分布機(jī)制是非常流行的。第一步利用CNN來(lái)估計(jì)噪聲級(jí)別作為ground truth或者恢復(fù)高分辨率圖像。第二步用來(lái)恢復(fù)潛在干凈圖像。

4.4挑戰(zhàn)

（1）更深的網(wǎng)絡(luò)需要占用更多內(nèi)存。

（2）更深的去噪網(wǎng)絡(luò)不能穩(wěn)定地訓(xùn)練真實(shí)噪聲圖像、沒(méi)有類(lèi)標(biāo)的噪聲圖像的模型。

（3）真實(shí)噪聲圖像不是容易獲得的。

（4）更深的網(wǎng)絡(luò)是困難來(lái)解決無(wú)監(jiān)督去噪任務(wù)。

（5）尋找更精確的去噪衡量指標(biāo)。

5 結(jié)論

在本文我們對(duì)不同去噪網(wǎng)絡(luò)進(jìn)行全面地研究和系統(tǒng)地總結(jié)。首先，我們展示圖像去噪的深度學(xué)習(xí)的基本框架。然后，給出不同去噪任務(wù)（如：外加白噪聲、盲噪聲、真實(shí)噪聲和混合噪聲的圖像）的深度學(xué)習(xí)技術(shù)。接著，我們針對(duì)不同任務(wù)分析去噪網(wǎng)絡(luò)的動(dòng)機(jī)和理論。最后，我們比較了不同方法的去噪結(jié)果、效率和可視化效果。此外，我們也指出深度學(xué)習(xí)技術(shù)在圖像去噪的潛在研究點(diǎn)和挑戰(zhàn)。

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車(chē)道線檢測(cè)、車(chē)輛計(jì)數(shù)、添加眼線、車(chē)牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~

論文速遞 | 一份超全易懂的深度學(xué)習(xí)在圖像去噪的綜述