深度通用盲圖像去噪
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
代碼鏈接：https://www.github.com/JWSoh/DUBD
圖像去噪是許多圖像處理和計算機視覺任務(wù)的重要組成部分，因為在圖像采集過程中不可避免的會產(chǎn)生噪聲。傳統(tǒng)上，許多研究人員在基于圖像屬性和統(tǒng)計的貝葉斯視角下研究圖像先驗去噪。近年來，深度卷積神經(jīng)網(wǎng)絡(luò)(CNNs)在融合大規(guī)模合成數(shù)據(jù)集的圖像去噪方面取得了巨大的成功。然而，它們都有各自的優(yōu)點和缺點。雖然深度cnn在去除已知統(tǒng)計量的噪聲方面很強大，但對于盲目的和現(xiàn)實世界的噪聲，它們往往缺乏靈活性和實用性。此外，它們不能輕易地使用顯式先驗。另一方面，傳統(tǒng)的非學習方法可能涉及顯式的圖像先驗，但它們需要大量的計算時間，不能利用大規(guī)模的外部數(shù)據(jù)集。在本文中，作者提出了一種基于cnn的方法，它利用了基于貝葉斯視角的兩種方法的優(yōu)點。具體來說，作者將盲圖像去噪問題分解為子問題，分別克服每個推理問題。由于CNN是一種強大的推理工具，作者的方法植根于CNN，并提出了一種新的網(wǎng)絡(luò)設(shè)計，以實現(xiàn)高效的推理。利用作者提出的方法，作者可以成功地去除盲目的和真實世界的噪聲，與中等數(shù)量的普遍CNN參數(shù)。
在本文中，作者提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的通用盲去噪器，稱為深度通用盲去噪器(DUBD)，它利用了地圖推理的優(yōu)勢和深度學習的力量。DUBD的設(shè)計是由上述方法的優(yōu)缺點驅(qū)動的，如何在不損害網(wǎng)絡(luò)力量的情況下將人類知識插入深度學習框架。特別地，從實用性來說，所提出的DUBD可以在不知道噪聲級別的情況下處理大范圍的噪聲級和空間變化的噪聲。此外，作者的方法可以解決頻譜變化噪聲，在[4]中證明。此外，作者的DUBD優(yōu)于其他方法，包括盲降噪和非盲降噪，同時需要相當數(shù)量的參數(shù)。作者的貢獻可以概括為:
作者提出了一種基于cnn的通用盲降噪器，可以處理廣泛的噪聲級別，包括空間和頻譜變化的噪聲。
作者的DUBD可以明確地整合先驗知識，這進一步提高了網(wǎng)絡(luò)的性能。
作者的DUBD以相當數(shù)量的參數(shù)優(yōu)于其他降噪器，這最終帶來了更好的實用性。
與其他方法相比，作者的DUBD可以應(yīng)用于真實世界的噪聲圖像，也表現(xiàn)出了出色的性能。
條件估計網(wǎng)絡(luò)(CENet)的網(wǎng)絡(luò)結(jié)構(gòu)。作者對所有的層都采用3個3個卷積層，除了最后一個通道外通道數(shù)為64個。作者利用跨步卷積層來減小特征地圖的空間尺寸。在最后階段，作者用雙內(nèi)插的方法將地圖的空間大小恢復到與輸入圖像相同的大小。
可調(diào)降噪器的網(wǎng)絡(luò)結(jié)構(gòu)。作者采用3 3個卷積層作為網(wǎng)絡(luò)的主干，包括條件仿射變換塊(CATBlocks)和剩余塊(ResBlocks)。此外，主桿的通道數(shù)為64，條件編碼器采用了11個卷積層。在條件編碼器中，第一層信道數(shù)為128，其余為64。
在本文中，作者提出了一種通用的盲降噪器，它可以降低來自各種環(huán)境的噪聲，包括在真實環(huán)境中遇到的噪聲?；诜种蔚乃枷?，作者將原去噪地圖問題分解為兩個推理子問題，并設(shè)計新的CNN架構(gòu)作為子問題求解器。具體地，作者引入了一個輔助隨機變量來劃分和近似原問題。此外，在輔助隨機變量的選擇上，作者明確地反映了作者的先驗知識，以擴大從大規(guī)模數(shù)據(jù)集學習到的隱含先驗。通過實驗，作者證明了作者的方法在性能和復雜度方面是一種有效的方法，并在各種噪聲破壞的情況下，如無方差信息的頻譜和空間變化噪聲，顯示了有希望的結(jié)果。因此，它也能很好地應(yīng)對現(xiàn)實世界中的相機噪聲。
論文鏈接：https://arxiv.org/pdf/2101.07017.pdf
每日堅持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學。
- END -
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~