最新！圖像去噪綜合比較研究

點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

轉載 |?我愛計算機視覺

圖像去噪是計算機視覺領域的傳統(tǒng)方向，對于可見光圖像、視頻、核磁圖像等的處理仍應用廣泛，在工業(yè)和學術界引起很多人的關注，基于BM3D(block-matching 3D ，2007)框架的系列算法是該領域的著名方法，其結合圖像非局部相似的屬性和變換域的稀疏表示，在深度學習用于CV各領域的今天仍有用武之地。

今天新出的論文『A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods』，對傳統(tǒng)的圖像去噪方法和深度學習方法進行了綜述和比較，考察了191篇文獻，相信對研究該方向的朋友定有幫助。

該文作者信息：

作者來自理海大學和華南理工大學。

• 論文鏈接：https://arxiv.org/abs/2011.03462

• 代碼鏈接：https://github.com/ZhaomingKong/Denoising-Comparison

圖像去噪旨在給定噪聲圖像恢復原圖像，單在噪聲模型難以估計的情況下，利用圖像的 NLSS（非局部自相似）?屬性成為方法的主流。亦即自然圖像內(nèi)部含有相似的圖像塊，利用此特點恢復源圖像，NLSS先驗與補丁表征示例：

傳統(tǒng)圖像去噪方法（成功的BM3D框架的眾多方法）流程：

即噪聲圖像經(jīng)過Grouping、Collaborative filtering、Aggregation，得到結果圖像。

傳統(tǒng)的多維圖像數(shù)據(jù)的去噪器：

基于DNN去噪方法及應用：

具有三個卷積層的簡單CNN去噪框架圖解：

該文詳盡總結了用于評測結果的人工合成和真實世界的多維圖像去噪數(shù)據(jù)集（具體出處和下載方式請參考原論文）：

具有代表性的多維圖像去噪方法和數(shù)據(jù)集的發(fā)展史：

部分數(shù)據(jù)集的示例圖像：

另外為評估算法，作者還推出了自己收集的IOCI數(shù)據(jù)集：

傳統(tǒng)方法和基于DNN的方法在幾個真實彩色圖像數(shù)據(jù)集上的結果，以 PSNR 和 SSIM 為評價指標：（請點擊查看大圖）

多個方法在真實彩色視頻數(shù)據(jù)集上的評比詳細結果：

另外，對于圖像去噪PSNR 和 SSIM 并不能完美反應圖像質量，作者還做了大量的視覺效果評估：

1）CC15 數(shù)據(jù)集(PSNR) ?（圖8）

2）PolyU 數(shù)據(jù)集(PSNR) ?（圖9）

3）IOCI’s IPHONE 5S 數(shù)據(jù)集(PSNR)?（圖10）

4）IOCV 數(shù)據(jù)集（彩色視頻去噪）（圖11）

同樣，作者使用用戶調查打分的方式，得到了人為評分結果：

FastDVDNet算法在計算量較低的前提下，效果表現(xiàn)也一致的好。

在 CAVE 數(shù)據(jù)集上的高噪聲水平σ=100時，對基于張量的去噪器的比較結果：（圖12）

CAVE 數(shù)據(jù)集上，高斯噪聲 σ = {10, 30, 50, 100}時的質量和計算時間（分鐘）對比結果：（表7）

高斯噪聲下 MSt-SVD 和 QRNN3D 的平均PSNR/SSIM 值和計算時間（分鐘）σ∈{10，20}（表8）

在真實世界 HHD 數(shù)據(jù)集上，MSI 去噪方法比較結果：（圖13）

σ≥11%時高噪聲水平下的去噪性能比較：（圖14）

T1w、T2w和PDw數(shù)據(jù)被Rician噪聲破壞的情況下，不同方法的平均PSNR/SSIM 值?和 計算時間(s)（表9）

在估計噪聲水平σ = 19% 的合成Brainweb T1w 數(shù)據(jù)上對比較方法進行可視化評估（圖15）

在估計噪聲水平σ=3% 的真實OAS1 0112 T1w數(shù)據(jù)上對比較方法進行可視化評估（圖16）

在估計噪聲水平σ = 4.5% 的真實 OAS1 0092 T1w數(shù)據(jù)上對比較方法進行可視化評估（圖17）

CBM3D1 在 σ∈[10，30]時五個數(shù)據(jù)集上的 PSNR 和 SSIM 值對比（圖18）

PSNR 和 SSIM 6種不同實現(xiàn)的（圖19）

使用和不使用圖像大小調整策略的 CMSt-SVD 方法的視覺效果對比：（圖20）

當一組中的所有補丁都相同時，T-HOSVD 應用于無噪聲圖像時的過度平滑效果圖（圖21）

最終，作者總結發(fā)現(xiàn)：

1）BM3D系算法在性能和效果上均展示出不俗的表現(xiàn)；

2）對于僅從噪聲觀察中學習的傳統(tǒng)降噪器，改進的奇異值分解（M-SVD）方法能夠與許多基于張量的方法產(chǎn)生相似的結果；

3）基于DNN的方法雖然在合成數(shù)據(jù)集上訓練（因為所需標簽數(shù)據(jù)在實際場景中是不存在的，只能采用合成噪聲圖像的方法），但在實際測試中仍表現(xiàn)出強大的泛化能力。