抖音圖像修復背后技術——CVPR2021多階段圖像修復框架（附github源碼下載）
點擊上方“AI算法與圖像處理”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
在現(xiàn)實生活中，難免會有老舊照片或者受損圖片。在熱門的抖音中也頻繁出現(xiàn)照片修復特效，其實背后都是我們熟知的“Image Restoration”。圖像恢復任務需要在恢復圖像時，在空間細節(jié)和高級上下文化信息之間保持復雜的平衡。
論文：https://arxiv.org/pdf/2102.02808.pdf
代碼：https://github.com/swz30/MPRNet
一、前言概要
本次分享中，研究者提出了一種新的協(xié)同設計，可以最優(yōu)地平衡這些難點。主要研發(fā)出的是一個多階段架構，它逐步學習退化輸入的恢復函數(shù)，從而將整個恢復過程分解為更易于管理的步驟。
具體地說，新的模型首先使用編碼器-解碼器架構來學習上下文化的特征，然后將它們與保留的局部信息的高分辨率分支相結(jié)合。在每個階段，都引入了一種新的per-pixel自適應設計，它利用原位監(jiān)督的關注來重量化局部特征。這種多階段架構的一個關鍵組成部分是不同階段之間的信息交換。
為此，提出了一種two-faceted的方法，其中信息不僅從早期到后期依次交換，而且特征處理塊之間也存在橫向連接，以避免任何信息的丟失。由此產(chǎn)生的緊密相連的多級體系結(jié)構，命名為MPRNet，在十個數(shù)據(jù)集上提供了強大的性能增益，包括圖像去噪、去模糊等。
Image deblurring on the GoPro dataset
研究者通過在十個合成和現(xiàn)實世界的數(shù)據(jù)集上設置新的最新技術來演示MPRNet的有效性，用于各種恢復任務，包括圖像去噪、去模糊和去噪，同時保持低復雜度(見上圖)。此外，后文我們還分享了了詳細的描述、定性結(jié)果和泛化測試。
二、Multi-Stage Progressive Restoration
上圖就是提出的圖像恢復框架，包括三個逐步恢復圖像的階段。前兩個階段是基于編碼器-解碼器子網(wǎng)絡，它們由于較大的感受野而學習廣泛的上下文信息。由于圖像恢復是位置敏感任務（需要從輸入到輸出的像素到像素對應），因此最后階段使用對原始輸入圖像分辨率進行操作的子網(wǎng)絡（沒有任何下采樣操作），從而在最終輸出圖像中保留所需的精細紋理。
整體框架不是簡單地級疊多個階段，而是在每個兩個階段之間合并一個監(jiān)督注意模塊。在對GT圖像的監(jiān)督下，模塊重新調(diào)用上一階段的特征映射，然后將它們傳遞到下一階段。此外，研究者還引入了一種跨階段特征融合機制，其中早期子網(wǎng)的中間多尺度上下文特征有助于鞏固后一個子網(wǎng)的中間特征。
(a)Encoder-decoder subnetwork. (b)Illustration of the original resolution block (ORB) in our ORSNet subnetwork. Each ORB contains multiple channel attention blocks. GAP represents global average pooling[Wei Liu, Andrew Rabinovich, and Alexander C Berg. ParseNet: Looking wider to see better. arXiv:1506.04579, 2015]. (c)Cross-stage feature fusion between stage 1 and stage 2. (d)CSFF between stage 2 and the last stage.
Supervised Attention Module
最近的圖像恢復多階段網(wǎng)絡[Maitreya Suin, Kuldeep Purohit, and A. N. Rajagopalan. Spatially-attentive patch-hierarchical network for adaptive motion deblurring. In CVPR, 2020.]直接預測每個階段的圖像，然后傳遞到下一個連續(xù)階段。相反，新框架在每兩個階段之間引入一個監(jiān)督注意模塊，這有助于實現(xiàn)顯著的性能增益。SAM的示意圖見下圖。首先，它提供了對每個階段的漸進式圖像恢復有用的GT監(jiān)控信號。其次，在局部監(jiān)督預測的幫助下，生成注意力特征圖，以抑制當前階段信息較少的特征，并且只允許有用的特征傳播到下一個階段。
三、實驗與分析
上表顯示，新方法通過在所有五個數(shù)據(jù)集上持續(xù)獲得更好的PSNR/SSIM分數(shù)，顯著提高了最先進的水平。與最近最好的算法MSPFN相比，新方法獲得了1.98dB（所有數(shù)據(jù)集的平均值）的性能增益，表明誤差降低了20。一些數(shù)據(jù)集上的改進大到4dB，例如Rain100L。此外，新模型比MSPFN少3.7倍的參數(shù)，而快2.4倍。
上圖顯示了具有挑戰(zhàn)性的圖像的視覺比較。MPRNet有效地消除了不同方向和大小的雨條紋，并生成了視覺上令人愉快和忠實于GT的圖像。相反，其他方法會損害結(jié)構內(nèi)容（第一行)，引入artifacts(第二行)，并且不會完全消除雨條紋(第三行）。
上圖顯示了評估方法中的一些去模糊圖像。總的來說，由新模型恢復的圖像比其他模型恢復的圖像更清晰，更接近GT。
如上圖，說明了視覺結(jié)果。新方法能夠去除真實的噪聲，同時保留了結(jié)構和紋理的圖像細節(jié)。相比之下，由其他方法恢復的圖像要么包含過于平滑的內(nèi)容，或者包含具有斑點紋理的工件。
個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學校/企業(yè)+研究方向+昵稱
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風格指南
在「AI算法與圖像處理」公眾號后臺回復：c++，即可下載。歷經(jīng)十年考驗，最權威的編程規(guī)范！
下載3 CVPR2021 在「AI算法與圖像處理」公眾號后臺回復：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
點亮 
，告訴大家你也在看