哈工大等提出輕量級盲超分辨模型LESRCNN，代碼已開源
點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達
近年來圖像超分辨率（super-resolution?，SR）已經(jīng)獲得長足發(fā)展，但計算量大仍阻礙相關(guān)研究進入產(chǎn)品，來自哈工大等單位的學(xué)者提出一種輕量級SR 模型，在取得了state-of-the-art結(jié)果的同時，顯著降低計算量，代碼已經(jīng)開源，相信對從事相關(guān)方向的學(xué)術(shù)和產(chǎn)業(yè)界的朋友都會有參考價值。
Lightweight image super-resolution with enhanced CNN
作者：Chunwei Tian, Ruibin Zhuge, Zhihao Wu, Yong Xu, Wangmeng Zuo, Chen Chen, Chia-Wen Lin
單位：哈工大、美國北卡夏洛特分校和臺灣國立清華大學(xué)
數(shù)字設(shè)備在收集圖像過程中常受到拍攝物周圍環(huán)境、相機硬件和人為因素影響，導(dǎo)致捕獲到圖像不清晰，這嚴(yán)重影響后續(xù)視覺任務(wù)性能。已有深度學(xué)習(xí)方法都通過單一縮放因子來恢復(fù)高清圖像，這不適用于現(xiàn)實中捕獲的受損程度不同圖像。
此外，已有方法都通過增大網(wǎng)絡(luò)深度提升圖像超分辨性能， 但這會增大網(wǎng)絡(luò)計算代價，也不適用于手機和相機等。
針對這些問題，本文提出一種輕量級增強的超分辨網(wǎng)絡(luò)（A lightweight enhanced SR CN, LESRCNN）。LSRCNN主要從網(wǎng)絡(luò)結(jié)構(gòu)和解決問題兩方面來設(shè)計網(wǎng)絡(luò)的。在網(wǎng)絡(luò)結(jié)構(gòu)方面，LESRCNN采用異構(gòu)結(jié)構(gòu)，結(jié)合低頻特征和高頻特征，提升網(wǎng)絡(luò)超分辨性能。在解決任務(wù)上，采用一組自適應(yīng)的子像素卷積計算實現(xiàn)盲超分辨網(wǎng)絡(luò)。
本文提出的LESRCNN由信息提取和增強塊（IEEB）、重構(gòu)塊（RB）和信息提純塊（IRB）組成。結(jié)構(gòu)圖如圖1所示：
圖1 LESRCNN的網(wǎng)絡(luò)結(jié)構(gòu)圖
IEEB: IEEB能提取層次的低頻特征和逐步加強獲得特征的作用來增強網(wǎng)絡(luò)淺層對深層的記憶能力。為了移除冗余的低頻特征，3x3和1x1卷積組成的異構(gòu)結(jié)構(gòu)應(yīng)用到IEEB中。
RB: 因為SR任務(wù)目標(biāo)是把低分辨率圖像轉(zhuǎn)換為高分辨率圖像，所以RB能通過子像素卷積技術(shù)把低頻特征轉(zhuǎn)換為高頻特征。
為了防止原始輸入低頻圖像在轉(zhuǎn)換過程中丟失重要信息，RB通過融合局部和全局特征來解決網(wǎng)絡(luò)長期依賴問題。
此外，為了實現(xiàn)盲超分辨網(wǎng)絡(luò)，一組靈活的子像素卷積技術(shù)應(yīng)用到RB中，如圖2所示。
其中，這個靈活的子像素卷積技術(shù)由x2、x3和x4三種模式組成。當(dāng)訓(xùn)練固定縮放因子的超分辨模型時，選擇三種模式中一種即可。當(dāng)訓(xùn)練盲超分辨模型時，三種模式同時開啟。
圖2 靈活的子像素卷積技術(shù)
IRB: IRB能進一步學(xué)習(xí)RB獲得高頻特征，以恢復(fù)更多的高頻細節(jié)信息，提升SR性能。此外，IRB也負責(zé)構(gòu)造高清圖像。
（1）LESRCNN通過級聯(lián)三個塊，以減少參數(shù)量和獲得高的圖像超分辨性能；
（2）LESRCNN通過提取層次低頻特征并融合這些特征，以解決網(wǎng)絡(luò)長期依賴問題。此外，LSRCNN中異構(gòu)卷積結(jié)構(gòu)能在不降低SR性能情況下降低網(wǎng)絡(luò)參數(shù)和提高SR網(wǎng)絡(luò)效率。低頻和高頻特征同時使用能提升SR性能。
（3）LESRCNN能處理固定縮放因子的低分辨率圖像和盲超分辨任務(wù)。
表1不同方法在Set5上恢復(fù)不同縮放因子（x2、x3和x4）的低分辨率圖像獲得PSNR和SSIM值
表2不同方法在Set14上恢復(fù)不同縮放因子（x2、x3和x4）的低分辨率圖像獲得PSNR和SSIM值
表3不同方法在B100上恢復(fù)不同縮放因子（x2、x3和x4）的低分辨率圖像獲得PSNR和SSIM值
表4不同方法在U100上恢復(fù)不同縮放因子（x2、x3和x4）的低分辨率圖像獲得PSNR和SSIM值
表5不同方法恢復(fù)256x256,512x512和1024x1024高質(zhì)量圖像的運行時間
表6不同圖像超分辨網(wǎng)絡(luò)的復(fù)雜度
圖3 不同方法在U100上恢復(fù)縮放因子2的高質(zhì)量圖像視覺效果
圖4 不同方法在Set14上恢復(fù)縮放因子3的高質(zhì)量圖像視覺效果
圖5 不同方法在B100上恢復(fù)縮放因子4的高質(zhì)量圖像視覺效果
論文：
https://arxiv.org/pdf/2007.04344.pdf
代碼：
https://github.com/hellloxiaotian/LESRCNN