超實(shí)用性：盲噪聲的盲超分辨的非對(duì)稱卷積神經(jīng)網(wǎng)絡(luò)

由哈爾濱工業(yè)大學(xué)、國(guó)立清華大學(xué)及香港中文大學(xué)的學(xué)者提出了一種用于盲噪聲的盲超分辨的非對(duì)稱卷積神經(jīng)網(wǎng)絡(luò)，該論文已經(jīng)在AriXv上發(fā)表。該論文打破傳統(tǒng)的一個(gè)模型只能處理固定縮放因子的圖像超分辨問(wèn)題，該文巧妙地通過(guò)一個(gè)網(wǎng)絡(luò)訓(xùn)練出用于處理固定縮放因子的圖像超分辨、盲超分辨任務(wù)及盲噪聲的盲超分辨模型，這對(duì)手機(jī)和相機(jī)等拍照設(shè)備具有較強(qiáng)的應(yīng)用性。

論文題目：Asymmetric CNN for image super-resolution

作者: Chunwei Tian, Yong Xu, Wangmeng Zuo, Chia-Wen Lin and David Zhang

單位：哈爾濱工業(yè)大學(xué)、國(guó)立清華大學(xué)、香港中文大學(xué)

論文鏈接：https://arxiv.org/pdf/2103.13634.pdf

論文中給出的代碼鏈接：https://github.com/hellloxiaotian/ACNet

動(dòng)機(jī)：

已有圖像超分辨的卷積神經(jīng)網(wǎng)絡(luò)都沒(méi)有考慮到局部特征點(diǎn)的作用，而直接通過(guò)殘差或者連接操作方法融合不同水平的特征，以提高預(yù)測(cè)超分辨圖像的質(zhì)量。但該操作會(huì)因信息冗余，導(dǎo)致訓(xùn)練效率減慢。此外，已有圖像超分辨方法大部分都是通過(guò)一個(gè)縮放因子來(lái)訓(xùn)練一個(gè)圖像超分辨模型，這與真實(shí)世界中收集到無(wú)固定尺寸的低分辨率圖像的復(fù)原是相悖的。因此，作者們提出了盲噪聲的盲超分辨的非對(duì)稱卷積神經(jīng)網(wǎng)絡(luò)。

思路：

ACNet通過(guò)由3x1, 1x3和3x3組成的非對(duì)稱卷積結(jié)構(gòu)在水平和豎直方向上增強(qiáng)方核卷積作用，突顯局部關(guān)鍵特征對(duì)SISR任務(wù)的作用和加快訓(xùn)練效率，如網(wǎng)絡(luò)結(jié)構(gòu)圖的AB塊所示；為了防止ACNet會(huì)因網(wǎng)絡(luò)深度加深而導(dǎo)致SR性能下降，ACNet利用殘差學(xué)習(xí)操作集成獲得網(wǎng)絡(luò)層次特征，這不僅強(qiáng)化低頻特征，同時(shí)該操作也通過(guò)充分考慮深度特征和寬度特征而使獲得低頻特征更魯棒，具體如網(wǎng)絡(luò)結(jié)構(gòu)圖中非對(duì)稱塊（AB）所示；為了獲得盲超分辨模型及盲噪聲的盲超分辨模型，一組并行的子像素卷積技術(shù)（上采樣）被用到記憶增強(qiáng)塊（MEB）中，具體如MEB和上采樣結(jié)構(gòu)圖；最好，為了防止上采樣過(guò)程中，模型不穩(wěn)定，高頻特征融合增強(qiáng)塊（HFFEB）結(jié)合獲得高頻特征和低頻特征學(xué)習(xí)得到更精準(zhǔn)的超分辨特征，這樣能防止之前操作導(dǎo)致特征過(guò)分增強(qiáng)現(xiàn)象。為了全面驗(yàn)證提出的ACNet在固定縮放因子圖像超分辨、盲圖像超分辨及盲噪聲的盲圖像超分辨上的好性能，本文選擇定量分析和定性分析設(shè)計(jì)驗(yàn)證實(shí)驗(yàn)，具體如下所示：

1.網(wǎng)絡(luò)結(jié)構(gòu)圖2.上采樣操作

3.實(shí)驗(yàn)設(shè)置

為了公平地設(shè)計(jì)實(shí)驗(yàn)，本文選擇和2018 ECCV發(fā)表的CARN-M一樣的MSE作為損失函數(shù)及選擇Adam優(yōu)化器共同優(yōu)化參數(shù)，其余初試參數(shù)如下：1.beta_1 0.9, beta_2 0.999；2.10-8的epsilon；3.660000步；4.Batch size為16；5.初始學(xué)習(xí)率為10-4，每400000步學(xué)習(xí)率減半。4.不同方法在不同數(shù)據(jù)集的SR結(jié)果 為了更全面證明本文提出方法的性能，這里選擇定量分析和定性分析來(lái)驗(yàn)證ACNet在圖像超分辨上性能。

定量分析:

本文首先選擇在四個(gè)基準(zhǔn)的超分辨數(shù)據(jù)集（Set5、Set14、B100和U100）上對(duì)于不同縮放因子（x2、x3和x4）測(cè)試不同方法的PSNR/SSIM。由表TABLE IV-TABLE VII可知，本文提出的ACNet和ACNet-B（盲超分辨模型）在不同數(shù)據(jù)集上對(duì)于不同縮放因子都取得具有競(jìng)爭(zhēng)力的性能。

(1)不同方法在Set5和Set14數(shù)據(jù)集對(duì)于不同縮放因子的PSNR/SSIM值(2)不同方法在B100和U100數(shù)據(jù)集對(duì)于不同縮放因子的PSNR/SSIM值其次，考慮到模型復(fù)雜度和恢復(fù)高質(zhì)量圖像的時(shí)間是衡量超分辨技術(shù)在數(shù)字設(shè)備上實(shí)用性的重要指標(biāo)，本文利用選擇包括幾種經(jīng)典的方法（2016 CVPR-VDSR、2017 TIP-DnCNN、2016 CVPR-DRCN、2017 CVPR-DRRCN、 2017 CVPR MemNet和2018 ECCV CARN-M）來(lái)作為對(duì)比方法來(lái)設(shè)計(jì)實(shí)驗(yàn)。通過(guò)表TABLE VIII中參數(shù)和FLOPS和表TABLE IX可知，本文提出的ACNet在復(fù)雜度和復(fù)原高質(zhì)量圖像的運(yùn)行速度上與主流方法相比是非常有優(yōu)勢(shì)的。

(3)復(fù)雜度和運(yùn)行時(shí)間接著，為了更全面測(cè)試本文提出的ACNet在感知方面也具有優(yōu)勢(shì)，本文利用圖像質(zhì)量評(píng)估方法FSIM來(lái)測(cè)試ACNet。由表TABLE X可知，本文提出的ACNet在不同縮放因子下比其他對(duì)比方法獲得更好FSIM值，這說(shuō)明了ACNet在圖像質(zhì)量評(píng)估方法取得了更好的性能。(4)圖像質(zhì)量評(píng)估最后，為了測(cè)試本文提出的ACNet對(duì)于恢復(fù)帶有噪聲的低分辨圖像上也是有效的。本文設(shè)計(jì)不同數(shù)據(jù)集不同縮放因子條件下利用不同方法處理低頻噪聲的低分辨圖像和高頻高分辨率圖像。從表TABLE XI和TABLE XII中可知，本文提出的ACNet在恢復(fù)低頻15和25的不同縮放因子的低分辨圖像比其他經(jīng)典深度學(xué)習(xí)去噪方法DnCNN和圖像超分辨方法LESRCNN更有效。從表TABLE XIII和TABLE XIV中可知，本文提出的ACNet在恢復(fù)低頻35和50的不同縮放因子的低分辨圖像比其他經(jīng)典深度學(xué)習(xí)去噪方法DnCNN和圖像超分辨方法LESRCNN更有效。其中，ACNet-M是包含盲噪聲的盲超分辨模型。由以上可知，本文提出的ACNet在恢復(fù)低頻噪聲低分辨圖像和高頻噪聲高水平圖像的都具有良好的魯棒性。

(5)包含低頻噪聲的低分辨圖像復(fù)原結(jié)果

(6)包含高頻噪聲的低分辨圖像復(fù)原結(jié)果

定性分析：

本文選擇在高清圖像、Y通道圖像、錯(cuò)誤圖像（預(yù)測(cè)高質(zhì)量圖像與給出的高質(zhì)量圖像）、邊緣圖像上選擇一個(gè)區(qū)域來(lái)測(cè)試平坦、紋理及恢復(fù)細(xì)節(jié)信息好壞等。對(duì)于高清圖像、Y通道圖像及邊緣圖像來(lái)說(shuō)，選擇的觀察區(qū)越清晰，代表對(duì)應(yīng)的超分辨方法性能越好。對(duì)于錯(cuò)誤圖像來(lái)說(shuō)，細(xì)節(jié)信息越少，代表對(duì)應(yīng)的超分辨性能越好。從圖3-圖13可知，本文提出的ACNet從不同視角的可視化圖像上均驗(yàn)證它在圖像超分辨任務(wù)上強(qiáng)的魯棒性。

(7)獲得高清圖像和Y通道圖像的平坦區(qū)域可視化結(jié)果(8)獲得錯(cuò)誤圖像和邊緣圖像的平坦區(qū)域可視化結(jié)果

(9)獲得高清圖像和Y圖像的紋理區(qū)域可視化結(jié)果(10)獲得錯(cuò)誤圖像和邊緣圖像的紋理區(qū)域可視化結(jié)果(11)獲得高清圖像和Y圖像的細(xì)節(jié)信息區(qū)域可視化結(jié)果

（12）獲得錯(cuò)誤圖像和邊緣圖像的細(xì)節(jié)信息區(qū)域可視化結(jié)果

結(jié)論：

作者們從網(wǎng)絡(luò)設(shè)計(jì)和功能出發(fā)提出一種實(shí)用性的超分辨網(wǎng)絡(luò)。通過(guò)非對(duì)稱卷積核的作用在不同方向上增強(qiáng)局部關(guān)鍵特征對(duì)圖像超分辨的作用。該操作不僅提高了圖像超分辨性能，也加快訓(xùn)練效率。此外，作者們通過(guò)并行上采樣技術(shù)使一個(gè)模型能解決固定縮放因子的圖像超分辨、盲超分辨、盲噪聲的盲超分辨問(wèn)題，這使用戶或者開(kāi)發(fā)者能根據(jù)各自需求，選擇不同功能。