AIM20|超輕量型超分網(wǎng)絡(luò)|MAFFSRN

點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

來(lái)源：AIWalker

paper: https://arxiv.org/abs/2008.12912

【導(dǎo)語(yǔ)】圖像/視頻增強(qiáng)在手機(jī)端的應(yīng)用非常多，但是基于深度學(xué)習(xí)的畫(huà)質(zhì)增強(qiáng)方法卻往往難以真正的落地，這其中原因有二：(1) 模型過(guò)大，導(dǎo)致計(jì)算復(fù)雜度、內(nèi)存占用高；(2) 輸入圖像分辨率過(guò)大，往往輸入1K，甚至更高(像圖像分類、目標(biāo)檢測(cè)的輸入往往只有200-300，且特征分辨率逐級(jí)下降，而畫(huà)質(zhì)增強(qiáng)類算法往往只存在分辨率增大過(guò)程，較少進(jìn)行分辨率降低)。該文從模型的超輕量角度出發(fā)，提出了一種超輕量型的模型，這無(wú)疑為相應(yīng)方法的真正落地提供了一個(gè)強(qiáng)大的Baseline，故推薦給各位。

Abstract

輕量型超分網(wǎng)絡(luò)對(duì)于真實(shí)場(chǎng)景應(yīng)用極為重要，盡管已有諸多基于深度學(xué)習(xí)的方法在圖像超分領(lǐng)域取得前所未有的成功，但是它們存在高內(nèi)存占用、高計(jì)算量問(wèn)題，這嚴(yán)重阻礙了其在真實(shí)場(chǎng)景的應(yīng)用問(wèn)題。

為解決上述問(wèn)題，作者提出一種Multi-Attentive Feature Fusion Super Resolution Network(MAFFSRN)，它由所提出的Feature Fusion Groups(FFGs)構(gòu)成，每個(gè)FFG包含多個(gè)所提Multi-Attention Block(MAB)，每個(gè)MAB采用多注意力機(jī)制精煉與提取特征。

最后，作者通過(guò)充分的實(shí)驗(yàn)證實(shí)了所提方法的SOTA性能，并獲得AIM20 Efficient SR競(jìng)賽的內(nèi)存占用賽道第一，F(xiàn)LOPs第三，參數(shù)量第四的成績(jī)。下圖給出了所提方法與其他SOTA超分方法在PSNR與FLOP方面的對(duì)比。

該文主要貢獻(xiàn)包含以下幾點(diǎn)：

• 提出一種超輕量型超分網(wǎng)絡(luò)，它由BFF、MAB、CEA等模塊構(gòu)成；
• 所提方法取得了AIM20超分競(jìng)賽內(nèi)存占用第一、FLOP第三、參數(shù)量第四的成績(jī)；
• 與其他SOTA方法在多個(gè)尺度進(jìn)行了充分的定量與定性對(duì)比分析。

Method

上圖給出了所提方法的整體網(wǎng)絡(luò)框架圖，很明顯它是VDSR類型的網(wǎng)絡(luò)架構(gòu)。MAFFSRN包含多個(gè)FFG模塊，與多尺度上采樣模塊。MAFFSRN首先采用一個(gè)Conv提取特征，然后采用多個(gè)FFG進(jìn)行特征精煉與增強(qiáng)，最后采用多尺度上采樣模塊進(jìn)行超分得到殘差圖，最后與bicubic結(jié)果相加得到最終的超分結(jié)果。(注：作者認(rèn)為該網(wǎng)絡(luò)結(jié)構(gòu)屬于RDN系列，但從筆者角度來(lái)看應(yīng)當(dāng)屬于VDSR系列)

對(duì)于給定輸入低分辨率 圖像，淺層特征提取可以描述如下：

接下來(lái)，就是采用多個(gè)FFG對(duì)淺層特征進(jìn)行精煉與曾倩過(guò)來(lái)，該過(guò)程可以描述為：

最后的多尺度重建過(guò)程可以描述如下：

上面對(duì)該文所提MAFFSRN進(jìn)行概括性介紹，下面就要對(duì)其中的一些關(guān)鍵性模塊進(jìn)行更為充分的介紹與分析咯。

FFG

我們首先來(lái)介紹一個(gè)FFG這個(gè)模塊，它有多個(gè)MAB模塊(見(jiàn)下一小節(jié)內(nèi)容)構(gòu)成。下圖給出了幾種形式的MAB組合模式，HFF可以算作“一次性”融合模式，BFF可以視作“分組”融合模式，而該文所提用到的則是第三種“漸進(jìn)式”融合模式，見(jiàn)下圖c。

在BFF特征融合模式中，先對(duì)特征進(jìn)行分組，相鄰組特征通過(guò)concat方式進(jìn)行融合得到組數(shù)減半的特征，順次進(jìn)行特征融合；而在所提M-BFF特征融合模式中，則是采用“漸進(jìn)式”的特征融合，也就是說(shuō)先融合兩組，融合結(jié)果在于第三組融合，依次進(jìn)行融合得到最終的融合特征。

受啟發(fā)與ShuffleNet，在特征融合時(shí)作者引入了“通道置換”思想混合不同通道的信息，同時(shí)起到降低計(jì)算量目的。最后的特征輸出則是采用自適應(yīng)殘差學(xué)習(xí)的方式，見(jiàn)MAB部分的示意圖。注：請(qǐng)恕筆者知識(shí)面淺薄，未能搞懂這里的“通道置換”到底有什么作用。在ShuffleNet一文中，“通道置換”是為了進(jìn)行組卷積時(shí)組間“信息交互”，而這里后接的是1x1卷積，好像不需要進(jìn)行這個(gè)操作，就算進(jìn)行了這個(gè)操作，在推理階段它也可以和后接的1x1卷積合并，懵逼狀態(tài)。

MAB

前面已經(jīng)介紹了FFG，那么接下來(lái)就要介紹一下MAB模塊了，見(jiàn)上圖右(注：上圖左即為FFG的更詳細(xì)示意圖)。

MAB著重強(qiáng)調(diào)了通道注意力機(jī)制的重要性，RFANet一文中同時(shí)引入了空域注意力機(jī)制與通道注意力機(jī)制(稱之為ESA，感興趣者可以查看超越RCAN，圖像超分又一峰：RFANet)，見(jiàn)下圖。

該文作者在ESA的基礎(chǔ)上進(jìn)行了引入擴(kuò)張卷積(不僅可以降低內(nèi)存占用，同時(shí)可以提升感受野，進(jìn)而提升模型性能)使其更高效，更進(jìn)一步，作者將多個(gè)擴(kuò)張卷積的輸出結(jié)果通過(guò)Add方式融合以消除Gridding問(wèn)題。與此同時(shí)，作者引入了另一種高效的注意力機(jī)制(cost-efficient attention, CEA)用于精煉輸入特征,CEA有1x1卷積與depthwise卷積構(gòu)成。

Experiments

“實(shí)驗(yàn)是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”，所以為更好的說(shuō)明所提方法的有效性，作者進(jìn)行了充分的實(shí)驗(yàn)對(duì)比分析。

在模型配置方面，作者提供了兩個(gè)模型：MAFFSRN與MAFFSRN-L。MAFFSRN包含4個(gè)FFG，每個(gè)FFG包含4個(gè)MAB；MAFFSRN-L則包含8個(gè)FFG，每個(gè)FFG包含4個(gè)MAB。在MAB中，1x1卷積的通道下降因子為4，stride卷積的stride=3，擴(kuò)展卷積的因子分別為1和2，自適應(yīng)參數(shù) 初始化為0.5，網(wǎng)絡(luò)中的通道數(shù)默認(rèn)為32。

在訓(xùn)練數(shù)據(jù)方面，作者還采用DIV2K進(jìn)行模型訓(xùn)練，驗(yàn)證集則為Set5、Set14、B100、Urban100等。

在訓(xùn)練超分方面，作者采用了AdamP優(yōu)化器，初始學(xué)習(xí)率為 ，每200epoch折半，合計(jì)訓(xùn)練1000epoch；數(shù)據(jù)增強(qiáng)方法為標(biāo)準(zhǔn)方法(隨機(jī)鏡像、隨機(jī)旋轉(zhuǎn))，Batch=16，輸入塊大小為 。

在度量準(zhǔn)則方面，作者采用YCbCr空間Y通道的PSNR與SSIM；同時(shí)作者還對(duì)比了參數(shù)量、FLOPs等。

我們首先來(lái)看一下消融實(shí)驗(yàn)結(jié)果對(duì)比，下表給出了不同特征融合模式的性能對(duì)比。

下表給出了“通道置換”添加前后的性能對(duì)比。

下表給出了MAB中不同卷積的性能對(duì)比。

下表給出了不同優(yōu)化器訓(xùn)練模型的性能對(duì)比。

接下來(lái)就是重點(diǎn)了，下表給出了所提方法與其他SOTA方法的性能對(duì)比與視覺(jué)效果對(duì)比。

下面給出了AIM20超分競(jìng)賽的結(jié)果對(duì)比，注：該競(jìng)賽要求超分的指標(biāo)與ESRGAN(PSNR導(dǎo)向訓(xùn)練)在DIV2K相當(dāng)?shù)那疤嵯卤M可能降低計(jì)算量、參數(shù)量以及內(nèi)存占用。內(nèi)存占用采用torch.cuda.max_memory_allocated()進(jìn)行測(cè)試，F(xiàn)LOPs則是在輸入 測(cè)試。所提方法在DIV2K驗(yàn)證集上的平均速度為0.104s(100張平均)。

全文到此結(jié)束，對(duì)該文感興趣的同學(xué)建議去查看一下原文。

下載1：動(dòng)手學(xué)深度學(xué)習(xí)

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：動(dòng)手學(xué)深度學(xué)習(xí)，即可下載547頁(yè)《動(dòng)手學(xué)深度學(xué)習(xí)》電子書(shū)和源碼。該書(shū)是面向中文讀者的能運(yùn)行、可討論的深度學(xué)習(xí)教科書(shū)，它將文字、公式、圖像、代碼和運(yùn)行結(jié)果結(jié)合在一起。本書(shū)將全面介紹深度學(xué)習(xí)從模型構(gòu)造到模型訓(xùn)練，以及它們?cè)谟?jì)算機(jī)視覺(jué)和自然語(yǔ)言處理中的應(yīng)用。

    

     個(gè)人微信（如果沒(méi)有備注不拉群！）
    
    

     請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱