來源：DeepHub IMBA

本文約2100字，建議閱讀8分鐘
本文為你介紹的論文試圖量化和可視化靜態(tài)注意力機(jī)制，并表明并非所有的注意模塊都是有益的。

圖像超分辨率(SR)是一種低層次的計(jì)算機(jī)視覺問題，其目標(biāo)是從低分辨率觀測中恢復(fù)出高分辨率圖像。近年來，基于深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)的SR方法取得了顯著的成功，CNN模型的性能不斷增長。近年來，一些方法開始將注意機(jī)制集成到SR模型中，如頻道注意和空間注意。注意力機(jī)制的引入通過增強(qiáng)靜態(tài)cnn的表示能力，極大地提高了這些網(wǎng)絡(luò)的性能。

現(xiàn)有研究表明，注意機(jī)制在高績效超劃分模型中非常重要。但是很少有研究真正討論“注意力為什么起作用以及它是如何起作用的”。

今天要介紹的論文試圖量化和可視化靜態(tài)注意力機(jī)制，并表明并非所有的注意模塊都是有益的。[1]為高精度SR圖像提出了注意網(wǎng)絡(luò)(attention network, A2N)中的注意力。具體來說，A2N由非注意力分支和耦合注意力分支組成。

[1]提出dropout模塊(ADM)為兩個(gè)分支生成動(dòng)態(tài)權(quán)值，用于抑制不重要的參數(shù)。這使得注意力模塊可以更多地關(guān)注有益的例子而不受其他懲罰，因此可以通過少量的附加參數(shù)來增加注意力模型的容量。

動(dòng)機(jī)

給定輸入特征，注意力機(jī)制將預(yù)測熱點(diǎn)圖。例如，通道注意將生成1D注意力地圖;空間注意力將生成2D注意力地圖;頻道——空間注意力將生成3D注意力地圖。自然而然地，我們問了兩個(gè)問題:

圖像的每個(gè)部分的注意力因素是高還是低?
注意力機(jī)制是否總是有利于SR模式?

為了回答上面提到的第一個(gè)問題，[1]使用了10個(gè)注意模塊組成的網(wǎng)絡(luò)，每個(gè)模塊都使用了通道和空間注意層，所以每個(gè)像素都有一個(gè)獨(dú)立的系數(shù)。

注意力熱點(diǎn)圖：由于空間有限，我們選擇了幾個(gè)具有代表性的塊，每一欄分別表示第一、第三、第六、第十注意塊。

第一行：平均輸入特征圖。
第二行：平均輸出特征圖。
第三行：平均注意力地圖。

對(duì)于前兩行，特征中的白色區(qū)域表示零值，紅色區(qū)域表示正值，藍(lán)色區(qū)域表示負(fù)值。對(duì)于注意圖(第三行)，顏色越亮表示系數(shù)越高。來源[1]

上圖為某些特征與注意圖的視覺效果，上表為注意圖與高通濾波的相關(guān)系數(shù)。雖然這種測量方法不能準(zhǔn)確測量注意反應(yīng)，但其目的是量化不同層次之間的相對(duì)高通相關(guān)性。

每個(gè)注意塊的注意圖與相應(yīng)特征圖的高通濾波器輸出特征之間的相關(guān)系數(shù)。

從上圖和上表中可以看出，不同層次學(xué)習(xí)到的注意力差異很大。例如，模塊1和模塊10的反應(yīng)是完全相反的，即低水平注意模塊傾向于低頻模式，高水平注意模塊傾向于高頻模式，中間注意模塊的反應(yīng)是混合的。

基于以上發(fā)現(xiàn)，[1]提出盡量減少注意力的使用，同時(shí)盡量減少附加參數(shù)的數(shù)量。一個(gè)直觀的想法是:只將注意力層放在性能關(guān)鍵層中。然而，上述分析并不是衡量注意層有效性的有效解決方案。

為了定量衡量注意層的有效性，[1]提出了注意dropout框架。他們通過關(guān)閉特定的注意層進(jìn)行了一系列的對(duì)比實(shí)驗(yàn)，結(jié)果如下表所示。

從上表可以看出，模塊的深度對(duì)注意模塊的插入位置影響很大。該結(jié)果進(jìn)一步驗(yàn)證了在整個(gè)網(wǎng)絡(luò)中均勻設(shè)置注意力是一種次優(yōu)解決方案。

方法

一種固定的注意力層方案(如RCAN、PANet)被用來同時(shí)激活所有的與圖像內(nèi)容無關(guān)注意力地圖。以上實(shí)驗(yàn)表明，注意層的有效性會(huì)隨著位置的變化而變化。這啟發(fā)了[1]構(gòu)造一個(gè)非注意短連接分支和一個(gè)注意分支，并將它們與動(dòng)態(tài)權(quán)重混合在一起。

如圖所示，網(wǎng)絡(luò)架構(gòu)由三部分組成：

淺層的特征提取；
注意塊深度特征提取中的注意力；
圖像重建模塊。

輸入和輸出圖像分別表示為ILR和ISR。

在淺層特征提取模塊中使用單一的卷積層。然后他們就可以闡明：

其中fext(·)是內(nèi)核大小為3×3的卷積層，從輸入LR圖像ILR中提取淺層特征，x0是提取的特征圖。他們利用A2B構(gòu)造了一個(gè)鏈子網(wǎng)絡(luò)作為深度特征提取器。

其中，fA2B(·)表示我們在注意塊中的建議。A2B將無注意力的分支和注意力分支結(jié)合起來并動(dòng)態(tài)調(diào)整權(quán)重。

在深度特征提取后，通過重構(gòu)模塊對(duì)深度特征xn進(jìn)行升級(jí)。在重構(gòu)模塊中，首先使用最近鄰插值進(jìn)行上采樣，然后在兩個(gè)卷積層之間使用一個(gè)簡化的通道-空間注意層。

他們受到動(dòng)態(tài)內(nèi)核的啟發(fā)，提出了一個(gè)可學(xué)習(xí)的ADM來自動(dòng)丟棄一些不重要的注意力特性，并平衡注意力分支到非注意力分支。具體來說，每個(gè)ADM都采用加權(quán)方法來控制注意力分支和非注意力分支的動(dòng)態(tài)加權(quán)貢獻(xiàn)。

如上圖所示，注意dropout模塊通過使用其塊的相同輸入特征作為兩個(gè)獨(dú)立分支來生成權(quán)重。

在形式上，我們有：

其中x^{na}_ n為非注意力分支的輸出，x^{att}_ n為注意力分支的輸出。F_ {1×1}(·)提供1×1核卷積。π^{na}和π^{att}分別為非注意力分支和注意力分支的權(quán)值，由網(wǎng)絡(luò)根據(jù)輸入特征計(jì)算π^{na}和π^{att}，而不是人為設(shè)置的兩個(gè)固定值。為了計(jì)算動(dòng)態(tài)權(quán)值，我們有：

其中f_drop(·)是注意力丟棄模塊。

注意力丟棄模塊可以在上面的圖中詳細(xì)查看。它首先使用全局平均池化壓縮輸入xn?1。連接層由兩個(gè)完全連接的層組成，使用ReLU激活。它們使用全局池化來增加接受域，這使得注意力退出模塊能夠從整個(gè)圖像中捕獲特征。

結(jié)論

實(shí)驗(yàn)結(jié)果表明，該模型與目前最先進(jìn)的輕量級(jí)網(wǎng)絡(luò)相比，具有更好的權(quán)衡性能。局部歸因圖的實(shí)驗(yàn)也證明注意(A2)結(jié)構(gòu)中的注意可以從更廣泛的范圍內(nèi)提取特征。

論文

1.Haoyu Chen, Jinjin Gu, Zhi Zhang.Attention in Attention Network for Image Super-Resolution,arXiv:2104.09497

本文作者：Nabil MADALI

原文地址：https://medium.com/@nabil.madali/attention-in-attention-network-for-image-super-resolution-60f9726f0bbc

編輯：黃繼彥

校對(duì)：林亦霖

圖像超分辨率網(wǎng)絡(luò)中的注意力機(jī)制

動(dòng)機(jī)

方法

結(jié)論