代碼：https://github.com/Christian-lyc/NAM

論文：https://arxiv.org/abs/2111.12419

摘要：本文提出一種基于歸一化的注意力模塊（NAM），可以降低不太顯著的特征的權(quán)重，這種方式在注意力模塊上應(yīng)用了稀疏的權(quán)重懲罰，這使得這些權(quán)重在計(jì)算上更加高效，同時(shí)能夠保持同樣的性能。我們?cè)赗esNet和MobileNet上和其他的注意力方式進(jìn)行了對(duì)比，我們的方法可以達(dá)到更高的準(zhǔn)確率。

1、介紹

注意力機(jī)制在近年來(lái)大熱，注意力機(jī)制可以幫助神經(jīng)網(wǎng)絡(luò)抑制通道中或者是空間中不太顯著的特征。之前的很多的研究聚焦于如何通過(guò)注意力算子來(lái)獲取顯著性的特征。這些方法成功的發(fā)現(xiàn)了特征的不同維度之間的互信息量。但是，缺乏對(duì)權(quán)值的貢獻(xiàn)因子的考慮，而這個(gè)貢獻(xiàn)因子可以進(jìn)一步的抑制不顯著的特征。因此，我們瞄準(zhǔn)了利用權(quán)值的貢獻(xiàn)因子來(lái)提升注意力的效果。我們使用了Batch Normalization的縮放因子來(lái)表示權(quán)值的重要程度。這樣可以避免如SE，BAM和CBAM一樣增加全連接層和卷積層。這樣，我們提出了一個(gè)新的注意力方式：基于歸一化的注意力（NAM）。

2、方法

我們提出的NAM是一種輕量級(jí)的高效的注意力機(jī)制，我們采用了CBAM的模塊集成方式，重新設(shè)計(jì)了通道注意力和空間注意力子模塊，這樣，NAM可以嵌入到每個(gè)網(wǎng)絡(luò)block的最后。對(duì)于殘差網(wǎng)絡(luò)，可以嵌入到殘差結(jié)構(gòu)的最后。對(duì)于通道注意力子模塊，我們使用了Batch Normalization中的縮放因子，如式子（1），縮放因子反映出各個(gè)通道的變化的大小，也表示了該通道的重要性。為什么這么說(shuō)呢，可以這樣理解，縮放因子即BN中的方差，方差越大表示該通道變化的越厲害，那么該通道中包含的信息會(huì)越豐富，重要性也越大，而那些變化不大的通道，信息單一，重要性小。

因此，通道注意力子模塊如圖1，式（2），用表示最后得到的輸出特征，γ是每個(gè)通道的縮放因子，因此，每個(gè)通道的權(quán)值可以得到，如果對(duì)空間中的每個(gè)像素使用同樣的歸一化方法，就可以得到空間注意力的權(quán)重，式（3），就叫做像素歸一化。像素注意力見(jiàn)圖2，輸出為。

為了抑制不重要的特征，我們?cè)趽p失函數(shù)中加入了一個(gè)正則化項(xiàng)，如（4）式，

3、實(shí)驗(yàn)

我們將NAM和SE，BAM，CBAM，TAM在ResNet和MobileNet上，在CIFAR100數(shù)據(jù)集和ImageNet數(shù)據(jù)集上進(jìn)行了對(duì)比，我們對(duì)每種注意力機(jī)制都使用了同樣的預(yù)處理和訓(xùn)練方式，對(duì)比結(jié)果表示，在CIFAR100上，單獨(dú)使用NAM的通道注意力或者空間注意力就可以達(dá)到超越其他方式的效果。在ImageNet上，同時(shí)使用NAM的通道注意力和空間注意力可以達(dá)到超越其他方法的效果。