欧美一级欧美三级在线观看,国产欧美a片,亚洲不卡免费视频,久久视频高清无码,天天草天天射天天撸,亚洲三级片在线视频,国产一级婬片A片免费看狼牙,69福利网

論文地址：

https://arxiv.org/pdf/2103.02907.pdf

代碼地址：

https://github.com/AndrewQibin/CoordAttention

Introduction

大部分注意力機(jī)制用于深度神經(jīng)網(wǎng)絡(luò)可以帶來很好的性能提升，但這些注意力機(jī)制用于移動(dòng)網(wǎng)絡(luò)（模型比較小）會(huì)明顯落后于大網(wǎng)絡(luò)，這主要是因?yàn)榇蠖鄶?shù)注意力機(jī)制帶來的計(jì)算開銷對于移動(dòng)網(wǎng)絡(luò)而言是無法承受的，例如self-attention。

因此，在移動(dòng)網(wǎng)絡(luò)上主要使用Squeeze-and-Excitation (SE)，BAM和CBAM。但SE只考慮內(nèi)部通道信息而忽略了位置信息的重要性，而視覺中目標(biāo)的空間結(jié)構(gòu)是很重要的。BAM和CBAM嘗試去通過在通道上進(jìn)行全局池化來引入位置信息，但這種方式只能捕獲局部的信息，而無法獲取長范圍依賴的信息。

這里稍微解釋一下，經(jīng)過幾層的卷積后feature maps的每個(gè)位置都包含了原圖像一個(gè)局部區(qū)域的信息，CBAM是通過對每個(gè)位置的多個(gè)通道取最大值和平均值來作為加權(quán)系數(shù)，因此這種加權(quán)只考慮了局部范圍的信息。

在本文中提出了一種新穎且高效的注意力機(jī)制，通過嵌入位置信息到通道注意力，從而使移動(dòng)網(wǎng)絡(luò)獲取更大區(qū)域的信息而避免引入大的開銷。為了避免2D全局池化引入位置信息損失，本文提出分解通道注意為兩個(gè)并行的1D特征編碼來高效地整合空間坐標(biāo)信息到生成的attention maps中。

具體而言，利用兩個(gè)1D全局池化操作將沿垂直和水平方向的input features分別聚合為兩個(gè)單獨(dú)的direction-aware feature maps。然后將具有嵌入的特定方向信息的這兩個(gè)特征圖分別編碼為兩個(gè)attention map，每個(gè)attention map都沿一個(gè)空間方向捕獲輸入特征圖的遠(yuǎn)距離依存關(guān)系。位置信息因此可以被保存在所生成的attention map中。然后通過乘法將兩個(gè)attention map都應(yīng)用于input feature maps，以強(qiáng)調(diào)注意區(qū)域的表示。

考慮到其操作可以區(qū)分空間方向（即坐標(biāo)）并生成coordinate-aware attention maps，因此論文將提出的注意力方法稱為“coordinate attention”。

這種coordinate attention有三個(gè)優(yōu)點(diǎn)：

1) 它捕獲了不僅跨通道的信息，還包含了direction-aware和position-sensitive的信息，這使得模型更準(zhǔn)確地定位到并識別目標(biāo)區(qū)域。

2) 這種方法靈活且輕量，很容易插入到現(xiàn)有的經(jīng)典移動(dòng)網(wǎng)絡(luò)中，例如MobileNet_v2中的倒殘差塊和MobileNeXt中的沙漏塊中去提升特征表示性能。

3) 對一個(gè)預(yù)訓(xùn)練的模型來說，這種coordinate attention可以給使用移動(dòng)網(wǎng)絡(luò)處理的down-stream任務(wù)帶來明顯性能提升，尤其是那些密集預(yù)測的任務(wù)，例如語義分割。

Coordinate Attention

在介紹coordinate attention前先回顧一下SE和CBAM。

SE比較簡單，如圖a所示，看一下這個(gè)結(jié)構(gòu)圖就懂了。

稍微介紹一下CBAM，如圖b所示，CBAM包含空間注意力和通道注意力兩部分。

通道注意力：對input feature maps每個(gè)feature map做全局平均池化和全局最大池化，得到兩個(gè)1d向量，再經(jīng)過conv，ReLU，1x1conv，sigmoid進(jìn)行歸一化后對input feature maps加權(quán)。

空間注意力：對feature map的每個(gè)位置的所有通道上做最大池化和平均池化，得到兩個(gè)feature map，再對這兩個(gè)feature map進(jìn)行7x7 Conv，再使BN和sigmoid歸一化。

具體如下圖所示：

回到Coordinate Attention上，如下圖所示，分別對水平方向和垂直方向進(jìn)行平均池化得到兩個(gè)1D向量，在空間維度上Concat和1x1Conv來壓縮通道，再是通過BN和Non-linear來編碼垂直方向和水平方向的空間信息，接下來split，再各自通過1x1得到input feature maps一樣的通道數(shù)，再歸一化加權(quán)。