成人视频在线播放,五月天黄色电影网站,成人视频二区三区,青青青国产在线,无码婷婷,丁香五月桃花网,夜色88V精品国产,影音先锋男人天堂

點(diǎn)擊左上方藍(lán)字關(guān)注我們

全網(wǎng)搜集目標(biāo)檢測(cè)相關(guān)，人工篩選最優(yōu)價(jià)值內(nèi)容

編者薦語(yǔ)

文章介紹了一個(gè)考慮全局空間信息的注意力模塊，Pyramid Split Attention (PSA)。PSA具備即插即用、輕量、簡(jiǎn)單高效的特點(diǎn)。該模塊與ResNet結(jié)合，通過(guò)PSA替代ResNet的bottleneck中的3x3卷積，組成了EPSANet。

EPSANet用于圖像識(shí)別，比SENet top-1acc高了1.93%。PSA用在Mask RCNN上，目標(biāo)檢測(cè)高了2.7 box AP，實(shí)例分割高了1.7 mask AP。

論文：

https://arxiv.org/pdf/2105.14447v1.pdf

代碼：

https://github.com/murufeng/EPSANet

本文出發(fā)點(diǎn)

1. SE僅僅考慮了通道注意力，忽略了空間注意力。

2. BAM和CBAM考慮了通道注意力和空間注意力，但仍存在兩個(gè)最重要的缺點(diǎn)：(1)沒(méi)有捕獲不同尺度的空間信息來(lái)豐富特征空間。(2)空間注意力僅僅考慮了局部區(qū)域的信息，而無(wú)法建立遠(yuǎn)距離的依賴。

3. 后續(xù)出現(xiàn)的PyConv，Res2Net和HS-ResNet都用于解決CBAM的這兩個(gè)缺點(diǎn)，但計(jì)算量太大。

基于以上三點(diǎn)分析，本文提出了Pyramid Split Attention。

PSA

主要操作：將input tensor從通道上分成S組。每一組進(jìn)行不同卷積核大小的卷積，以獲取不同尺度的感受野，提取不同尺度的信息。再通過(guò)SE模塊，提取每組的通道的加權(quán)值，最后對(duì)S組的加權(quán)值進(jìn)行softmax歸一化并加權(quán)。

具體將input tensor分成S組，并對(duì)每組進(jìn)行不同卷積的SPC模塊如下圖所示。

SPC先將input tensor分成S組，每組的卷積核大小依次增大，如k=3,5,7,9?？紤]到當(dāng)卷積核比較大時(shí)，計(jì)算量也大，因此，對(duì)每一組再進(jìn)行分組卷積，具體分組數(shù)量G = exp(2,(k-1)/2)，即2的(k-1)/2次冪。當(dāng)K = 3,5,7,9時(shí)，G=1，2，3，4。

在經(jīng)過(guò)不同大小的卷積后，在通道上拼接。

經(jīng)過(guò)SPC模塊后，PSA再將SPC模塊的輸出通過(guò)SE Weight Module獲得通道注意力值，這樣做的目的是獲得不同尺度特征圖的注意力權(quán)值。

通過(guò)這樣的做法，PSA融合了不同尺度的上下文信息，并產(chǎn)生了更好的像素級(jí)注意力。

最后將每組通道注意力權(quán)值拼接，進(jìn)行softmax歸一化，對(duì)SPC模塊的輸出進(jìn)行加權(quán)。

完整的PSA模塊如下圖所示。

這里補(bǔ)充一下pyramid split attention中的pyramid。在《特征金字塔技術(shù)總結(jié)》中介紹了特征金字塔的兩種構(gòu)建方式，其中一種就是通過(guò)不同大小卷積核的卷積來(lái)構(gòu)建特征金字塔。因此，這里PSA中的Pyramid是由SPC模塊中的每組不同大小卷積核的卷積所構(gòu)建。