17 篇注意力機(jī)制 PyTorch 實(shí)現(xiàn)！

• Pytorch 實(shí)現(xiàn)論文「Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks---arXiv 2020.05.05」

• Pytorch 實(shí)現(xiàn)論文「Attention Is All You Need---NIPS2017」

• Pytorch 實(shí)現(xiàn)論文「Simplified Self Attention Usage」

• Pytorch 實(shí)現(xiàn)論文 「Squeeze-and-Excitation Networks---CVPR2018」

• Pytorch 實(shí)現(xiàn)論文「Selective Kernel Networks---CVPR2019」

• Pytorch 實(shí)現(xiàn)論文「CBAM: Convolutional Block Attention Module---ECCV2018」

• Pytorch 實(shí)現(xiàn)論文「BAM: Bottleneck Attention Module---BMCV2018」

• Pytorch 實(shí)現(xiàn)論文「ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks---CVPR2020」

• Pytorch 實(shí)現(xiàn)論文「Dual Attention Network for Scene Segmentation---CVPR2019」

• Pytorch 實(shí)現(xiàn)論文「EPSANet: An Efficient Pyramid Split Attention Block on Convolutional Neural Network---arXiv 2020.05.30」

• Pytorch 實(shí)現(xiàn)論文 「ResT: An Efficient Transformer for Visual Recognition---arXiv 2020.05.28」

• Pytorch 實(shí)現(xiàn)論文「RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition---arXiv 2020.05.05」
  

• Pytorch 實(shí)現(xiàn)論文「MLP-Mixer: An all-MLP Architecture for Vision---arXiv 2020.05.17」

• Pytorch 實(shí)現(xiàn)論文「ResMLP: Feedforward networks for image classification with data-efficient training---arXiv 2020.05.07」

• Pytorch 實(shí)現(xiàn)論文「Pay Attention to MLPs---arXiv 2020.05.17」

• Pytorch 實(shí)現(xiàn)論文「RepVGG: Making VGG-style ConvNets Great Again---CVPR2021」
  

• Pytorch 實(shí)現(xiàn)論文「ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks---ICCV2019」

from attention.ExternalAttention *import* ExternalAttentionimport torch
input=torch.randn(50,49,512)ea = ExternalAttention(d_model=512,S=8)output=ea(input)print(output.shape)

來源：機(jī)器之心

讀者，你好！我們建了微信群方便大家學(xué)習(xí)交流，歡迎掃碼進(jìn)群討論。

微商、廣告請繞道！謝謝合作！