国产视频1区,男女啪啪网站免费,青娱乐免费精品,国产又爽又黄在线看,黄片在线免费,狠狠搞大香蕉,人人操在线观看,精品无码一区二区三区在线

1. Transformer 和 Vision Transformer?

? ? ?簡要說明

Transformer 結(jié)構(gòu)是 Google 在 2017 年為解決機(jī)器翻譯任務(wù)(例如英文翻譯為中文)而提出，從題目 Attention is All You Need 中可以看出主要是靠 Attention 注意力機(jī)制，其最大特點(diǎn)是拋棄了傳統(tǒng)的 CNN 和 RNN，整個網(wǎng)絡(luò)結(jié)構(gòu)完全是由 Attention 機(jī)制組成。為此需要先解釋何為注意力機(jī)制，然后再分析模型結(jié)構(gòu)。

Attention 注意力機(jī)制不是啥新鮮概念，視覺算法中早已廣泛應(yīng)用，典型的如 SENet。

SeNet 網(wǎng)址：

https://arxiv.org/abs/1709.01507

利用 Squeeze-and-Excitation 模塊計算注意力權(quán)重概率分布，然后作用于特征圖上實(shí)現(xiàn)對每個通道重加權(quán)功能。

人生來就有 Attention 注意力機(jī)制，看任何畫面，我們會自動聚焦到特定位置特定物體上。對于輸入給網(wǎng)絡(luò)的任何模態(tài)，不管是圖像、文本、點(diǎn)云還是其他，我們都希望網(wǎng)絡(luò)通過訓(xùn)練能夠自動聚焦到有意義的位置，例如圖像分類和檢測任務(wù)，網(wǎng)絡(luò)通過訓(xùn)練能夠自動聚焦到待分類物體和待檢測物體上。一個典型的 Transformer 結(jié)構(gòu)如下所示：

本圖來自文章 A Survey of Visual Transformers

網(wǎng)址：https://arxiv.org/abs/2111.06091

通常來說，標(biāo)準(zhǔn)的 Transformer 包括 6 個編碼器和 6 個解碼器串行。

- 編碼器內(nèi)部接收源翻譯輸入序列，通過自注意力模塊提取必備特征，通過前向網(wǎng)絡(luò)對特征進(jìn)行進(jìn)一步抽象。

- 解碼器端輸入包括兩個部分：一是目標(biāo)翻譯序列經(jīng)過自注意力模塊提取的特征，二是編碼器提取的全局特征。這兩個輸入特征向量會進(jìn)行交叉注意力計算，抽取有利于目標(biāo)序列分類的特征，然后通過前向網(wǎng)絡(luò)對特征進(jìn)行進(jìn)一步抽象。

- 堆疊多個編碼器和解碼器，下一個編解碼器接收來自上一個編解碼的輸出，構(gòu)成串行結(jié)構(gòu)不斷抽取，最后利用解碼器輸出進(jìn)行分類即可。

圖片分類中通常不需要解碼器模塊，所以我們只需要關(guān)注編碼器部分，其中主要是位置編碼模塊 Positional Encoding、多頭自注意力模塊 Muti-Head Attention、前向網(wǎng)絡(luò)模塊 Feed Forward 以及必要的 Norm、Dropout 和殘差模塊。

- 位置編碼模塊 Positional Encoding 用于給輸入的序列增加額外的位置信息。

- 多頭自注意力模塊 Muti-Head Attention 用于計算全局空間注意力。

- 前向網(wǎng)絡(luò)模塊 Feed Forward 用于對通道維度信息進(jìn)行混合。

- 必要的 Norm、Dropout 和殘差模塊提供了更好的收斂速度和性能。

ViT 是第一次成功將 Transformer 引入到視覺領(lǐng)域的嘗試，開辟了視覺 Transformer 先河。其結(jié)構(gòu)圖如下所示：

其做法非常簡單，簡要概況為：

- 將圖片分成無重疊的固定大小 Patch (例如 16 x 16)，然后將每個 Patch 拉成一維向量， n 個 Patch 相當(dāng)于 NLP 中的輸入序列長度(假設(shè)輸入圖片是 224 x 224，每個 patch 大小是 16 x 16，則 n 是 196)，而一維向量長度等價于詞向量編碼長度(假設(shè)圖片通道是 3 , 則每個序列的向量長度是 768 )。

- 考慮到一維向量維度較大，需要將拉伸后的 Patch 序列經(jīng)過線性投影 (nn.Linear) 壓縮維度，同時也可以實(shí)現(xiàn)特征變換功能，這兩個步驟可以稱為圖片 Token 化過程 (Patch Embedding)。

- 為了方便后續(xù)分類，作者還額外引入一個可學(xué)習(xí)的 Class Token，該 Token 插入到圖片 token 化后所得序列的開始位置。

- 將上述序列加上可學(xué)習(xí)的位置編碼輸入到 N 個串行的 Transformer 編碼器中進(jìn)行全局注意力計算和特征提取，其中內(nèi)部的多頭自注意模塊用于進(jìn)行 Patch 間或者序列間特征提取，而后面的 Feed Forward (Linear+ GELU+Dropout+ Linear+ Dropout) 模塊對每個 Patch 或者序列進(jìn)行特征變換。

- 將最后一個 Transformer 編碼器輸出序列的第 0 位置( Class Token 位置對應(yīng)輸出)提取出來，后面接 MLP 分類后，然后正常分類即可。

ViT 證明純 Transformer 也可以取得非常好的效果，相比 CNN 在數(shù)據(jù)量越大的情況下優(yōu)勢更加明顯，但是 ViT 也存在如下問題：

- 不采用超大的 JFT-300M 數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，則效果無法和 CNN 媲美，原因應(yīng)該是 Transformer 天然的全局注意力計算，沒有 CNN 這種 Inductive Bias 能力，需要大數(shù)據(jù)才能發(fā)揮其最大潛力。

- ViT 無法直接適用于不同尺寸圖片輸入，因?yàn)?Patch 大小是固定的，當(dāng)圖片大小改變時，序列長度就會改變，位置編碼就無法直接適用了，ViT 解決辦法是通過插值，這種做法一般會造成性能損失，需要通過 Finetune 模型來解決，有點(diǎn)麻煩。

- 因?yàn)槠渲蓖草敵鼋Y(jié)構(gòu)，無法直接應(yīng)用于下游密集任務(wù)。

上述僅僅是對 Transformer 和 ViT 進(jìn)行簡要分析，在下一篇文章中會進(jìn)行更加細(xì)致的解釋。

2. 全局概述

簡單來說，可以分成 3 大塊以及 1 個額外部分，ViT 發(fā)展可以分成三個大方向：

- Attention-based，這類算法是目前主流研究改進(jìn)方向，包括了 Transformer 中最核心的自注意力模塊。

- MLP-based，這類算法不需要核心的自注意力模塊，而是簡單的通過 MLP 代替，也可以取得類似效果。

- ConvMixer-based，這類算既不需要自注意力模塊，也不是單純依靠 MLP，而是內(nèi)部混合了部分 Conv 算子來實(shí)現(xiàn)類似功能。

除了三個大方向，從其他視角出發(fā)，又包括一個額外的重要部分：General architecture analysis，在這三類算法基礎(chǔ)上也有很多學(xué)者在探討整個 Transformer 架構(gòu)，其站在一個更高的維度分析問題，不局限于是否包括自注意力模塊，屬于整體性分析。

！注意：本文為概述性總結(jié)，所以不會對思維導(dǎo)圖中包括的每篇論文進(jìn)行分析，其具體分析會在后續(xù)綜述文章中詳細(xì)說明。

Attention-based

Attention-based 是指改進(jìn)論文中依然包括 Transformer 所提的 Attention 模塊，可以認(rèn)為 Attention 是核心。結(jié)構(gòu)圖如下所示：

從 ViT 出發(fā)，可以分成兩個部分：

- 訓(xùn)練策略方面改進(jìn)

- 模型方面改進(jìn)

訓(xùn)練策略方面改進(jìn)

如果說 ViT 開創(chuàng)了 Transformer 在視覺任務(wù)上面的先河，那么 DeiT 的出現(xiàn)則解決了 ViT 中最重要的問題：如果不采用超大的 JFT-300M 數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，則效果無法和 CNN 媲美。DeiT 核心是引入蒸餾手段加上更強(qiáng)的 Aug 和更優(yōu)異的超參設(shè)置。其蒸餾的核心做法如下所示：

額外引入一個蒸餾 Token 用于蒸餾學(xué)習(xí)，通過大量實(shí)驗(yàn)，作者總結(jié)了如下結(jié)論：

- 蒸餾做法確實(shí)有效，且 Hard 蒸餾方式效果會更好，泛化性能也不錯。

- 使用 RegNet 作為教師網(wǎng)絡(luò)可以取得更好的性能表現(xiàn)，也就是說相比 Transformer，采用卷積類型的教師網(wǎng)絡(luò)效果會更好。

除了上述蒸餾策略，還需要特別注意 DeiT 引入了非常多的 Aug 并且提供了一套更加優(yōu)異的超參，這套參數(shù)也是后續(xù)大部分分類模型直接使用的訓(xùn)練參數(shù)，非常值得學(xué)習(xí)，如下圖：

DeiT 不是唯一一個解決 ViT 需要大數(shù)據(jù)量問題的算法，典型的還有 Token Labeling，其在 ViT 的 Class Token 監(jiān)督學(xué)習(xí)基礎(chǔ)上，還對編碼器輸出的每個序列進(jìn)行額外監(jiān)督，相當(dāng)于將圖片分類任務(wù)轉(zhuǎn)化為多個輸出 Token 識別問題，并為每個輸入 Patch 的預(yù)測 Token 分配由算法自動生成的基于特定位置的監(jiān)督信號，簡要圖如下所示：

從上圖可以看出，相比 ViT 額外多了輸出 Token 的監(jiān)督過程，這些監(jiān)督可以當(dāng)做中間監(jiān)督，監(jiān)督信息是通過 EfficientNet 或者 NFNet ( F6 86.3% Top-1 accuracy) 這類高性能網(wǎng)絡(luò)對訓(xùn)練圖片提前生成的顯著圖，最終實(shí)驗(yàn)結(jié)果表明，性能比 DeiT 更優(yōu)異，而且由于這種密集監(jiān)督任務(wù)，對于下游密集預(yù)測任務(wù)泛化性也更好。

模型方面改進(jìn)

模型改進(jìn)方面按照模塊分成 6 個部分：

- Token 模塊，即如何將 Image 轉(zhuǎn) Token 以及 Token 如何傳遞給下一個模塊

- 位置編碼模塊

- 注意力模塊，這里一般都是自注意力模塊

- Fead Forward (FFN) 模塊

- Norm 模塊位置

- 分類預(yù)測模塊

Token 模塊

Token 模塊包括兩個部分：

- Image to Token 模塊：即如何將圖片轉(zhuǎn)化為 Token，一般來說分成有重疊和無重疊的 Patch Embedding 模塊。

- Token to Token 模塊：即如何在多個 Transformer 編碼器間傳遞 Token，通常也可以分成固定窗口 Token 化過程和動態(tài)窗口 Token 化兩個過程。

(1) Image to Token

ViT 和目前主流模型例如 PVT 和 Swin Transformer 等都是采用了非重疊 Patch Embedding，即將圖片切分為不重疊的塊，每個塊單獨(dú)進(jìn)行 Embedding，最終輸出 token 序列。

重疊 Patch Embedding 和非重疊 Patch Embedding 的主要差異在于窗口是否有重疊，直接將非重疊 ?Patch Embedding 通過修改 Unfold 或者 Conv 參數(shù)來實(shí)現(xiàn)重疊 ?Patch Embedding 功能的典型算法包括 T2T-ViT ?和 PVTv2，這兩個算法的出發(fā)點(diǎn)都是非重疊 Patch Embedding 可以加強(qiáng)圖片 Patch 之間的連續(xù)性，不至于出現(xiàn)信息斷層，性能應(yīng)該會比重疊 Patch Embedding 高。

參考 ResNet 等網(wǎng)絡(luò)的重疊漸進(jìn)下采樣策略，也有很多學(xué)者考慮引入 Conv Stem 結(jié)構(gòu)來代替重疊 Patch Embedding，典型的如 Early Convolutions Help Transformers See Better 和 Token Learner 的作者，特別是 Early Convolutions Help Transformers See Better 的作者，他從優(yōu)化穩(wěn)定性角度入手，進(jìn)行了深度分析，通過大量的實(shí)驗(yàn)驗(yàn)證了上述做法的有效性。作者指出 Patch Embedding 之所以不穩(wěn)定，是因?yàn)樵撃K是用一個大型卷積核以及步長等于卷積核的卷積層來實(shí)現(xiàn)的，往往這個卷積核大小為 16*16，這樣的卷積核參數(shù)量很大，而且隨機(jī)性很高，從某種程度上造成了 Transformer 的不穩(wěn)定，如果用多個小的卷積來代替則可以有效緩解。

Early Convolutions Help Transformers See Better 鏈接：

https://arxiv.org/abs/2106.14881

(2) ?Token to Token

大部分模型的 Token to Token 方案和 Image to Token 做法相同，但是也有些算法進(jìn)行了相應(yīng)改造。經(jīng)過整理，將其分成兩種做法：

- 固定窗口 Token 化

- 動態(tài)窗口 Token 化

固定窗口是指 Token 化過程是固定或者預(yù)定義的規(guī)則，典型的重疊和非重疊 ?Patch Embedding ?就是固定窗口，因?yàn)槠浯翱趧澐侄际翘崆坝喓玫囊?guī)則，不會隨著輸入圖片的不同而不同，而動態(tài)窗口是指窗口劃分和輸入圖片語義相關(guān)，不同圖片不一樣，是一個動態(tài)過程，動態(tài)窗口 Token 化過程典型代表是 PS-ViT 和 TokenLearner。

PS-ViT 作者認(rèn)為 ViT 采用固定窗口劃分機(jī)制，然后對每個窗口進(jìn)行 Token 化，這種做法首先不夠靈活，而且因?yàn)閳D片本身就是密集像素，冗余度非常高，采用固定劃分方法對于分類來說可能就某幾個窗口內(nèi)的 Token 實(shí)際上才是有意義的，假設(shè)物體居中，那么物體四周的 Token 可能是沒有作用的，只會增加無效計算而已。基于此，作者設(shè)計了一個自適應(yīng)采樣的 Token 機(jī)制，不再是固定的窗口采樣，而是先初始化固定采樣點(diǎn)，如下圖紅色點(diǎn)所示，然后通過 refine 機(jī)制不斷調(diào)整這些采樣點(diǎn)位置，最終得到的采樣點(diǎn)所對應(yīng)的 Token 就是最有代表力的。其完整分類網(wǎng)絡(luò)結(jié)構(gòu)圖如下所示：

基于類似出發(fā)點(diǎn)，TokenLearner 提出可以基于空間注意力自適應(yīng)地學(xué)習(xí)出更具有代表性的 token，從而可以將 ViT 的 1024 個 token 縮減到 8-16 個 token，計算量減少了一倍，性能依然可以保持一致。

位置編碼模塊

位置編碼模塊是為 Transformer 模塊提供 Patch 和 Patch 之間的相對關(guān)系，非常關(guān)鍵。按照是否顯式的設(shè)置位置編碼向量，可以分成：

- 顯式位置編碼，其中可以分成絕對位置編碼和相對位置編碼。

- 隱式位置編碼，即不再直接設(shè)置絕對和相對位置編碼，而是基于圖片語義利用模型自動生成能夠區(qū)分位置信息的編碼向量。

其中顯式位置編碼，可以分成絕對位置編碼和相對位置編碼，并且每一種位置編碼原則上都可以分成固定編碼和可學(xué)習(xí)位置編碼兩種，而隱式位置編碼是基于圖片語義利用模型自動生成能夠區(qū)分位置信息的編碼向量，一般來說隱式位置編碼對于圖片長度改變場景更加有效，因?yàn)槠涫亲赃m應(yīng)圖片語義而生成。

在論文 How much position information do convolutional neural networks encode? 中已經(jīng)證明 CNN 不僅可以編碼位置信息，而且越深的層所包含的位置信息越多，而位置信息是通過 zero-padding 透露的。既然 Conv 自帶位置信息，那么可以利用這個特性來隱式的編碼位置向量。大部分算法都直接借鑒了這一結(jié)論來增強(qiáng)位置編碼，典型代表有 CPVT、PVTv2 和 CSWin Transformer ?等。

基于此，CPVT 作者認(rèn)為在視覺任務(wù)中一個好的位置編碼應(yīng)滿足如下條件：

- 模型應(yīng)該具有 permutation-variant 和 translation-equivariance 特性，即對位置敏感但同時具有平移不變性

- 能夠自然地處理變長的圖片序列

- 能夠一定程度上編碼絕對位置信息

基于這三個原則，CPVT 引入了一個帶有 zero-padding 的卷積 ( kernel size k ≥ 3) 來隱式地編碼位置信息，并提出了 Positional Encoding Generator (PEG) 模塊，如下所示：

算法的整體結(jié)構(gòu)圖如下所示：

除了上述分析的加法隱式位置編碼改進(jìn)， ResT 提出了另一個非常相似的，但是是乘法的改進(jìn)策略，結(jié)構(gòu)圖如下所示：

對 Patch Embedding 后的序列應(yīng)用先恢復(fù)空間結(jié)構(gòu)，然后應(yīng)用一個 3×3 depth-wise padding 1的卷積來提供位置注意力信息，然后通過 sigmoid 操作變成注意力權(quán)重和原始輸入相乘。

自注意力模塊

Transformer 的最核心模塊是自注意力模塊，也就是我們常說的多頭注意力模塊，如下圖所示：

注意力機(jī)制的最大優(yōu)勢是沒有任何先驗(yàn)偏置，只要輸入足夠的數(shù)據(jù)就可以利用全局注意力學(xué)到泛化性能不錯的特征。當(dāng)數(shù)據(jù)量足夠大的時候，注意力機(jī)制是 Transformer 模型的最大優(yōu)勢，但是一旦數(shù)據(jù)量不夠就會變成逆勢，后續(xù)很多算法改進(jìn)方向都是希望能夠引入部分先驗(yàn)偏置輔助模塊，在減少對數(shù)據(jù)量依賴的情況下加快收斂，并進(jìn)一步提升性能。同時注意力機(jī)制還有一個比較大的缺點(diǎn)：因?yàn)槠淙肿⒁饬τ嬎?，?dāng)輸入高分辨率圖時候計算量非常巨大，這也是目前一大改進(jìn)方向。

簡單總結(jié)，可以將目前自注意力模塊分成 2 個大方向：

- 僅僅包括全局注意力，例如 ViT、PVT 等

- 引入額外的局部注意力，例如 Swin Transformer

(1) 僅僅包括全局注意力

標(biāo)準(zhǔn)的多頭注意力就是典型的空間全局注意力模塊，當(dāng)輸入圖片比較大的時候，會導(dǎo)致序列個數(shù)非常多，此時注意力計算就會消耗大量計算量和顯存。以常規(guī)的 COCO 目標(biāo)檢測下游任務(wù)為例，輸入圖片大小一般是 800x1333，此時 Transformer 中的自注意力模塊計算量和內(nèi)存占用會難以承受。其改進(jìn)方向可以歸納為兩類：減少全局注意力計算量以及采用廣義線性注意力計算方式。

全局注意力計算量主要體現(xiàn)在 QK 矩陣相似性計算和輸出經(jīng)過 Softmax 后和 V 相乘部分，想減少這部分計算量，那自然可以采用如下策略：

- 降低 KV 維度，QK 計算量和 Softmax 后和 V 相乘部分計算量自然會減少，典型的如 PVT。

- 減低 QKV 維度，主要如果 Q 長度下降了，那么代表序列輸出長度改變了，在減少計算量的同時也實(shí)現(xiàn)了下采樣功能，典型的如 MViT。

PVT 核心是通過 Spatial Reduction 模塊縮減 KV 的輸入序列長度，KV 是空間圖片轉(zhuǎn)化為 Token 后的序列，可以考慮先還原出空間結(jié)構(gòu)，然后通過卷積縮減維度，再次轉(zhuǎn)化為序列結(jié)構(gòu)，最后再算注意力，如下圖所示：

MViT 是為視頻任務(wù)所設(shè)計，其核心思想和 PVT 類似。

其在縮減 KV 空間尺寸的同時，也縮減了 Q 的尺寸，這意味著同時進(jìn)行了輸出下采樣功能，而且后續(xù)提出的 Imporved MViT 在不同的下游任務(wù)提升也顯著。

(2) 引入額外的局部注意力

局部注意力是指僅僅計算局部窗口的注意力，而并非全局，可以有效地減少計算量。需要特別注意的是：

- 引入局部窗口注意力后依然要提供跨窗口信息交互模塊，不可能只存在局部注意力模塊，因?yàn)檫@樣就沒有局部窗口間的信息交互，性能會出現(xiàn)不同程度的下降，也不符合 Transformer 設(shè)計思想( Patch 內(nèi)和 Patch 間信息交互)，這個跨窗口信息模塊可以是全局注意力模塊，也可以是任何可以實(shí)現(xiàn)這個功能的模塊。

- 局部窗口計算模式和引入卷積局部歸納偏置增強(qiáng)的劃分依據(jù)是其核心出發(fā)點(diǎn)和作用，而不是從是否包括 Conv 模塊來區(qū)分。

引入額外局部注意力的典型代表是 Swin Transformer。其將自注意力計算過程限制在每個提前劃分的窗口內(nèi)部，稱為窗口注意力 Window based Self-Attention (W-MSA)，相比全局計算自注意力，明顯可以減少計算量，但是這種做法沒法讓不同窗口進(jìn)行交互，此時就退化成了 CNN，所以作者又提出移位窗口注意力模塊 Shifted window based ?Self-Attention (SW-MSA)，示意圖如下所示，具體是將窗口進(jìn)行右下移位，此時窗口數(shù)和窗口的空間切分方式就不一樣了，然后將 W-MSA 和 SW-MSA 在不同 stage 之間交替使用，即可實(shí)現(xiàn)窗口內(nèi)局部注意力計算和跨窗口的局部注意力計算，同時其要求 stage 個數(shù)必須是偶數(shù)。

Swin Transformer 算法在解決圖片尺度增加帶來的巨大計算量問題上有不錯的解決方案，但是 SW-MSA 這個結(jié)構(gòu)被后續(xù)諸多文章吐槽，主要包括：

- 為了能夠高效計算，SW-MSA 實(shí)現(xiàn)過于復(fù)雜

- SW-MSA 對 CPU 設(shè)備不友好，難以部署

- 或許有更簡單更優(yōu)雅的跨窗口交互機(jī)制

基于這三個問題，后續(xù)學(xué)者提出了大量的針對性改進(jìn)，可以歸納為：

- 拋棄 SW-MSA，依然需要全局注意力計算模塊，意思是不再需要 ?SW-MSA，跨窗口交互功能由全局注意力計算模塊代替，當(dāng)然這個全局注意力模塊是帶有減少計算量功能的，典型的如 Twin 和 Imporved MViT。

- 拋棄 SW-MSA，跨窗口信息交互由特定模塊提供，這個特定模塊就是改進(jìn)論文所提出的模塊，典型的如 Shuffle Transformer 和 MSG-Transformer 等。

- CSWin Transformer 提出一種新的十字形局部窗口劃分方式，具備跨窗口局部注意力計算能力，而不再需要分成 W-MSA 和 SW-MSA 兩個模塊，性能優(yōu)于 Swin Transformer。

從引入 Conv 歸納偏置角度，也有不少高效的改進(jìn)，典型的例如 ViTAE 和 ELSA: Enhanced Local Self-Attention for Vision Transformer 。

ViTAE 包括兩個核心模塊：Reduction Cell (RC) 和 Normal Cell (NC)。RC 用于對輸入圖像進(jìn)行下采樣并將其嵌入到具有豐富多尺度上下文的 token 中，而 NC 旨在對 token 序列中的局部性和全局依賴性進(jìn)行聯(lián)合建模，可以看到這兩種類型的結(jié)構(gòu)共享一個簡單的基本結(jié)構(gòu)。

對于 RC 模塊，分成兩個分支，第一條分支首先將特征圖輸入到不同空洞率并行的卷積中，提取多尺度特征的同時也減少分辨率，輸出特征圖拼接+ GeLU 激活，然后輸入到注意力模塊中，第二條分支是純粹的 Conv 局部特征提取，用于加強(qiáng)局部歸納偏置，兩個分支內(nèi)容相加，然后輸入到 FFN 模塊中。

對于 NC 模塊，類似分成兩個分支，第一條是注意力分支，第二條是 Conv 局部特征提取，用于加強(qiáng)局部歸納偏置，兩個分支內(nèi)容相加，然后輸入到 FFN 模塊中。

而 ELSA 基于一個現(xiàn)狀：Swin Transformer 種所提的局部自注意力（LSA）的性能與卷積不相上下，甚至不如動態(tài)過濾器。如果是這樣，那么 LSA 的重要性就值得懷疑了。

作者以 Swin Tiny 版本為例，將其中的局部窗口注意力模塊 LSA 替換為 DW Conv、decoupled dynamic filter (DDF)，從上圖可以看出 DWConv 和 DDF 性能都比 LSA 強(qiáng)的，特別是 DW Conv，在參數(shù)量和 FLOPs 更小的情況下性能會比 Swin Transformer 高。

作者試圖從兩個角度來統(tǒng)一分析 LSA、DWConv 和 DDF，分別是通道數(shù)設(shè)置和空間處理方式 spatial processing，并進(jìn)行了詳細(xì)的對比分析，基于最終發(fā)現(xiàn)提出了改進(jìn)的增強(qiáng)型 LSA 模塊。

FFN 模塊

FFN 模塊比較簡單，主要是進(jìn)行通道維度的特征變換，主要改進(jìn)是在引入 Conv 增強(qiáng)局部信息特征信息提取方面。

如下 (b) 和 (c) 所示，引入 1 x 1 卷積和帶 padding 的 3 x 3 DW 卷積來增強(qiáng)局部特征提取能力，實(shí)驗(yàn)結(jié)果能夠帶來不少的性能提升。

Norm 位置改動

Norm 通常是 Layer Norm，按照該模型放在自注意力和 FFN 模塊的前面還是后面，可以分成 pre norm 和 post norm 方式，至于應(yīng)該選擇 pre norm 還是 post norm，可能需要根據(jù)實(shí)驗(yàn)來選擇。

分類預(yù)測模塊

在 ViT 中通過追加額外一個 Class Token，將該 Token 對應(yīng)的編碼器輸出輸入到 MLP 分類頭(實(shí)際上是一個線性投影層)進(jìn)行分類。為何不能和我們常規(guī)的圖像分類一樣，直接聚合所有特征，而需要單獨(dú)引入一個 ?Class Token ？這個問題自然有人進(jìn)一步探索，經(jīng)過簡單總結(jié)，可以歸納為如下結(jié)構(gòu)圖：

其他

目前，其他包括兩個內(nèi)容部分，如下圖所示：

主要探討如何輸出多尺度特征圖以及如何訓(xùn)練更深的 Transformer。

(1) 如何輸出多尺度特征圖

在 CNN 時代的各種下游任務(wù)例如目標(biāo)檢測、語義分割中已經(jīng)被廣泛證明多分辨率多尺度特征非常重要，不同尺度特征可以提供不同的感受野，適合提取不同物體尺度的特征，然而 ViT 僅僅是為圖像分類而設(shè)計，無法很好地應(yīng)用于下游任務(wù)，這嚴(yán)重制約了視覺 Transformer 的廣泛應(yīng)用，故迫切需要一種能夠類似 ResNet 在不同 stage 輸出不同尺度的金字塔特征做法。

ViT 要輸出多尺度特征圖，最常見做法是 Patch Merging，其含義是對不同窗口的 Patch 進(jìn)行合并，在目前主流的 PVT、Twins、Swin Transformer 和 ResT 中都有廣泛的應(yīng)用，以 PVT 為例詳細(xì)說明，結(jié)構(gòu)圖如下所示：

假設(shè)圖片大小是 (H, W, 3)，暫時不考慮 batch。

- 考慮將圖片切割為 HW/(4X4) 個塊，每個塊像素大小是 4x4x3, 此處 stride=4。

- 將每個 4x4x3 像素塊展開，變成一維向量，然后經(jīng)過線性投影層，輸出維度變成 C1，此時特征圖 shape 是 (HW/(4X4), C1) 即每個像素塊現(xiàn)在變成了長度為 C1 的向量，這兩個步驟合并稱為 Patch Embedding。

- 將上一步輸出序列和位置編碼相加，輸入到編碼器中，輸出序列長度不變。

- 將這個輸出序列恢復(fù)成空間結(jié)構(gòu)，其 shape 是 (H/4, W/4, C1)，此時特征圖相比原始圖片就下采樣了 4x4 倍。

- 在下一個 stage 中改變 stride 數(shù)目，然后重復(fù) 1-4 步驟就又可以縮減對應(yīng) sxs 倍，假設(shè)設(shè)置 4 個 stage 的 stride 為 [4, 2, 2, 2]，那么 4 個 stage 輸出的 stride 就是 [4, 8, 16, 32]，這個就和 ResNet 輸出 stride 完全對齊。

除了上述這種相對樸素的做法，還有一些其他做法。例如 MViT ，其不存在專門的 Patch Merging 模塊，而是在注意力模塊中同時嵌入下采樣功能，如下所示：

只要在每個 stage 中改進(jìn) Pool 模塊的 stride 就可以控制實(shí)現(xiàn) ResNet 一樣的多尺度輸出，從而實(shí)現(xiàn)多分辨率金字塔特征輸出。

(2) 如何訓(xùn)練更深的 Transformer

前述諸多論文都是在 6 層編碼器的 Transformer 中進(jìn)行改進(jìn)，不過也有學(xué)者探討如何訓(xùn)練更深的 Transformer，典型算法是 CaiT 和 DeepViT。

在 CaiT 算法中，作者從 Transformer 架構(gòu)和優(yōu)化關(guān)系會相互影響相互作用的角度出發(fā)進(jìn)行探討，而 DeepViT 不一樣，他通過分析得出深層 Transformer 性能飽和的原因是：注意力崩塌，即深層的Transformer 學(xué)到的 attention 非常相似，這意味著隨著 ViT 的層次加深，self-attention 模塊在生成不同注意力以捕獲多樣性特征方面變得低效。

CaiT 主要從架構(gòu)細(xì)節(jié)著手。

提出 LayerScale，更合理的 Norm 策略使深層 Transformer 易于收斂，并提高精度。

提出 class-attention layers，class token 和 patch embedding 在最后融合，并且通過 CA 模塊來更加高效地將patch embedding 信息融合到 class embedding 中，從而提升性能。

DeepViT 從注意力崩塌方面著手，提出了 Re-Attention 層來增加注意力層的多樣性。

其結(jié)構(gòu)圖如下右圖所示：

CaiT 和 DeepViT 都是關(guān)注深層 Transformer 出現(xiàn)的過早飽和問題，不過關(guān)注的地方不一樣，解決辦法也完全不同，但是效果類似，這或許說明還有很大的改進(jìn)空間。

MLP-based

在視覺 Transformer 大行其道碾壓萬物的同時，也有人在嘗試非注意力的 Transformer 架構(gòu)(如果沒有注意力模塊，那還能稱為 Transformer 嗎)。相比 Attention-based 結(jié)構(gòu)，MLP-based 顧名思義就是不需要注意力了，將 Transformer 內(nèi)部的注意力計算模塊簡單替換為 MLP 全連接結(jié)構(gòu)，也可以達(dá)到同樣性能。典型代表是 MLP-Mixer 和后續(xù)的 ResMLP。

Mixer Layer 中整體結(jié)構(gòu)和 Transformer 編碼器類似，只不過內(nèi)部不存在自注意力模塊，而是使用兩個不同類型的 MLP 代替，其分別是 channel-mixing MLPs 和 token-mixing MLPs，channel-mixing MLPs 用于在通道 C 方向特征混合，從上圖中的 Channels （每個通道顏色一樣）變成了 Patches （每個通道顏色不一樣）可以明顯看出其做法，而 token-mixing MLPs 用于在不同 patch 塊間進(jìn)行特征混合，其作用于 patch 方向。

ConvMixer-based

ConvMixer 的含義是：

- 不包括自注意力層

- 不包括 Spatial Mixer MLP 層

- 包括 Channel Mixer 層，這個層可以是 1x1 的點(diǎn)卷積，或者 MLP 層

因?yàn)?Channel Mixer MLP 層和 1x1 卷積完全等價，所以這里所說的 ConvMixer-based 是強(qiáng)調(diào) Spatial Mixer 層模塊可以替換為 DW 卷積。

ConvMixer-based 的典型代表是 ConvMixer，其結(jié)構(gòu)圖如下所示：

從 MLP-based 和 ConvMixer-based 中可以看出：ViT 這種架構(gòu)的成功不在于是使用了自注意力模塊還是 Spatial Mixer MLP，只要有相應(yīng)的代替結(jié)構(gòu)性能其實(shí)都差不多，我們可能要關(guān)注整個 Transformer 架構(gòu)而不僅僅是注意力等模塊，后續(xù)很多論文也慢慢發(fā)現(xiàn)了這點(diǎn)。

通用架構(gòu)分析

前面所提出的 MLP-Mixer 和 ResMLP 已經(jīng)證明了 ViT 成功的關(guān)鍵可能并不是注意力機(jī)制，而是來自其他地方或者說整體架構(gòu)?；谶@個出發(fā)點(diǎn)，有大量學(xué)者對整個架構(gòu)進(jìn)行深入研究，試圖從更高維度的角度來理解 Transformer，如下所示：

其核心觀點(diǎn)和 ResMLP 一致，即 Transformer 模型中自注意力模塊不是最核心的(并不是說可以直接去掉)，Transformer 的成功來源其整體架構(gòu)，同時可以將 Transformer 的 Attention 模塊和 ResMLP 的 Spatial MLP 層統(tǒng)稱為 Token Mixer，進(jìn)而提出了 MetaFormer 通用結(jié)構(gòu)，Meta 的含義代表 Token Mixer 是一種統(tǒng)稱，只要能夠?qū)崿F(xiàn) Token Mixer 功能的模型都屬于 MetaFormer 范疇，例如你也可以將 Token Mixer 換成 3x3 DW 卷積。為了驗(yàn)證這個架構(gòu)的可行性，作者將 ?Token Mixer 替換為最簡單的無參數(shù)的 Pooling 算子，發(fā)現(xiàn)效果也是類似的。

如果說 MetaFormer 還有 Transformer 的影子，那么 ConvNeXt 就是一個更徹底的去 Transformer 的例子了。其核心出發(fā)點(diǎn)是純粹的 Conv 堆疊性能能不能超過 Transformer。ConvNeXt 對 Swin Transformer 進(jìn)行了逐模塊分解，并且將其應(yīng)用于 ResNet 上，通過不斷對比兩者差異，作者將 ResNet 改造為 ConvNeXt，性能最終超越 Swin Transformer，證明了純粹的 Conv 堆疊性能能夠超過 Transformer，這也間接說明 Transformer 架構(gòu)和優(yōu)化策略的優(yōu)異性，而不是所謂的 Attention。

3. 總結(jié)

ViT 的核心在于 Attention，但是整個架構(gòu)也包括多個組件，每個組件都比較關(guān)鍵，有諸多學(xué)者對多個組件進(jìn)行了改進(jìn)。我們可以簡單將 ViT 結(jié)構(gòu)分成 6 個部分：

1.Token 模塊，其中可以分成 Image to Token 模塊和 Token to Token 模塊, Image to Token 將圖片轉(zhuǎn)化為 Token，通常可以分成非重疊 Patch Embedding 和重疊 Patch Embedding，而 ?Token to Token 用于各個 Transformer 模塊間傳遞 Token，大部分方案都和 Image to Token 做法一樣即 Patch Embedding，后續(xù)也有論文提出動態(tài)窗口劃分方式，本質(zhì)上是利用了圖片級別的語義自動生成最有代表性的采樣窗口。

2.位置編碼模塊，其中可以分成顯式位置編碼和隱式位置編碼，顯式位置編碼表示需要手動設(shè)置位置編碼，包括絕對位置編碼和相對位置編碼，而隱式位置編碼一般是指的利用網(wǎng)絡(luò)生成自適應(yīng)內(nèi)容的位置編碼向量，其提出的主要目的是為了解決顯式位置編碼中所遇到的當(dāng)圖片尺寸變化時候位置編碼插值帶來的性能下降的問題。

3.注意力模塊，早期的自注意力模塊都是全局注意力，計算量巨大，因此在圖片領(lǐng)域會針對性設(shè)計減少全局注意力，典型做法是降低 KV 空間維度，但是這種做法沒有解決根本問題，因此 Swin Transformer 中提出了局部窗口自注意力層，自注意力計算僅僅在每個窗口內(nèi)單獨(dú)計算，不再存在上述問題。

4. FFN 模塊，其改進(jìn)方向大部分是引入 DW 卷積增強(qiáng)局部特征提取能力，實(shí)驗(yàn)也證明了其高效性。

5. Normalization 模塊位置，一般是 pre norm。

6. 分類預(yù)測模塊，通常有兩種做法，額外引入 Class Token 和采用常規(guī)分類做法引入全局池化模塊進(jìn)行信息聚合。

隨著研究的不斷深入，大家發(fā)現(xiàn) Attention 可能不是最重要的，進(jìn)而提出了 MLP-based 和 ConvMixer-based 類算法，這些算法都是為了說明自注意力模塊可以采用 MLP 或者 Conv 層代替，這說明 Transformer 的成功可能來自整個架構(gòu)設(shè)計。

MetaFormer，An Empirical Study of CNN, Transformer, and MLP 和 Demystifying Local Vision Transformer 等論文都進(jìn)一步詳細(xì)說明和驗(yàn)證了上面的說法，并都提出了自己各自的看法。

從視覺 Transformer 進(jìn)展來看，目前 CNN 和 Transformer 的邊界已經(jīng)越來越模糊了，相互可以等價替換，也可以相互增強(qiáng)，特別是 ConvNeXt 的提出更是驗(yàn)證了這一點(diǎn)。

- The End -

GiantPandaCV

長按二維碼關(guān)注我們

本公眾號專注：

1. 技術(shù)分享；

2.?學(xué)術(shù)交流；

3.?資料共享。

歡迎關(guān)注我們，一起成長！

Vision Transformer 必讀系列之圖像分類綜述(一): 概述