為何Transformer在計算機(jī)視覺中如此受歡迎？

“統(tǒng)一性”是很多學(xué)科共同追求的目標(biāo)，例如在物理學(xué)領(lǐng)域，科學(xué)家們追求的大統(tǒng)一，就是希望用單獨(dú)一種理論來解釋力與力之間的相互作用。人工智能領(lǐng)域自然也存在著關(guān)于“統(tǒng)一性”的目標(biāo)。在深度學(xué)習(xí)的浪潮中，人工智能領(lǐng)域已經(jīng)朝著統(tǒng)一性的目標(biāo)前進(jìn)了一大步。比如，一個新的任務(wù)基本都會遵循同樣的流程對新數(shù)據(jù)進(jìn)行預(yù)測：收集數(shù)據(jù)，做標(biāo)注，定義網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練網(wǎng)絡(luò)參數(shù)。

但是，在人工智能的不同子領(lǐng)域中，基本建模的方式各種各樣，并不統(tǒng)一，例如：在自然語言處理（NLP）領(lǐng)域目前的主導(dǎo)建模網(wǎng)絡(luò)是 Transformer；計算機(jī)視覺（CV）領(lǐng)域很長一段時間的主導(dǎo)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)（CNN）；社交網(wǎng)絡(luò)領(lǐng)域目前的主導(dǎo)網(wǎng)絡(luò)則是圖網(wǎng)絡(luò)等。

盡管如此，從2020年年底開始，Transformer 還是在 CV 領(lǐng)域中展現(xiàn)了革命性的性能提升。這就表明 CV 和 NLP 有望統(tǒng)一在 Transformer 結(jié)構(gòu)之下。這一趨勢對于兩個領(lǐng)域的發(fā)展來說有很多好處：1）使視覺和語言的聯(lián)合建模更容易；2）兩個領(lǐng)域的建模和學(xué)習(xí)經(jīng)驗可以深度共享，從而加快各自領(lǐng)域的進(jìn)展。

Transformer 在視覺任務(wù)中的優(yōu)異性能

視覺 Transformer 的先驅(qū)工作是谷歌在 ICLR 2021 上發(fā)表的 ViT [1]，該工作把圖像分成多個圖像塊（例如16x16像素大小），并把這些圖像塊比作 NLP 中的 token。然后直接將 NLP 中的標(biāo)準(zhǔn) Transformer 編碼器應(yīng)用于這些 “token”，并據(jù)此進(jìn)行圖像分類。該工作結(jié)合了海量的預(yù)訓(xùn)練數(shù)據(jù)（如谷歌內(nèi)部3億圖片分類訓(xùn)練庫 JFT-300M），在 ImageNet-1K 的 validation 評測集上取得了88.55%的準(zhǔn)確率，刷新了該榜單上的紀(jì)錄。

ViT 應(yīng)用 Transformer 比較簡單直接，因為其沒有仔細(xì)考慮視覺信號本身的特點(diǎn)，所以它主要適應(yīng)于圖像分類任務(wù)，對于區(qū)域級別和像素級別的任務(wù)并不是很友好，例如物體檢測和語義分割等。為此，學(xué)術(shù)界展開了大量的改進(jìn)工作。其中，Swin Transformer 骨干網(wǎng)絡(luò) [2] 在物體檢測和語義分割任務(wù)中大幅刷新了此前的紀(jì)錄，讓學(xué)術(shù)界更加確信 Transformer 結(jié)構(gòu)將會成為視覺建模的新主流。

具體而言，在物體檢測的重要評測集 COCO 上，Swin Transformer 取得了單模型58.7的 box mAP 和51.1的 mask mAP，分別比此前最好的、沒有擴(kuò)充數(shù)據(jù)的單模型方法高出了+2.7個點(diǎn)和+2.6個點(diǎn)。此后，通過改進(jìn)檢測框架以及更好地利用數(shù)據(jù)，基于 Swin Transformer 網(wǎng)絡(luò)的方法性能進(jìn)一步取得了61.3的 box mAP 和53.0的 mask mAP，累計提升達(dá)+5.3 box mAP 和+5.5 mask mAP。在語義分割的重要評測數(shù)據(jù)集 ADE20K 上，Swin Transformer 也取得了顯著的性能提升，達(dá)到了53.5 mIoU，比此前最好的方法高出+3.2 mIoU，此后隨著分割框架和訓(xùn)練方法的進(jìn)一步改進(jìn)，目前已達(dá)到57.0 mIoU 的性能。

除了在物體檢測和語義分割任務(wù)上表現(xiàn)亮眼外，基于 Swin Transformer 骨干網(wǎng)絡(luò)的方法在眾多視覺任務(wù)中也取得了優(yōu)異的成績，如視頻動作識別 [3]、視覺自監(jiān)督學(xué)習(xí) [4][5]、圖像復(fù)原 [6]、行人 Re-ID [7]、醫(yī)療圖像分割 [8]等。

Swin Transformer 的主要思想是將具有很強(qiáng)建模能力的 Transformer 結(jié)構(gòu)和重要的視覺信號先驗結(jié)合起來。這些先驗具有層次性（Hierarchy）、局部性（locality）以及平移不變性的特點(diǎn)（translation invariance）。Swin Transformer 的一個重要設(shè)計是移位的不重疊窗口（shifted windows），不同于傳統(tǒng)的滑動窗，不重疊窗口的設(shè)計對硬件實(shí)現(xiàn)更加友好，從而具有更快的實(shí)際運(yùn)行速度。如圖2（左）所示，在滑動窗口設(shè)計中，不同的點(diǎn)采用了不同的鄰域窗口來計算相互關(guān)系，這種計算對硬件并不友好。而如圖2（右）所示，Swin Transformer 使用的不重疊窗口中，統(tǒng)一窗口內(nèi)的點(diǎn)將采用相同的鄰域來進(jìn)行計算，對速度更友好。實(shí)際測試表明，非重疊窗口方法的速度比滑動窗口方法快了2倍左右。在兩個連續(xù)的層中還做了移位的操作。在 L 層中，窗口分區(qū)從圖像的左上角開始；在 L+1 層中，窗口劃分則往右下移動了半個窗口。這樣的設(shè)計保證了不重疊的窗口間可以有信息的交換。

傳統(tǒng)的滑動窗口方法（左），由于不同的查詢所用到的關(guān)鍵字集合不同，其對存儲的訪問不太友好，實(shí)際運(yùn)行速度較慢。移位的不重疊窗口方法（右），由于不同的查詢共享關(guān)鍵字集合，所以實(shí)際運(yùn)行速度更快，從而更實(shí)用。

在過去的大半年中，學(xué)術(shù)界視覺 Transformer 還涌現(xiàn)了大量變種，包括 DeiT [9]，LocalViT [10]，Twins [11]，PvT [12]，T2T-ViT [13], ViL [14]，CvT [15]，CSwin [16]，F(xiàn)ocal Transformer [17]，Shuffle Transformer [18] 等。

擁抱 Transformer 的五個理由

除了刷新很多視覺任務(wù)的性能紀(jì)錄以外，視覺 Transformer 還擁有諸多好處。事實(shí)上，過去4年間學(xué)術(shù)界不斷挖掘出了 Transformer 建模的各種優(yōu)點(diǎn)，可以總結(jié)為圖3所示的五個方面。

理由1：通用的建模能力

Transformer 的通用建模能力來自于兩個方面：一方面 Transformer 可以看作是一種圖建模方法。圖是全連接的，節(jié)點(diǎn)之間的關(guān)系通過數(shù)據(jù)驅(qū)動的方式來學(xué)習(xí)得到。由于任意概念（無論具體或抽象）都可以用圖中的節(jié)點(diǎn)來表示，且概念之間的關(guān)系可以用圖上的邊來刻畫，因此 Transformer 建模具有很強(qiáng)的通用性。

另一方面，Transformer 通過驗證的哲學(xué)來建立圖節(jié)點(diǎn)之間的關(guān)系，具有較好的通用性：無論節(jié)點(diǎn)多么異構(gòu)，它們之間的關(guān)系都可以通過投影到一個可以比較的空間里計算相似度來建立。如圖4（右）所示，節(jié)點(diǎn)可以是不同尺度的圖像塊，也可以是“運(yùn)動員”的文本輸入，Transformer 均可以刻畫這些異構(gòu)節(jié)點(diǎn)之間的關(guān)系。

正是因為具備這樣的通用建模能力，Transformer 中的注意力單元可以被應(yīng)用到各種各樣的視覺任務(wù)中。具體而言，計算機(jī)視覺處理的對象主要涉及兩個層次的基本元素：像素和物體。而計算機(jī)視覺所涉及到的任務(wù)主要就囊括了這些基本元素之間的關(guān)系，包括像素-像素，物體-像素和物體-物體的關(guān)系建模。此前，前兩種關(guān)系建模主要是分別由卷積和 RoIAlign 來實(shí)現(xiàn)的，最后一種關(guān)系通常沒有很好的建模方法。但是，Transformer 中的注意力單元因其通用的建模能力，可以被應(yīng)用到所有這些基本關(guān)系的建模中。

近些年，在這個領(lǐng)域中已經(jīng)出現(xiàn)了很多代表性的工作，例如：1） 非局部網(wǎng)絡(luò) [19]。王小龍等人將注意力單元用于建模像素-像素的關(guān)系，證明了 Transformer 可以幫助視頻動作分類和物體檢測等任務(wù)。元玉慧等人將其應(yīng)用于語義分割問題，也取得了顯著的性能提升[20]。2）物體關(guān)系網(wǎng)絡(luò) [21]。注意力單元用于物體檢測中的物體關(guān)系建模，這一模塊也被廣泛應(yīng)用于視頻物體分析中 [22, 23, 24]。3）物體和像素的關(guān)系建模，典型的工作包括 DETR [25]，LearnRegionFeat [26]，以及 RelationNet++ [27]等。

理由2：和卷積形成互補(bǔ)

卷積是一種局部操作，一個卷積層通常只會建模鄰域像素之間的關(guān)系。Transformer 則是全局操作，一個 Transformer 層能建模所有像素之間的關(guān)系，雙方可以很好地進(jìn)行互補(bǔ)。最早將這種互補(bǔ)性聯(lián)系起來的是非局部網(wǎng)絡(luò) [19]，在這個工作中，少量 Transformer 自注意單元被插入到了原始網(wǎng)絡(luò)的幾個地方，作為卷積網(wǎng)絡(luò)的補(bǔ)充，并被證明其在物體檢測、語義分割和視頻動作識別等問題中廣泛有效。

此后，也有工作發(fā)現(xiàn)非局部網(wǎng)絡(luò)在視覺中很難真正學(xué)到像素和像素之間的二階關(guān)系 [28]，為此，有研究員們也提出了一些針對這一模型的改進(jìn)，例如解耦非局部網(wǎng)絡(luò) [29]。

理由3：更強(qiáng)的建模能力

卷積可以看作是一種模板匹配，圖像中不同位置采用相同的模板進(jìn)行濾波。而 Transformer 中的注意力單元則是一種自適應(yīng)濾波，模板權(quán)重由兩個像素的可組合性來決定，這種自適應(yīng)計算模塊具有更強(qiáng)的建模能力。

最早將 Transformer 這樣一種自適應(yīng)計算模塊應(yīng)用于視覺骨干網(wǎng)絡(luò)建模的方法是局部關(guān)系網(wǎng)絡(luò) LR-Net [30] 和 SASA [31]，它們都將自注意的計算限制在一個局部的滑動窗口內(nèi)，在相同理論計算復(fù)雜度的情況下取得了相比于 ResNet 更好的性能。然而，雖然理論上與 ResNet 的計算復(fù)雜度相同，但在實(shí)際使用中它們卻要慢得多。一個主要原因是不同的查詢（query）使用不同的關(guān)鍵字（key）集合，如圖2（左）所示，對內(nèi)存訪問不太友好。

Swin Transformer 提出了一種新的局部窗口設(shè)計——移位窗口（shifted windows）。這一局部窗口方法將圖像劃分成不重疊的窗口，這樣在同一個窗口內(nèi)部，不同查詢使用的關(guān)鍵字集合將是相同的，進(jìn)而可以擁有更好的實(shí)際計算速度。在下一層中，窗口的配置會往右下移動半個窗口，從而構(gòu)造了前一層中不同窗口像素間的聯(lián)系。

理由4：對大模型和大數(shù)據(jù)的可擴(kuò)展性

在 NLP 領(lǐng)域，Transformer 模型在大模型和大數(shù)據(jù)方面展示了強(qiáng)大的可擴(kuò)展性。圖6中，藍(lán)色曲線顯示近年來 NLP 的模型大小迅速增加。大家都見證了大模型的驚人能力，例如微軟的 Turing 模型、谷歌的 T5 模型以及 OpenAI 的 GPT-3 模型。

視覺 Transformer 的出現(xiàn)為視覺模型的擴(kuò)大提供了重要的基礎(chǔ)，目前最大的視覺模型是谷歌的150億參數(shù) ViT-MoE 模型 [32]，這些大模型在 ImageNet-1K 分類上刷新了新的紀(jì)錄。

理由5：更好地連接視覺和語言

在以前的視覺問題中，科研人員通常只會處理幾十類或幾百類物體類別。例如 COCO 檢測任務(wù)中包含了80個物體類別，而 ADE20K 語義分割任務(wù)包含了150個類別。視覺 Transformer 模型的發(fā)明和發(fā)展，使視覺領(lǐng)域和 NLP 領(lǐng)域的模型趨同，有利于聯(lián)合視覺和 NLP 建模，從而將視覺任務(wù)與其所有概念聯(lián)系起來。這方面的先驅(qū)性工作主要有 OpenAI 的 CLIP [33] 和 DALL-E 模型 [34]。

考慮到上述的諸多優(yōu)點(diǎn)，相信視覺 Transformer 將開啟計算機(jī)視覺建模的新時代，我們也期待學(xué)術(shù)界和產(chǎn)業(yè)界共同努力，進(jìn)一步挖掘和探索這一新的建模方法給視覺領(lǐng)域帶來的全新機(jī)遇和挑戰(zhàn)。

參考文獻(xiàn)：

如果覺得有用，就請分享到朋友圈吧！