【深度學習】CV和NLP通吃！谷歌提出OmniNet：Transformers的全方位表示
在機器翻譯、圖像識別等任務上表現(xiàn)SOTA！性能優(yōu)于Performer、ViT和Transformer-XL等網(wǎng)絡。
作者單位：谷歌Research和大腦團隊等
論文：https://arxiv.org/pdf/2103.01075.pdf
本文提出了來自Transformer的全方位表示（OmniNet）。
在OmniNet中，不是維護嚴格的水平感受野，而是允許每個token都參與整個網(wǎng)絡中的所有token。此過程也可以解釋為一種極端或集中注意力機制的形式，該機制具有網(wǎng)絡整個寬度和深度的感受野。
為此，通過元學習器來學習全向注意力，這實質(zhì)上是另一個基于自注意力的模型。為了減輕完整的感受野注意力的計算成本，我們利用有效的自注意力模型，例如基于kernel的（Choromanski等人），low-rank的注意力（Wang等人）和/或Big Bird（Zaheer）等）。
Transformer架構
Transformer塊接受N×d輸入，其中N表示序列中標記的數(shù)量，d表示表示的大小。每個Transformer模塊都具有一個自我注意模塊和一個兩層前饋網(wǎng)絡，在它們之間以位置方式應用ReLU激活。
自我注意機制首先使用線性變換將每個輸入X投影到Q，K，V表示形式中，這些形式對應于查詢，鍵和值。自我注意機制通常是多頭的，其中并行執(zhí)行多個相似的線性投影。第l層中每個自我關注頭h的輸出寫為：
其中yh，l是頭h在第l層的輸出，而dk是每個頭的大小。然后，將多個磁頭的輸出進行級聯(lián)，然后通過Wo，l進行另一個線性變換，該變換將所有磁頭的級聯(lián)投影到dm。這是通過層歸一化和殘差連接來包裝的，可以寫為：
作為self- 注意模塊。
Feed Forward Layers 變壓器塊的FFN塊執(zhí)行兩層轉(zhuǎn)換，定義為：
其中W1，W2是FFN層的可訓練參數(shù)（權重變換）。為了清楚起見，省略了偏置參數(shù)。
OmniNet網(wǎng)絡細節(jié)（建議看原文第三章3.2）
提名代表
保持因果關系和自動回歸解碼
高效變壓器
分區(qū)的單子網(wǎng)絡
實驗結果
在自回歸語言建模（LM1B，C4），機器翻譯， Long Range Arena（LRA）和圖像識別方面進行了廣泛的實驗。實驗表明，OmniNet在這些任務上實現(xiàn)了相當大的改進，包括在LM1B，WMT'14 En-De / En-Fr和 Long Range Arena上實現(xiàn)了最先進的性能。
此外，在Vision Transformers中使用全向表示可以顯著改善短時學習和微調(diào)設置中的圖像識別任務。
往期精彩回顧
本站qq群851320808，加入微信群請掃碼：