Transformer的中年危機

卷友們好，我是rumor。最近Transformer被各種「質疑」，上周CV圈已經殺瘋了，多個大佬接連發(fā)文，把早已過時的MLP又擺了出來：

• 5月4日，谷歌掛出《MLP-Mixer An all-MLP Architecture for Vision》
• 5月5日，清華圖形學實驗室掛出《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》
• 5月5日，清華軟院掛出《RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition》
• 5月6日，牛津掛出《Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet》

好家伙，題目一個比一個扎心。

然而CV圈扎完了，娘家的NLPer也不甘示弱，就在昨天我刷Arxiv的時候，一篇谷歌的文章映入眼簾：

大佬們指出，雖然Transformer老哥的效果確實好，但這個效果到底是模型結構帶來的、還是預訓練帶來的呢？ 畢竟之前也沒人這么暴力地訓過對不對。那既然沒人訓過，這不idea就來了嘛接下來我腦補了一下模型選擇的問題，經典的就那么幾個：

1. MLP：好！但谷歌18年的USE模型已經證明了MLP沒Transformer效果好，畢竟NLP還是需要序列信息的
2. LSTM：不錯！用這個把大模型訓出來，今年的kpi就算了，明年的可以沖刺一下
3. CNN：這個好！速度又快又輕便，根據經驗來說在簡單任務上表現也不差，穩(wěn)得一批

結果一訓真的是，瞬間ACL+1：

上圖中 Lightweight CNN、Dilated CNN、Dynamic CNN 分別是不同的變種，可以得出以下結論：

1. 不管有沒有預訓練，CNN的一些變種在NLP分類任務上都有比肩Transformer的效果
2. 不只是Transformer，預訓練對于CNN網絡也是有提升的，在1%-18%之間
3. Dilated CNN、Dynamic CNN 這兩個變種的表現更好
4. 結構、預訓練對于最終表現都有影響，可能不預訓練的時候A>B，預訓練之后A<B

不過，表中數據展示的都是文本分類，雖然附加的一個生成式語義分析上表現也不錯，但大佬們也十分清楚CNN在其他更難的任務上表現有限。CNN在設計上沒考慮句子間的交互，只抽取了局部特征。比如在句子pair拼接的分類任務上（MultiNLI、SQuAd），就比Transformer甩掉了10-20個點。有趣的是作者在給CNN加了一層cross-attention之后效果就上去了，在MultiNLI把差距縮小到了1個點。同時他們也指出，在雙塔式的分類任務上CNN應該有更好的表現（就像USE模型用MLP也能達到不錯的效果）。所以，文章讀到這里，發(fā)現Transformer還是穩(wěn)坐NLP第一把交椅。這也是它的 ?? ?? 之處，無論別人怎么搞，都沒法在general層面打過它。前段時間谷歌還有篇文章分析了Transformer的各種變種，發(fā)現大部分都只是在個別任務有所提升（攤手）。但在做實際落地任務時，還是會有各種速度上的限制，這篇文章就是告訴我們在任務簡單、數據量充足、速度受限的情況下可以用CNN及變種來解決問題。TextCNN is all you need。最后再說幾個我疑惑的點，歡迎留言討論：

1. 文章用的都是CNN變種，為什么沒嘗試最經典的CNN呢？會不會是表現太差了，不能支持結論
2. 文章的預訓練模型是參考T5的結構，為什么不用更普遍的BERT結構？還提到T5是「current state-of-the-art」，那20年下的GPT3去哪兒了？難道是寫的時間太早？為什么現在才發(fā)？

這些問題都不得而知了，所以短期內我還是繼續(xù)無腦精調BERT吧，做個懶人。

如果覺得有用，就請分享到朋友圈吧！