強(qiáng)到離譜，Transformer為何能闖入CV界秒殺CNN？

Transformer 近年來已成為視覺領(lǐng)域的新晉霸主，這個來自 NLP 領(lǐng)域的模型架構(gòu)為何能闖入CV界秒殺CNN？

自提出之日起，Transformer模型已經(jīng)在CV、NLP以及其他更多領(lǐng)域中「大展拳腳」，實力沖擊CNN。

Transformer為什么這么有實力？因為它在分類、檢測等任務(wù)上展現(xiàn)了極其強(qiáng)勁的性能。而且骨干網(wǎng)絡(luò)上的發(fā)展也推動了下游任務(wù)的發(fā)展，Swin Transformer更是成了屠榜般的存在，在工業(yè)界具有廣闊的應(yīng)用前景。所以引起了人工智能研究生的強(qiáng)烈興趣。

但要想啃透CV Transformer 難度不小：一方面，Transformer本是應(yīng)用于NLP的論文，其中很多內(nèi)容都形成了共識，在論文中并不會去詳細(xì)介紹這些共識內(nèi)容，例如QKV是什么，embedding是什么等，對于其他方向的人看到這些就很難理解。

另一方面，近小半年，Transformer+CV的論文就已經(jīng)有40多篇。學(xué)術(shù)研究更新之快，與脫發(fā)速度成正比

那么這些Transformer+CV的論文要怎么學(xué)習(xí)才能又好又快地吃透呢？

無非三個步驟：泛讀、精讀、代碼復(fù)現(xiàn)。

這次我們請來了現(xiàn)處科研一線的——電子羊老師，推出【ViT】+【MAE】論文精講直播，為期2天，徹底夯實 CV Transformer 基礎(chǔ)。

直播嘉賓：

—— 直播內(nèi)容與安排 ——

1、4月22日20:00直播

1.論文研究背景、成果及意義

2.論文精讀

3.論文總結(jié)

4.學(xué)習(xí)路徑推薦

2、4月23日20:00直播

1.MAE簡介

2.PreTrain FineTune

3.為什么分類任務(wù)如此重要？

4.MAE的主要方法

5.MAE實驗結(jié)果