【深度學習】2021年深度學習哪些方向比較新穎，處于上升期或者朝陽階段，沒那么飽和，比較有研究潛力？
1.Transformer
自從去年DETR和ViT出來之后，計算機視覺領(lǐng)域掀起了Transformer狂潮。目前可以做的主要有兩個路徑，一個是魔改DETR和ViT，另一個是不同task遷移算法。
魔改DETR和ViT的方法，無非是引入local和hierarchical，或者魔改算子。
不同task遷移算法主要是探究如何針對不同的task做適配設(shè)計。
其中魔改DETR的可以參考以下工作：
[Deformable DETR] [TSP-FCOS/TSP-RCNN] [UP-DETR] [SMCA] [Meta-DETR] [DA-DETR]
其中魔改ViT的可以參考以下工作：
魔改算子：
[LambdaResNets] [DeiT] [VTs] [So-ViT] [LeViT] [CrossViT] [DeepViT] [TNT] [T2T-ViT]
[BoTNet] [Visformer]
引入local或者hierarchical：
[PVT] [FPT] [PiT] [LocalViT] [SwinT] [MViT] [Twins]
引入卷積:
[CPVT] [CvT] [ConViT] [CeiT] [CoaT] [ConTNet]
不同task遷移算法的可以參考以下工作：
ViT+Seg [SETR] [TransUNet] [DPT] [U-Transformer]
ViT+Det [ViT-FRCNN] [ACT]
ViT+SOT [TransT] [TMT]
ViT+MOT [TransTrack] [TrackFormer] [TransCenter]
ViT+Video [STTN] [VisTR] [VidTr] [ViViT] [TimeSformer] [VTN]
ViT+GAN [TransGAN] [AOT-GAN] [GANsformer]
ViT+3D [Group-Free] [Pointformer] [PCT] [PointTransformer] [DTNet] [MLMSPT]
以上幾個task是重災區(qū)（重災區(qū)的意思是聽我一句勸，你把握不住）
ViT+Multimodal [Fast and Slow] [VATT]
ViT+Pose [TransPose] [TFPose]
ViT+SR [TTSR]
ViT+Crowd [TransCrowd]
ViT+NAS [BossNAS]
ViT+ReID [TransReID]
ViT+Face [FaceT]
想一想算子怎么魔改，或者還有什么task沒有做的
2.Self-Supervised
Self-Supervised自從何愷明做出MoCo以來再度火熱，目前仍然是最為火熱的方向之一。目前可以做的主要有三個路徑，一個是探索退化解的充要條件，一個是Self-Supervised+Transformer探索上限，還有一個是探索非對比學習的方法。
探索退化解的充要條件主要是探索無negative pair的時候，避免退化解的最優(yōu)方案是什么。
[SimCLR] [BYOL] [SwAV] [SimSiam] [Twins]
Self-Supervised+Transformer是MoCov3首次提出的，NLP領(lǐng)域強大的預訓練模型(BERT和GPT-3)都是Transformer架構(gòu)的，CV可以嘗試去復制NLP的路徑，探究Self-Supervised+Transformer的上限。
[MoCov1] [MoCov2] [MoCov3] [SiT]
探索非對比學習的方法就是要設(shè)計合適的proxy task。
基于上下文 [Unsupervised Visual Representation Learning by Context Prediction] [Unsupervised Representation Learning by Predicting Image Rotations] [Self-supervised Label Augmentation via Input Transformations]
基于時序 [Time-Contrastive Networks: Self-Supervised Learning from Video] [Unsupervised Learning of Visual Representations using Videos]
剛寫了基于時序，何愷明和Ross Girshick就搞了個時序的
A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning
何愷明+Ross Girshick：深入探究無監(jiān)督時空表征學習
3. Zero-Shot
最近因為CLIP的出現(xiàn)，Zero-Shot可能會引起一波熱潮，ViLD將CLIP成功應(yīng)用于目標檢測領(lǐng)域，相信未來會有越來越多的基于CLIP的Zero-Shot方法。
ViLD：超越Supervised的Zero-Shot檢測器
4. 多模態(tài)
最近的ViLT結(jié)合了BERT和ViT來做多模態(tài)，并且通過增加標志位來巧妙的區(qū)分不同模態(tài)，感覺是一個非常好的做多模態(tài)的思路，相信未來會有更強大的多模態(tài)出現(xiàn)。
至于最近火熱的MLP架構(gòu)，極其不推薦，很沙雕
最后，適當灌水，有能力還是要做有影響力的工作。
往期精彩回顧
本站qq群851320808，加入微信群請掃碼：