2021年，深度學習還有哪些未飽和、有潛力且處于上升期的研究方向？

我的主要研究方向是計算機視覺，所以本文也會比較偏重CV方向。

1. 不適合的研究方向

首先我要反對兩個方向：對比學習為代表的自監(jiān)督學習算法（包括BYOL等）和Transformer。它們的上限幾乎是肉眼可見的，在沒有非平凡的改進之前，很難有本質(zhì)上的突破。在大量研究者投入精力的情況下，只要沒有持續(xù)的產(chǎn)出，就必然會導致其加速衰落。前些年盛極一時的網(wǎng)絡架構搜索（NAS）就是一個非常典型的例子。

我們首先分析NAS、對比學習、Transformer的局限性：

（1） 原本以NAS為代表的AutoML技術受到了廣泛的期待，我還主張“自動機器學習之于深度學習，就好比深度學習之于傳統(tǒng)方法”，不過后來發(fā)現(xiàn)它的缺陷是明顯的。在搜索空間指數(shù)級擴大之后，算法就必須在精度和速度之間做出選擇。后來盛行的權重共享類搜索方法，相當于追求搜索空間中的平攤精度，而平攤精度與最佳個體的精度往往并不吻合。

（2）對比學習被廣泛引入圖像領域作為自監(jiān)督任務以后，前世代的自監(jiān)督算法（如預測旋轉、拼圖、上色等）紛紛被吊打，甚至開始在下游任務中超越有監(jiān)督訓練的模型。然而，當前的對比學習類方法（包括BYOL）對于數(shù)據(jù)擴增（data augmentation）的依賴過重，因而不可避免地陷入了invariance和consistency之間的矛盾：強力的augmentation能夠促進學習效果，但是如果augmentation過強，不同view之間的可預測性又無法保證。

（3）至于Transformer，雖然目前還處在比較興盛的狀態(tài)，然而它的上限也是明顯的。除了更快的信息交換，似乎這種模型并沒有體現(xiàn)出顯著的優(yōu)勢。問題是：CV任務真的需要頻繁而快速的視覺信息交換嗎？遺憾的是，學界依然沉浸在“先將所有任務用Transformer刷一遍”的廉價快樂中，鮮有人愿意思考一些更深入的問題。

2. 應該關注的方向（但未必能夠保證產(chǎn)出）

如果以CVPR為CV的導向的話，目前發(fā)展大概是這樣：

MLP（2012年的前）—>CNN（2012-約2020）—>transformer（2020年以后）—>MLP（？？Google最近又把這玩意刨出來了，至于是不是，不敢推測結果如何）

先說結論：

越來越比拼硬件資源能力了。

總之就我做的醫(yī)學圖像分割上來說，最直觀的感受就是幾個點吧：

（1）傳統(tǒng)基于CNN的文章除非在理論上、網(wǎng)絡結構上（萬年薅UNet，各種魔改）有大的創(chuàng)新，否則給人的感覺創(chuàng)新性都不大，甚至可以歸為“水文”，二區(qū)都難。

（2）獨立于網(wǎng)絡之外的用于提升網(wǎng)絡性能的模塊上，attention-gate、channel- attention、spatial- attention、channel- spatial attention、non-local、scale- attention……反正就是魔改，要說最近的方向，可能就是類似ECA-module這種類似的走輕量注意力上才有的發(fā)paper。

（3）transformer：是個很新的方向，目前應該是醫(yī)學圖像分割上最好灌水的方向之一了，我記得去年開組會剛想把Unet的編碼器或者解碼器部分改成transformer，試試效果如何，結果一上知乎，我校某實驗室就在編碼器部分搞了出來一篇transUnet。看完swin-tranformer我一拍大腿，我去，這個好，這下解碼器編碼器都可以改了，對我這個小菜雞還好理解點，結果馬上有人做出來了swin-unet。總的來說就是，目前想水醫(yī)學圖像分割的transformer文章的，代碼+硬件兩手都硬的同行們，可以抓緊了。因為目前只要你速度夠快，method部分不需要寫大量公式計算，也不用憋著想如何寫創(chuàng)新點，創(chuàng)新點統(tǒng)一為：

“本文首次把transformer應用于XXX檢測/識別/分類/分割”

（4）大顯存、多數(shù)量GPU，無論顯存還是數(shù)量，越多越好，堪比挖礦。我曾經(jīng)嘗試把DA-Net中的PAM和CAM丟到UNet里去，結果直接out of memory….you need another 64GB。把我嚇得，團隊只有4卡RTX2080Ti瑟瑟發(fā)抖。transformer那種基于self-attention的大型注意力包，理論上計算資源只會多不會少，等忙完這段時間我準備搞一個3層的swin結構的編解碼結構試試，但愿能跑起來，這樣畢業(yè)論文就顯得新一點 。

回答幾個我最近在研究的方向～ 我主要在做生成模型，不過亂七八糟的也有涉獵。

1. 可解釋性

feature-based研究的很多了，instance-based個人感覺在上升期，從研究的角度來說缺乏benchmark/axiom/sanity check. 主流方法是influence function, 我覺得這里面self influence的概念非常有趣，應該很值得研究。當然，更意思的方向是跳出influence function本身，比如像relatIF 加一些regularization，也是水文章的一貫套路(relatIF是好文章)。

Influence function for generative models也是很值得做的。Influence function for GAN已經(jīng)有人做了，雖然文章直接優(yōu)化FID是有點問題的，但是框架搭好了，換一個evaluation換個setting就可以直接發(fā)paper.

我最近寫了Influence function for VAE, 有不少比較有意思的observation (paper[1]; code repo: VAE-TracIn-pytorch).

2. 無監(jiān)督生成學習

最近的denoising diffusion probabilistic model(DDPM)絕對是熱坑，效果好，但是速度慢沒有meaningful latent space限制了很多應用，有待發(fā)掘。我去年實習寫了一篇DiffWave是這個方法在語音上的應用，效果很好，最近應該能看到這個模型的application井噴，比如3D point cloud生成。

DDPM的加速最近已經(jīng)有不少paper了，目前來看有幾類，有的用conditioned on noise level去重新訓練，有的用jumping step縮短Markov Chain，有的在DDPM++里面研究更快的solver. 我最近寫了FastDPM, 是一種結合noise level和jumping step的快速生成的框架(無需retrain, original DDPM checkpoint拿來直接用)，統(tǒng)一并推廣了目前的好幾種方法，給出了不同任務(圖像, 語音)的recipe (paper[2]; code repo: FastDPM_pytorch).

生成模型里的Normalizing flow模型，用可逆網(wǎng)絡轉化數(shù)據(jù)分布，很fancy 能提供likelihood和比較好的解釋性但是效果偏偏做不上去，一方面需要在理論上有補充，因為可逆或者Lipschitz網(wǎng)絡的capacity確實有限。另一方面，實際應用中，training不穩(wěn)定可能是效果上不去的原因，其中initialization 和training landscape都是有待研究的問題。潛在的突破口：augmented dimension或者類似surVAE那種generalized mapping. 除此之外，normalizing flow on discrete domain也是很重要的問題，潛在突破口是用OT里面的sinkhorn network.

我對residual flow這個模型有執(zhí)念，很喜歡這個框架，雖然它不火。今年早些時候我寫了residual flow的universal approximation in MMD的證明，很難做，需要比較特殊的假設 (paper[3])。之后可能繼續(xù)鉆研它的capacity和learnability.

再補充一個：

3. 生成模型的overfitting是一個長久的問題，但是本身很難定義，很大一個原因是mode collapse和copy training data耦合在一起。我們組去年發(fā)表了data-copying test用于檢測相關性質(zhì)，不過這個idea還停留在比較初級的階段，我覺得這一塊需要更多high level的框架。

4. Meta learning + generative model方向個人十分看好，meta learning 框架可以直接套，loss改成生成模型的loss就可以了。Again, GAN已經(jīng)被做了，不過GAN的paper那么多，隨便找上一個加上meta learning還是很容易的。類似可以做multitask + GAN.