計算機視覺下哪個小方向目前更有發(fā)展前途

點擊下方卡片，關(guān)注“新機器視覺”公眾號

重磅干貨，第一時間送達

知乎問題

• 計算機視覺（cv）下哪個小方向目前更有發(fā)展前途？

回答1

目前想到的有如下方向，排名不分先后，歡迎大家討論。

1. 自監(jiān)督：以MAE，BEiT為代表的基于MASK方式的自監(jiān)督訓(xùn)練策略在分類任務(wù)上取得明顯提升。如何繼續(xù)提升基于MASK的自監(jiān)督性能和效率，以及如何把MAE相關(guān)工作拓展到其他任務(wù)上（比如檢測，分割）應(yīng)該后續(xù)會有不少工作。

2. 多模態(tài)：CLIP證明了多模態(tài)預(yù)訓(xùn)練模型在多個任務(wù)上的顯著的性能優(yōu)勢。后續(xù)基于CLIP出現(xiàn)了不少多模態(tài)或者視覺預(yù)訓(xùn)練模型，如何提升多模態(tài)預(yù)訓(xùn)練的性能和效率目前受到廣泛關(guān)注。同時，如何把多模態(tài)預(yù)訓(xùn)練模型應(yīng)用的下游任務(wù)也是不錯的研究方向，現(xiàn)在已經(jīng)有把CLIP應(yīng)用到detection, segmentation，caption，VLN等。

3. 3D：元宇宙（AR/VR）和自動駕駛最近非常火。與元宇宙相關(guān)的研究方向比如NERF，數(shù)字人等（比如talking face）。與自動駕駛相關(guān)的研究方向比如基于點云的檢測/跟蹤，點云+RGB多模態(tài)融合等

4. 安全：模型魯棒性，對抗攻擊，防御等

回答2

序：作為一個長期從事計算機視覺工作的從業(yè)人員，也一直在進行計算機視覺底層算法研究。結(jié)合多年來的從業(yè)經(jīng)歷及科研經(jīng)歷，總結(jié)一下2021年計算機視覺領(lǐng)域的技術(shù)進展，同時對2022年計算機視覺的熱門技術(shù)闡述個人的觀點。

1. 工業(yè)界：對學(xué)術(shù)研究提出需求

2021年業(yè)界最火的兩個概念：自動駕駛與元宇宙，這兩個概念可能代表了未來一年甚至更久的一個行業(yè)走向。因此，工業(yè)界對學(xué)術(shù)界的需求在接下來一段時間大概率是基于自動駕駛與元宇宙的，這將是學(xué)術(shù)界的研究熱點。分析自動駕駛及元宇宙的一些主要組件及底層技術(shù)，如圖1所示。

可以推出學(xué)術(shù)界計算機視覺相關(guān)的研究熱點如下：

（1）建圖技術(shù)：三維重建技術(shù)，包括SLAM、定位、建圖、更新等技術(shù)；

（2）點云理解技術(shù)：三維理解技術(shù)，包括點云檢測、分割等技術(shù)；

（3）街景理解技術(shù)：街景圖像視頻識別、檢測、分割等技術(shù)；

（4）三維渲染技術(shù)。

2. 學(xué)術(shù)界：自驅(qū)的學(xué)術(shù)研究

分析學(xué)術(shù)界的研究熱點，這里重點以計算機視覺頂級會議CVPR 2021及ICCV 2021為例（2021年沒有ECCV，相應(yīng)的頂級期刊時效性可能沒有會議快，因此均暫不分析），分析相應(yīng)主題的論文接收情況。

CVPR 2021及ICCV 2021的關(guān)鍵字云圖及對應(yīng)文章數(shù)量如圖2和圖3所示。

可以看出：

• CVPR 2021前五的研究熱點是：detection, 3d, segmegmentation, video, representation learning；

• ICCV 2021前五的研究熱點是：video, 3d, detection, segmentation, representation learning和transformer。

有個重點趨勢可以發(fā)現(xiàn)：transformer相關(guān)文章從CVPR到ICCV不到半年時間增長非常明顯（35篇->94篇）。

基于個人在計算機視覺領(lǐng)域的長期論文跟蹤，2021年CV圈較火的研究點集中在兩點：

• 基于transformer的應(yīng)用問題（包括檢測、分割、3D視覺等）；

• 基于self-supervised的應(yīng)用問題，尤其是transformer。

相應(yīng)地，計算機視覺在學(xué)術(shù)界自發(fā)(bottom-up)的研究熱點可以總結(jié)如下：

（4）基于transformer的視覺技術(shù)：已有大一統(tǒng)的趨勢；

（5）基于self-supervised的無標(biāo)注視覺技術(shù)。

3. 總結(jié)一下

接下來的研究熱點個人分析主要包括：

面向應(yīng)用（工業(yè)界）：

（1）建圖技術(shù)：三維重建技術(shù)，包括SLAM、定位、建圖、更新等技術(shù)；

（2）點云理解技術(shù)：三維理解技術(shù)，包括點云檢測、分割等技術(shù)；

（3）街景理解技術(shù)：街景圖像視頻識別、檢測、分割等技術(shù)；

（4）三維渲染技術(shù)，

面向通用（學(xué)術(shù)界）：

（5）基于transformer的視覺技術(shù)：已有大一統(tǒng)的趨勢；

（6）基于self-supervised的無標(biāo)注視覺技術(shù)。

更細致的研究方向就要看個人的taste了，喜歡應(yīng)用層的研究（工業(yè)界需求的）可以更多考慮1-4，喜歡底層研究（偏純學(xué)術(shù)路線的）可以更多考慮5-6。如果是發(fā)文章的話，以上提到的方向是頂會文章最多的，是最近的研究熱點，肯定是相對更容易發(fā)表的，但也意味著是競爭最大的，因為很多人都會朝著這幾個方向努力。

關(guān)于更細分的方向可以直接選擇以上其一，也可以將以上1-4與5-6排列組合，例如基于transformer的稀疏重建、基于self-supervised的街景目標(biāo)跟蹤等等。

實際上，計算機視覺每個方向深耕都可以做出不錯的工作（例如小樣本、多模態(tài)、增量學(xué)習(xí)等），并發(fā)表頂會頂刊文章，如果已經(jīng)有明確自己鐘愛且值得深入研究的課題請不要放棄，目前我們看到的熱點很多其實最初也是1-2篇顛覆性的文章引領(lǐng)起來的，因此沉下心來做出真正有用有意義solid的工作，這比灌水N篇都值得贊賞。

回答3

這樣說吧，方向根本無所謂，根本不用考慮現(xiàn)在，你畢業(yè)的時候也沒多少招聘的會考慮。基礎(chǔ)才是王道。數(shù)學(xué)，算法，編程能力，這三個就業(yè)來說，重要性倒著來。隨便其中一個，也夠你忙活了，而且是必須下苦工努力的，加油吧。

我碩士到工作到現(xiàn)在，圖像識別，遙感3D建模，醫(yī)療圖像，機器視覺方向，都有過“深刻而痛苦”的經(jīng)歷，上面三個基礎(chǔ)好，其他就是經(jīng)驗和時間，非核心競爭力。

人不能把自己的路走窄了，可以先選定一個方向，以此為媒介打牢基礎(chǔ)，但畢業(yè)之后，是不是做這個方向根本沒關(guān)系。三個技能隨便一個練到高處，你還不是橫著走，想去哪兒去哪兒。

回答4

從身邊做cv的同學(xué)今年找實習(xí)和工作情況來看，人臉方向的需求最大，找起來也更好找一些。不過最重要的還是打好基礎(chǔ)，把常用的機器學(xué)習(xí)、深度學(xué)習(xí)方法自己推到實現(xiàn)一遍。不知道未來的趨勢怎么樣，反正今年cv方向還是很好找工作的。我們學(xué)院今年將要畢業(yè)的幾個做cv的碩士被某大公司以40+的年薪打包帶走了。

本文轉(zhuǎn)載自知乎

https://www.zhihu.com/question/496500060