今年哪個(gè)機(jī)器學(xué)習(xí)研究方向最火？幾何深度學(xué)習(xí)成最大贏家！

點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)

轉(zhuǎn)自：量子位

機(jī)器學(xué)習(xí)今年的熱門研究，會(huì)是什么？

近日，有網(wǎng)友在Reddit開了這么一個(gè)盤，立刻吸引了大批MLer的注意。

有人提名自監(jiān)督模型，有人認(rèn)為表征學(xué)習(xí)越來(lái)越受到關(guān)注，還有人認(rèn)為基于物理的機(jī)器學(xué)習(xí)才是未來(lái)的方向……

然而，目前從評(píng)論區(qū)最高贊數(shù)來(lái)看，上述的這幾個(gè)方向都不是“贏家”。

截至目前，獲贊最多的選手是——幾何深度學(xué)習(xí)。

這項(xiàng)技術(shù)是因Twitter首席科學(xué)家、圖機(jī)器學(xué)習(xí)大牛Michael Bronstein去年發(fā)表的一篇論文走入了大眾視線。

（順帶一提那篇論文有160頁(yè)）

那么問(wèn)題就來(lái)了：

Top人氣從何而來(lái)？

幾何深度學(xué)習(xí)全名Geometric Deep Learning，最早是Michael Bronstein在2016年的一篇論文中引出的一個(gè)概念。

簡(jiǎn)單來(lái)說(shuō)，這是一種試圖從對(duì)稱性和不變性的視角出發(fā)，從幾何上統(tǒng)一CNNs、GNNs、LSTMs、Transformers等典型架構(gòu)的方法。

在高贊評(píng)論的下方，有人用一個(gè)簡(jiǎn)單的例子解釋了這種“對(duì)稱性”：

傳統(tǒng)網(wǎng)絡(luò)認(rèn)為“E”和“3”是不同的，但是具有鏡像對(duì)稱性（或π鍵旋轉(zhuǎn)）的網(wǎng)絡(luò)卻會(huì)認(rèn)為它們是一致的。

CNN就是這樣，當(dāng)不變性變得可平移（或者可轉(zhuǎn)換）時(shí)，右上角的3和中心的3當(dāng)然就是一樣的。我們希望將CNN的這種特性“推及”到其他架構(gòu)上。

這就對(duì)稱帶來(lái)的穩(wěn)定性，因?yàn)樵谝曈X上，許多物體其實(shí)是同一個(gè)物體，會(huì)具有“這是同一個(gè)物體，只是翻轉(zhuǎn)了一下”的3D幾何相似性，因此很多問(wèn)題都可以基于對(duì)稱性得到解決。

而傳統(tǒng)卷積網(wǎng)絡(luò)更多地使用數(shù)據(jù)增強(qiáng)，如旋轉(zhuǎn)，平移，翻轉(zhuǎn)來(lái)補(bǔ)償這一目的。

所以，幾何深度學(xué)習(xí)希望幾何學(xué)中的“不變?nèi)骸钡母拍罘秶诺酶鼘?，讓網(wǎng)絡(luò)除了旋轉(zhuǎn)平移對(duì)稱的常規(guī)操作之外，還能囊括“不變”這種操作。

比如在一段視頻中，有兩輛小車相向而行，無(wú)論速度如何，有無(wú)遮擋，視頻的語(yǔ)義就是兩輛小車相向行駛。

總的來(lái)說(shuō)，幾何深度學(xué)習(xí)既能使卷積網(wǎng)絡(luò)更加穩(wěn)定，也能更好地面對(duì)復(fù)雜度爆炸的擬合函數(shù)。

其他熱門提名

除了幾何深度學(xué)習(xí)這個(gè)大熱門，還有不少我們熟悉的方法也進(jìn)入了“提名”。

比如，在在評(píng)論區(qū)中被提及的次數(shù)最多的“民推之子”——自監(jiān)督學(xué)習(xí)。

監(jiān)督學(xué)習(xí)是目前機(jī)器學(xué)習(xí)領(lǐng)域主流的方法，而自監(jiān)督學(xué)習(xí)作為一種新的學(xué)習(xí)方法，利用輸入數(shù)據(jù)本身作為監(jiān)督信號(hào)，從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)信息表示，幾乎有利于所有不同類型的下游任務(wù)。

在圖像分類、語(yǔ)言翻譯等諸多CV和NLP領(lǐng)域都是隨處可見，LeCun也一直十分推崇這種研究方向。

△LeCun2018年演講

也有人認(rèn)為表征學(xué)習(xí)和可解釋性?（interpretability）越來(lái)越受到關(guān)注。

他首先解釋道，提名表征學(xué)習(xí)是因?yàn)槔碚撋疃葘W(xué)習(xí)領(lǐng)域似乎正在經(jīng)歷一個(gè)從“規(guī)范”問(wèn)題（如深度與寬度、近似理論、動(dòng)態(tài)）到更抽象問(wèn)題的轉(zhuǎn)變：

比如什么才是好的表示？表示的哪些屬性是重要的？如何用數(shù)學(xué)的方式定義這個(gè)概念？我們?nèi)绾螆?zhí)行它們？

可解釋性與表征學(xué)習(xí)也有一定關(guān)系：如果能夠理解什么是好的表現(xiàn)，能夠在它上面強(qiáng)加屬性，那么它就更具有可解釋性。

還有提名檢索、應(yīng)用于強(qiáng)化學(xué)習(xí)上的遷移學(xué)習(xí)、多模態(tài)以及大規(guī)模語(yǔ)言模型上的偏好學(xué)習(xí)的：

其中的“檢索”指的是從外部數(shù)據(jù)集中檢索信息，就像是deepmind近期的這項(xiàng)實(shí)驗(yàn)一樣。

這位帖主還提到，也可以利用檢索來(lái)補(bǔ)救長(zhǎng)尾問(wèn)題。

有意思的是，評(píng)論區(qū)有位提名“量子機(jī)器學(xué)習(xí)”的，引來(lái)了一位搞物理的，真誠(chéng)向搞AI的發(fā)問(wèn)：

這玩意兒是真的有用，還是只是民科？

其實(shí)在2017年時(shí)，圖靈獎(jiǎng)得主姚期智就在一次演講時(shí)說(shuō)過(guò)“如果能夠把量子計(jì)算和AI放在一起，我們可能做出連大自然都沒有想到的事情?！?/p>

這是一個(gè)量子計(jì)算和機(jī)器學(xué)習(xí)交叉的的跨學(xué)科技術(shù)領(lǐng)域，借助于量子特性開發(fā)高性能的量子機(jī)器學(xué)習(xí)算法，從而加快或拓寬人工智能的應(yīng)用場(chǎng)景。

不過(guò)目前還沒有影響廣泛的應(yīng)用出現(xiàn)，因此樓主謹(jǐn)慎地回復(fù)：不了解，不過(guò)好多人說(shuō)這是機(jī)器學(xué)習(xí)的最新趨勢(shì)來(lái)著…….

評(píng)論區(qū)中，我們熟悉的擴(kuò)散模型、聯(lián)邦學(xué)習(xí)、差分算法、元學(xué)習(xí)也都有人提及。

等到了今年年底的時(shí)候，我們可以再挖墳，看看是不是真的有提名中了獎(jiǎng)。

參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/t04ekm/d_whats_hot_for_machine_learning_research_in_2022/

努力分享優(yōu)質(zhì)的計(jì)算機(jī)視覺相關(guān)內(nèi)容，歡迎關(guān)注：
交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有美顏、三維視覺、計(jì)算攝影、檢測(cè)、分割、識(shí)別、NeRF、GAN、算法競(jìng)賽等微信群

個(gè)人微信（如果沒有備注不拉群！）
請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文