CVPR世界第二僅次Nature！谷歌2024學(xué)術(shù)指標(biāo)出爐，NeurIPS、ICLR躋身前十

↑ 點擊藍字 關(guān)注極市平臺

來源丨新智元

極市導(dǎo)讀

 

一年一度谷歌學(xué)術(shù)指標(biāo)公布了！Nature年年霸榜，而今年與以往不同的是，國際學(xué)術(shù)頂會的排名大幅提升，CVPR位居第二，超越Science僅次于Nature。另外，TOP 20中，共有五大頂會入選，被引最高論文與大模型時代下前沿技術(shù)，一脈相承。>>加入極市CV技術(shù)交流群，走在計算機視覺的最前沿

谷歌2024學(xué)術(shù)指標(biāo)，剛剛出爐了！

最新排名是針對2019-2023年之間發(fā)表的文章的統(tǒng)計，還包含了截至2024年7月在Google Scholar中被引的所有文章數(shù)。

今年，依據(jù)h5-index，排在前十的期刊/國際頂級學(xué)術(shù)會議中，Nature已經(jīng)連續(xù)霸榜多年。

除了Nature，還有新英格蘭醫(yī)學(xué)雜志、Science、自然通訊、柳葉刀、Advanced Materials、細胞國際期刊進入前十。

此外，CVPR、NeurIPS、ICLR三大頂會躋身TOP 10，分別位列第二、第七和第十。

2023學(xué)術(shù)指標(biāo)中，CVPR位列第四，NeurIPS位列第九。ICLR排名不變。

網(wǎng)友們紛紛驚嘆道，「CVPR已經(jīng)攀升至第二，僅次Nature」！

「看到CVPR比Science有更大一個影響力，和Nature相差不遠，簡直太瘋狂了」。

CVPR、NeurIPS頂會排名躍升如此之高，說明了什么問題？

加拿大滑鐵盧大學(xué)計算機教授Gautam Kamath稱，要么是很多人引用了這些頂會中的論文，要么是很多人在頂會中發(fā)表了論文。也就是說，這一現(xiàn)象主要反映了該研究領(lǐng)域的增長。

AI五大頂會沖進TOP 20

除了開頭我們提到了三個頂會位列前十，在總榜前20名中，還有ICCV、ICML兩個機器學(xué)習(xí)/計算機視覺頂會入選。

其中，ICCV位列第13，ICML位列第17。

接下來，一起分別看看這5大頂會，近5年來（2019-2023年）被引最高的文章。

CVPR：StyleGAN、LDM

首先來看CVPR，h5-index為440，h5-median為689。

在前20篇高被引的論文中，優(yōu)秀的產(chǎn)出成果分別聚集在2019年、2020年、2022年中，分散在2021年、2023年的論文只有零星幾篇。

這里，有幾篇極具代表性，每個人或多或少熟知的作品：

由何凱明、謝賽寧等人聯(lián)手在2020年提出的動量對比（MoCo）算法被引最高，達11878次。這是一種構(gòu)建大型且一致的詞典的方法，用于無監(jiān)督學(xué)習(xí)。

還有英偉達團隊提出的StyleGAN算法，讓AI可以生成無數(shù)個細節(jié)豐富、逼真的人臉，很難看出偽造的痕跡。

Runway的AI視頻模型從Gen-1到Gen-3 Alpha完成多次進化，離不開的是「潛在擴散模型」（LDM）。

還有謝賽寧帶領(lǐng)團隊發(fā)表的A ConvNet for the 2020s，帶來全新純卷積模型ConvNeXt，性能反超Swin Transformer，直接在CV圈里掀起了模型架構(gòu)之爭。

2023年有一篇YOLOv7的論文進入TOP 20，現(xiàn)在這一算法已經(jīng)改進到了YOLOv10（清華團隊）。

NeurIPS：GPT-3、CoT、RAG

在NeurIPS中，h5-index為337，h5-median為614。

在前20篇高被引的論文中，優(yōu)秀的產(chǎn)出成果分別聚集在2019-2022年之間。

被引最高的論文是PyTorch開山之作，被引數(shù)為43887，可見其影響力之深遠。

其次，被引第二高的是由前OpenAI科學(xué)家Ilya Sutskever帶隊的研究——大名鼎鼎的GPT-3背后之作，成為業(yè)界拜讀之筆。

其他著名的研究還包括：

谷歌大腦一作Jason Wei和團隊提出「思維鏈」（CoT）算法，已經(jīng)成為當(dāng)今大模型彌補幻覺問題的一種重要的手段。

還有OpenAI團隊提出的使用類別引導(dǎo)圖像生成擴散模型，首次擊敗了GAN。

另有Meta（Facebook）團隊在2020年在如下論文中，首次提出了如今大模型用到的一項技術(shù)的概念——檢索增強生成（RAG）。

ICLR：LoRA、ViT

在ICLR中，h5-index為304，h5-median為584。

在前20篇高被引的論文中，優(yōu)秀的產(chǎn)出成果分別聚集在2019-2022年之間，2021年比例偏少一些。

其中的經(jīng)典之作，包括微軟團隊提出的大模型時代爆火技術(shù)之一——LoRA。這是一種降低模型可訓(xùn)練參數(shù)，又盡量不損失模型表現(xiàn)的大模型微調(diào)方法。

如下這篇論文成為Transfomer在CV領(lǐng)域的里程碑之作，引爆了后續(xù)的相關(guān)研究。

谷歌大腦團隊提出了Vision Transformer（ViT）全新架構(gòu)，不用卷積神經(jīng)網(wǎng)絡(luò)（CNN），可以直接用Transformer對圖像進行分類，性能趕超CNN。

斯坦福團隊提出的「去噪擴散隱式模型」（DDIM），大幅減少采樣的步驟，極大的提高了圖像生成的效率。

ICCV：Swin Transformer、SAM

在ICLR中，h5-index為291，h5-median為484。

在前20篇高被引的論文中，優(yōu)秀的產(chǎn)出成果主要聚集在2019年、2021年。

其中，有大家熟知的：

全華人團隊提出的Swin Transformer，是Transformer模型在視覺領(lǐng)域的又一次碰撞。它在物體檢測和語義分割任務(wù)中大幅刷新了此前的紀(jì)錄，并被廣泛應(yīng)用于眾多視覺任務(wù)中。

Meta團隊提出的「分割一切」（SAM）模型，讓學(xué)術(shù)圈直呼CV不存在了。

ICML：DALL·E、GLIDE、BLIP

在ICML中，h5-index為268，h5-median為424。

在前20篇高被引的論文中，優(yōu)秀的產(chǎn)出成果分散在2019-2023年之間。

在GAN之后，Ian Goodfellow團隊又提出了「自注意力生成對抗網(wǎng)絡(luò)」（SAGAN），在GAN的基礎(chǔ)上引入了自注意力機制，改進了圖像生成的質(zhì)量和多樣性。

OpenAI DALL·E背后經(jīng)典之作，便是如下這篇了。

另一篇同由OpenAI團隊提出的的文本生成圖像模型GLIDE，僅用35億參數(shù)，就能媲美初代DALL·E的性能。

此外，還有雙語視覺語言模型BLIP、BLIP-2。

從以上五大頂會的趨勢研究中，看得出當(dāng)前GenAI、大模型的爆發(fā)，與近年來的研究一脈相承。

另外，對于其他領(lǐng)域感興趣的讀者，可以進入Google Scholar主頁自行查閱。

傳送門：https://scholar.google.com/citations?view_op=top_venues

最權(quán)威學(xué)術(shù)指標(biāo)，也陷爭議

每年，Google Scholar都會更新一次學(xué)術(shù)指標(biāo)，并列出位列前100名的出版物。

「谷歌學(xué)術(shù)指標(biāo)」提供了一種簡便的方法，可以快速評估近期文章在學(xué)術(shù)出版物中的可見度和影響力。

它總結(jié)了許多出版物最近的引用情況，可以幫助業(yè)界研究者們參考那里發(fā)表最新的研究成果。

這些出版物按照5年h-index、h-median，這兩個指標(biāo)去排序。

若想具體查看，排名中某出版物中哪些文章被引數(shù)最多，以及誰引用了這些文章，直接單擊h-index，便可查看。

總榜，是不分類榜單。針對不同領(lǐng)域，比如工程&計算機視覺、物理&數(shù)學(xué)、化學(xué)&材料科學(xué)等，都有各自榜單排名。

有網(wǎng)友發(fā)出質(zhì)疑：如果不考慮「頂會規(guī)?！惯@一「強相關(guān)」的因素，這怎么可能成為一個有意義的評價頂會的標(biāo)準(zhǔn)呢？

對此，Gautam Kamath稱，是的這就是谷歌正在衡量的因素。我覺得這里有一個更好的衡量「影響力」的方法——只計算來自本領(lǐng)域外的引用（類似于排除「自引」）。

另有網(wǎng)友粗略計算了下，14個頂會中，僅有4個不收取出版費用。當(dāng)然，雖然沒有出版費用，但參加會議仍有其他相關(guān)費用，而且根據(jù)提交論文的數(shù)量等因素而變化。

TOP 100名單

今年谷歌學(xué)術(shù)指標(biāo)中，所有TOP 100名單如下：

上下滑動查看

參考資料：

https://scholar.googleblog.com/2024/07/2024-scholar-metrics-released.html

公眾號后臺回復(fù)“數(shù)據(jù)集”獲取100+深度學(xué)習(xí)各方向資源整理

極市干貨

技術(shù)專欄：多模態(tài)大模型超詳細解讀專欄｜搞懂Tranformer系列｜ICCV2023論文解讀｜極市直播

極視角動態(tài)：歡迎高校師生申報極視角2023年教育部產(chǎn)學(xué)合作協(xié)同育人項目｜新視野+智慧腦，「無人機+AI」成為道路智能巡檢好幫手！

技術(shù)綜述：四萬字詳解Neural ODE：用神經(jīng)網(wǎng)絡(luò)去刻畫非離散的狀態(tài)變化｜transformer的細節(jié)到底是怎么樣的？Transformer 連環(huán)18問！

點擊閱讀原文進入CV社區(qū)

收獲更多技術(shù)干貨