每年AI頂會論文幾千篇，真正有創(chuàng)新的有多少呢？

每年AI頂會幾千篇，有多少真正有創(chuàng)新，感覺各種算法改進(jìn)都是在自己的設(shè)置下才有效，公平比較基本就拉倒了。有些領(lǐng)域還沒有benchmark，好幾年的論文仔細(xì)比較一下發(fā)現(xiàn)最新的論文可能還沒有五年前的好，有的所謂sota明顯是假的，后面的人又把這個假的sota當(dāng)作最強baseline，轉(zhuǎn)了好幾圈又賺回來了，個人感覺頂會魔改算法已經(jīng)出現(xiàn)瓶頸了，價值優(yōu)先，別看擺了一堆好看的公式和結(jié)果，好聽的intuition。

觀點1

作者：北歐的魚

鏈接：https://www.zhihu.com/question/541994477/answer/2570298754

現(xiàn)在的人工智能算法核心是以海量數(shù)據(jù)為基礎(chǔ)的，而實際上我們不可能擁有海量數(shù)據(jù)，某個表現(xiàn)優(yōu)秀性能超級好的算法只能局限于一部分所謂的海量數(shù)據(jù)和某個特殊的場景里，換一批數(shù)據(jù)或者換一個場景就不再是那個優(yōu)秀的算法了，實際上，現(xiàn)在人工智能的方向是錯誤的，那些頂尖的算法工程師和大學(xué)教授也都深知這樣的方向是錯誤的，但是已有開發(fā)的產(chǎn)品，投資，產(chǎn)品銷售等等限制了大家不能把這個這個事實說出來。現(xiàn)在所謂的人工智能，只能是人工，而沒有智能，頂多算以計算機和海量數(shù)據(jù)為基礎(chǔ)的統(tǒng)計學(xué)，離設(shè)想中的人工智能還差很遠(yuǎn)呢。

在現(xiàn)在的研究中，我對自己研究的東西表示了深切的懷疑，我不認(rèn)為這是一個正確的，有價值的方向。因此，即便我獲得了AI的博士學(xué)位，我也不想從事這個行業(yè)的研究了，因為它是錯誤的。

觀點2

作者：波爾德

鏈接：https://www.zhihu.com/question/541994477/answer/2569990436

這問題不是一兩天了。而且逐漸形成囚徒困境：之前的頂會已經(jīng)偷奸耍滑了，新的論文如果太老實就很難再中了。

很多頂會論文的價值可能還不如一些tech report。這里贊美一下timm的作者。

ResNet strikes back: An improved training procedure in timm

(https://arxiv.org/abs/2110.00476)

這篇“ResNet還是你大爺”向大家展示了，精調(diào)的ResNet-50能在ImageNet上干到80%以上的Top-1。而且timm是開源的。誰都可以復(fù)現(xiàn)一個。

雖然這篇文章很可能中不了任何頂會（審稿人：孔乙己，你又lack of novelty啦），我認(rèn)為它的價值非常高：

1. 給了以前所有水文一耳光：你們那些所謂的新結(jié)構(gòu)，insight，novelty，到底有多大用處？是不是在堆trick？消融實驗結(jié)果都是真的嗎？
2. 給了后來所有論文立了個新標(biāo)桿：都別特么不要臉，對比ResNet的時候還拿Kaiming原文的準(zhǔn)確度做基線。有種先打過我這個現(xiàn)代化的ResNet再說。

這一篇實驗報告幫后來的頂會擠出去多少水分，功德無量啊。依我看，community就應(yīng)該專門設(shè)個基金，直接獎錢給優(yōu)質(zhì)的tech report和復(fù)現(xiàn)論文的工作（特別是復(fù)現(xiàn)之前的消融實驗）。

各個細(xì)分領(lǐng)域，都應(yīng)該鼓勵這種擠水分的工作。比如我比較熟悉的點云領(lǐng)域，最近有了PointNeXt，直接make PointNet++ great again。還自帶開源框架，讓大家公平實驗，著實良心。

PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies

(https://arxiv.org/abs/2206.04670)

觀點3

作者：匿名用戶

鏈接：https://www.zhihu.com/question/541994477/answer/2563345702

你說的對，現(xiàn)在AI圈，其實概括來說整個學(xué)術(shù)圈大部分都是這樣，相當(dāng)一部分人在造假，絕大部分人在自娛自樂，就是你說的不公平比較，自己立個靶子自己打然后畫好圖講好故事發(fā)論文。

認(rèn)真做事的很少，推動科技進(jìn)步的很少。如果你不能接受或者適應(yīng)這個潛規(guī)則，自己也不是絕頂聰明或者有頂級團(tuán)隊，趁早退出學(xué)術(shù)圈免得浪費生命。

觀點4

作者：冷犬

鏈接：https://www.zhihu.com/question/541994477/answer/2563783936

幾千篇論文有10%是真正有創(chuàng)新的就很不錯了。有多少所謂的SOTA模型，其實很大程度上是靠的一些trick，靠的超參數(shù)。要是稍微調(diào)一下超參數(shù)，performance嗖嗖地就下來了。要是再放到真實業(yè)務(wù)場景，有些很復(fù)雜很精巧的模型，最后往往還比不過TextCNN這種好幾年前非常簡單的模型。

我很佩服那些仍在用嚴(yán)密的數(shù)學(xué)推導(dǎo)來設(shè)計AI算法的研究者，而深度學(xué)習(xí)的模型想要提高performance，本質(zhì)上還是得靠加大數(shù)據(jù)加大模型來煉丹。