視學算法報道

編輯：Joey 如願 David

【新智元導讀】圖靈獎得主Yann LeCun正式撰文回應老冤家Gary Marcus，表示「深度學習撞墻」這個說法，我不同意！

今天的主角，是一對AI界相愛相殺的老冤家：

Yann LeCun和Gary Marcus

在正式講述這一次的「新仇」之前，我們先來回顧一下，兩位大神的「舊恨」。

LeCun與Marcus之爭

Facebook首席人工智能科學家和紐約大學教授，2018年圖靈獎（Turing Award）得主楊立昆（Yann LeCun）在NOEMA雜志發(fā)表文章，回應此前Gary Marcus對AI與深度學習的評論。

此前，Marcus在雜志Nautilus中發(fā)文，稱深度學習已經「無法前進」

Marcus此人，屬于是看熱鬧的不嫌事大的主。

一有點風吹草動，就發(fā)言「AI已死」，掀起圈內軒然大波！

此前多次發(fā)文，稱GPT-3為「Nonsense」「bullshit」。

鐵證在此：

好家伙，竟說「深度學習撞墻了」，看到如此猖獗的評論，AI界的大牛LeCun可坐不住了，立馬發(fā)文回應！

并表示，你想對線我奉陪！

LeCun在文中把Marcus的觀點一一懟了個遍。

我們一起看一下大神是如何撰文回懟的吧~~

以下是LeCun的長文：

當代人工智能的主導技術是深度學習（DL）神經網絡（NN），這是一種大規(guī)模的自學習算法，擅長識別和利用數(shù)據中的模式。從一開始，批判者們就過早地認為，神經網絡已經撞上了「一堵不可逾越的墻」，然而每一次，它都被證明是一個暫時的障礙。

在20世紀60年代，NN還不能解出非線性函數(shù)。但這種情況并沒有持續(xù)很長時間，在20世紀80年代隨著反向傳播（Backpropagation）的出現(xiàn)得以改變，但是新的「不可逾越的墻」又出現(xiàn)了，即訓練系統(tǒng)十分困難。

在20世紀90年代，人類有研究出了簡化程序和標準化架構，這使得訓練更加可靠，但無論取得什么樣的成績，好像永遠都會存在一堵「不可逾越的墻」，這一次是缺乏訓練數(shù)據和計算的能力。

2012年，當最新的GPU可以在龐大的ImageNet數(shù)據集上進行訓練時，深度學習開始成為主流，輕松地擊敗了所有競爭對手。但隨后，就出現(xiàn)了質疑的聲音：人們發(fā)現(xiàn)了「一堵新墻」——深度學習訓練需要大量的手工標注的數(shù)據。

不過在過去的幾年里，這種質疑變得不再有意義，因為自監(jiān)督學習已經取得了相當不錯的效果，比如不需要標記數(shù)據的GPT-3。

現(xiàn)如今似乎不可逾越的障礙是「符號推理」，即以代數(shù)或邏輯的方式操作符號的能力。正如我們小時候學到的，解決數(shù)學問題需要根據嚴格的規(guī)則一步一步地處理符號(例如，解方程)。

《The Algebraic Mind》的作者、《Rebooting AI》的合著者Gary Marcus最近認為，DL無法取得進一步進展，是因為神經網絡難以處理這種符號操作。與之相對的是，許多DL研究人員相信DL已經在進行符號推理，并將繼續(xù)改進。

這場爭論的核心是符號在人工智能中的作用，存在著兩種不同看法：一種認為符號推理必須從一開始就被硬編碼，而另一種則認為機器可以通過經驗學習到符號推理的能力。因此，問題的關鍵在于我們應該如何理解人類智能，從而，又應該如何追求能夠具有人類水平的人工智能。

不同類型的人工智能

符號推理最重要的是精確:根據排列組合，符號可以有很多種不同的順序，比如「(3-2)-1和3-(2-1)」之間的差異很重要，所以如何以正確的順序執(zhí)行正確的符號推理是至關重要的。

Marcus認為，這種推理是認知的核心，對于為語言提供潛在的語法邏輯和為數(shù)學提供基本操作至關重要。他認為這可以延伸到我們更基本的能力，在這些能力的背后，存在著一個潛在的符號邏輯。

而我們所熟知的人工智能，它就是從研究這種推理開始的，通常被稱為「符號人工智能」。但是將人類的專業(yè)知識提煉成一組規(guī)則是非常具有挑戰(zhàn)性的，會消耗巨大的時間成本和人力成本。這就是所謂的「知識獲取瓶頸」。

雖然為數(shù)學或邏輯編寫規(guī)則很簡單，但世界本身是非黑即白的、是非常模糊的，事實證明，人類不可能編寫出控制每個模式的規(guī)則或者為每一個模糊的概念定義符號。

但是，科技發(fā)展到現(xiàn)在，造就出了神經網絡，而神經網絡最擅長的地方就是發(fā)現(xiàn)模式并接受模糊性。

神經網絡是一個相對簡單的方程，它學習一個函數(shù)，為輸入到系統(tǒng)的任何東西提供適當?shù)妮敵觥?/span>

例如，訓練一個二分類網絡，通過將大量的樣本數(shù)據（此處拿椅子作為例子）放入神經網絡，對其進行若干個epoch的訓練，最后實現(xiàn)讓該網絡成功推斷出新圖片是否是椅子。

說白了，這不僅是單純的關乎人工智能的問題，更本質的是，到底什么是智能以及人類的大腦又是如何工作的問題。”

這些神經網絡可以精確訓練，因為實現(xiàn)它的函數(shù)是可微的。換句話說，如果符號AI類似于符號邏輯中使用的離散token，那么神經網絡就是微積分的連續(xù)函數(shù)。

這允許通過微調參數(shù)來學習更好的表示，這意味著它可以更恰到好處的去擬合數(shù)據，而不出現(xiàn)欠擬合或者過擬合的問題。然而，當涉及到嚴格的規(guī)則和離散token時，這種流動性帶來了新的「一堵墻」:當我們求解一個方程時，我們通常想要確切的答案，而不是近似的答案。

這正是Symbolic AI的亮點所在，所以Marcus建議將二者簡單地結合起來:在DL模塊之上插入一個硬編碼的符號操作模塊。

這是很有吸引力的，因為這兩種方法可以很好地互補，所以看起來，具有不同工作方式的模塊“混合”，將最大化兩種方法的優(yōu)勢。

但爭論的焦點轉向了是否需要將符號操作內置到系統(tǒng)中，在系統(tǒng)中，符號和操作能力是由人類設計的，而該模塊不可微的——因此與DL不兼容。

傳奇的「符號推理」

這個假設是非常有具爭議性的。

傳統(tǒng)的神經網絡認為，我們不需要手工進行符號推理，而是可以學習符號推理，即用符號的例子訓練機器進行正確類型的推理，可以讓它學習抽象模式的完成。簡而言之，機器可以學習操作世界上的符號，盡管沒有內置的手工制作的符號和符號操作規(guī)則。

當代大型語言模型(如GPT-3和LaMDA)顯示了這種方法的潛力。他們操縱符號的能力令人印嘆為觀止，這些模型表現(xiàn)出了驚人的常識推理、組合能力、多語言能力、邏輯和數(shù)學能力，甚至有模仿死者的可怕能力。

但其實這樣做并不可靠。如果你讓DALL-E制作一個羅馬雕塑，一個留著胡子、戴著眼鏡、穿著熱帶襯衫的哲學家，那它會很出色。但是如果你讓它畫一只戴著粉色玩具的小獵犬，去追逐一只松鼠，有時你會得到一只戴著粉色小獵犬或松鼠。

當它可以將所有屬性分配給一個對象時，它做得很好，但當有多個對象和多個屬性時，它就會處于懵逼狀態(tài)。許多研究人員的態(tài)度是，這是DL在通往更像人類的智能道路上的「一堵墻」。

那么符號化操作到底是需要硬編碼?還是可學習的呢?

這并不是Marcus的理解。

他假設符號推理是全有或全無的——因為DALL-E沒有符號和邏輯規(guī)則作為其操作的基礎，它實際上不是用符號進行推理。因此，大型語言模型的無數(shù)次失敗表明它們不是真正的推理，而只是沒有感情的機械模仿。

對Marcus來說，爬上一棵足夠大的樹是不可能到達月球的。因此，他認為目前的DL語言模型并不比Nim Chimpsky（一只會使用美國手語的雄性黑猩猩）基更接近真正的語言。DALL-E的問題不是缺乏訓練。它們只是系統(tǒng)沒有掌握句子潛在的邏輯結構，因此不能正確地掌握不同部分應該如何連接成一個整體。

相比之下，Geoffrey Hinton等人認為神經網絡不需要硬編碼符號和代數(shù)推理既可以成功地操縱符號。DL的目標不是機器內部的符號操作，而是學會從世界上的系統(tǒng)中產生正確的符號。

拒絕將兩種模式混合并非草率的，而是基于一個人是否認為符號推理可以學習的哲學性差異。

人類思想的底層邏輯

Marcus對DL的批評源于認知科學中的一場相關爭論，即智能是如何運作的，以及是什么讓人類獨一無二。他的觀點與心理學中一個著名的「本土主義」學派一致，該學派認為認知的許多關鍵特征是天生的——實際上，我們在很大程度上生來就知道世界是如何運轉的。

這種與生俱來的感知的核心是符號操作的能力（但是這究竟是在整個自然中發(fā)現(xiàn)的，還是人類特有的，尚且沒有結論)。對Marcus來說，這種符號操作能力奠定了常識的許多基本特征：遵循規(guī)則、抽象、因果推理、重新識別細節(jié)、泛化和許多其他能力。

簡而言之，我們對世界的很多理解都是自然賦予的，學習就是充實細節(jié)。

還有另一種經驗主義觀點打破了上述想法：符號操縱在自然界中是罕見的，主要是我們的古人類祖先在過去200萬年中逐漸獲得的一種學習交流能力。

從這個觀點來看，主要的認知能力是非符號學習能力，與提高生存能力有關，比如快速識別獵物，預測它們可能的行動，以及發(fā)展熟練的反應。

這一觀點認為，絕大多數(shù)復雜的認知能力都是通過一般的、自監(jiān)督的學習能力獲得的。它還假設，我們的大部分復雜認知能力不會依賴于符號操作。相反，他們通過模擬各種場景并預測最佳結果。

這種經驗主義的觀點認為符號和符號操縱只是另一種習得的能力，是隨著人類越來越依賴合作行為來獲得成功而獲得的能力。這將符號視為我們用來協(xié)調團隊間合作的發(fā)明——比如文字，但也包括地圖、標志性描述、儀式甚至社會角色。

這兩種觀點之間的差異非常明顯。對于本土主義傳統(tǒng)來說，符號和符號操縱原本就在頭腦中，對單詞和數(shù)字的使用也源自這種原始能力。這一觀點很有吸引力地解釋了那些源自進化適應的能力(盡管對符號操縱如何進化或為什么進化的解釋一直存在爭議)。

從經驗主義傳統(tǒng)角度看，符號和符號推理是一項有用的交流發(fā)明，它源于一般的學習能力和我們復雜的社會世界。這將內部計算和內心獨白等發(fā)生在我們頭腦中的象征性事物，視為源自于數(shù)學和語言使用的外部實踐。

人工智能和認知科學領域是緊密交織的，所以這些爭斗在這里重現(xiàn)也就不足為奇了。既然人工智能中任一觀點的成功都將部分(但僅部分)證明認知科學中的一種或另一種方法是正確的，那么這些辯論的激烈程度也就不足為奇了。

問題的關鍵不僅在于如何正確地解決當代人工智能領域的問題，還在于解決智能是什么以及大腦如何工作。

對AI，是押注，還是做空？

為什么「深度學習撞墻」的說法這樣具有挑釁性？

如果Marcus是對的，那深度學習將永遠無法實現(xiàn)與人類相似的AI，無論它提出了多少新的架構，也不管它投入了多少計算能力。

為神經網絡繼續(xù)添加更多的層只會讓人更加困惑，因為真正的符號操縱需要一個天生的符號操縱者。由于這種符號化操作是幾種常識能力的基礎，所以DL只會對任何東西都「不求甚解」。

相比之下，如果DL的提倡者和經驗主義者是正確的，那么令人困惑的是插入一個用于符號操縱的模塊的想法。

在這種情況下，深度學習系統(tǒng)已經在進行符號推理，并將繼續(xù)改進，因為它們通過更多的多模態(tài)自監(jiān)督學習、越來越有用的預測世界模型以及用于模擬和評估結果的工作內存的擴展來更好的滿足約束。

引入符號操作模塊不會創(chuàng)造出更像人類的AI，相反會迫使所有的「推理」操作通過一個不必要的瓶頸，這將使我們更加遠離「類人智能」。這可能會切斷深度學習最激動人心的一個方面:它能夠提出超過人類的完美解決方案。

話說回來，這些都不能證明那些愚蠢的炒作是正確的：由于當前的系統(tǒng)沒有意識，所以它們不能理解我們，強化學習是不夠的，你不能僅僅通過擴大規(guī)模來構建類人智能。但所有這些問題都是主要爭論的「擦邊問題」：符號操作到底是需要硬編碼?還是可學習?

這是在呼吁停止研究混合模型(即具有不可微符號操縱器的模型)嗎?當然不是。人們應該選擇有效的方法。

但是，研究人員自20世紀80年代以來一直在研究混合模型，不過它們還沒有被證明是一種有效的方式，在許多情況下，有可能甚至遠不如神經網絡。

更通俗地說，人們應該懷疑深度學習是否達到了上限。

參考資料：

https://www.noemamag.com/what-ai-can-tell-us-about-intelligence/

點個在看 paper不斷！

深度學習撞墻？LeCun與Marcus到底誰捅了馬蜂窩

視學算法報道

【新智元導讀】圖靈獎得主Yann LeCun正式撰文回應老冤家Gary Marcus，表示「深度學習撞墻」這個說法，我不同意！

LeCun與Marcus之爭

不同類型的人工智能

傳奇的「符號推理」