圖靈獎得主LeCun：不需要監(jiān)督的AI才是未來！

?Datawhale干貨?

作者：ELIZA STRICKLAND，編譯：機器之心

AI 的前進方向是通過更好的數(shù)據(jù)標簽來改善監(jiān)督學習，還是大力發(fā)展自監(jiān)督 / 無監(jiān)督學習？在 IEEE Spectrum 的最近的一次訪談中，圖靈獎得主、Meta 首席 AI 科學家 Yann LeCun 表達了自己的看法。

Yann LeCun 在演講時曾經(jīng)放過一張法國大革命時期的著名畫作《自由引導人民》，并配文：「這場革命將是無監(jiān)督的（THE REVOLUTION WILL NOT BE SUPERVISED）」。

LeCun 相信，當 AI 系統(tǒng)不再需要監(jiān)督學習時，下一次 AI 革命就會到來。屆時，這些系統(tǒng)將不再依賴于精心標注的數(shù)據(jù)集。他表示，AI 系統(tǒng)需要在學習時盡可能少得從人類這里獲取幫助。

在最近接受 IEEE Spectrum 的訪談時，他談到了自監(jiān)督學習如何能夠創(chuàng)造具備常識的強大人工智能系統(tǒng)。同時，他也對最近的一些社區(qū)言論發(fā)表了自己的看法，比如吳恩達對「以數(shù)據(jù)為中心的 AI」的擁護、 OpenAI 首席科學家 Ilya Sutskever 對于當前 AI 可能具備意識的推測等。

以下是訪談內(nèi)容：

Q：您曾經(jīng)說過，監(jiān)督學習的限制有時會被誤以為是深度學習自身的局限性所致，那么哪些限制可以通過自監(jiān)督學習來克服

A：監(jiān)督學習非常適用于邊界清晰的領域，在這類領域中，你可以收集大量標記數(shù)據(jù)，而且模型在部署期間看到的輸入類型和訓練時使用的輸入類型差別不大。收集大量不帶偏見的標記數(shù)據(jù)是非常困難的。這里的偏見不一定是指社會偏見，可以理解為系統(tǒng)不該使用的數(shù)據(jù)之間的相關性。舉個例子，當你在訓練一個識別牛的系統(tǒng)時，所有的樣本都是草地上的牛，那么系統(tǒng)就會將草作為識別牛的上下文線索。如此一來，如果你給它一張沙灘上的牛的照片，它可能就認不出來了。

自監(jiān)督學習（SSL）可以讓系統(tǒng)以獨立于任務的方式學習輸入的良好表示。因為 SSL 訓練使用的是未標注的數(shù)據(jù)，所以我們可以使用非常大的訓練集，并讓系統(tǒng)學習更加穩(wěn)健、完整的輸入表示。然后，再利用少量的標注數(shù)據(jù)，它就可以在監(jiān)督任務上達到良好的性能。這大大減少了純監(jiān)督學習所需的標記數(shù)據(jù)量，并使系統(tǒng)更加穩(wěn)健、更能夠處理與標注訓練樣本不同的輸入。有時，它還會降低系統(tǒng)對數(shù)據(jù)偏見的敏感性。

在實用 AI 系統(tǒng)這一方向，我們正朝著更大的架構邁進，即用 SSL 在大量未標注數(shù)據(jù)上進行預訓練。這些系統(tǒng)可以用于各種各樣的任務，比如用一個神經(jīng)網(wǎng)絡處理數(shù)百種語言的翻譯，構造多語言語音識別系統(tǒng)等。這些系統(tǒng)可以處理數(shù)據(jù)難以獲取的語言。

Q：其他領軍人物表示，AI 的前進方向是通過更好的數(shù)據(jù)標簽來改善監(jiān)督學習。吳恩達最近談到了以數(shù)據(jù)為中心的 AI，英偉達的 Rev Lebaredian 談到了帶有所有標簽的合成數(shù)據(jù)。在 AI 的發(fā)展路徑方面，業(yè)界是否存在分歧？

A：我不認為存在思想上的分歧。在 NLP 中，SSL 預訓練是非常標準的實踐。它在語音識別方面表現(xiàn)出了卓越的性能提升，在視覺方面也變得越來越有用。然而，「經(jīng)典的」監(jiān)督學習仍有許多未經(jīng)探索的應用，因此只要有可能，人們當然應該在監(jiān)督學習中使用合成數(shù)據(jù)。即便如此，英偉達也在積極開發(fā) SSL。

早在零幾年的時候，Geoff Hinton、Yoshua Bengio 和我就確信，訓練更大、更深的神經(jīng)網(wǎng)絡的唯一方法就是通過自監(jiān)督（或無監(jiān)督）學習。也是從這時起，吳恩達開始對深度學習感興趣。他當時的工作也集中在我們現(xiàn)在稱之為自監(jiān)督的方法上。

Q：如何基于自監(jiān)督學習構建具有常識的人工智能系統(tǒng)？常識能讓我們在構造人類智能水平的智能上走多遠？

A：我認為，一旦我們弄清楚如何讓機器像人類和動物一樣學習世界是如何運作的，人工智能必將會取得重大進展。因此人工智能要學會觀察世界，并在其中采取行動。人類了解世界是如何運作的，是因為人類已經(jīng)了解了世界的內(nèi)部模型，使得我們能夠填補缺失的信息，預測將要發(fā)生的事情，并預測我們行動的影響。我們的世界模型使我們能夠感知、解釋、推理、提前規(guī)劃和行動。

那么問題來了：機器如何學習世界模型？

這可以分解為兩個問題：

• 第一，我們應該使用什么樣的學習范式來訓練世界模型？

• 第二，世界模型應該使用什么樣的架構？

對于第一個問題，我的答案是自監(jiān)督學習（SSL）。舉個例子，讓機器觀看視頻并暫停視頻，然后讓機器學習視頻中接下來發(fā)生事情的表征。在這個過程中，機器可以學習大量關于世界如何運作的背景知識，這可能類似于嬰兒和動物在生命最初的幾周或幾個月內(nèi)的學習方式。

對于第二個問題，我的答案是一種新型的深度宏架構（macro-architecture），我稱之為分層聯(lián)合嵌入預測架構（H-JEPA）。這里很難詳細解釋，以上述預測視頻為例，JEPA 不是預測視頻 clip 的未來幀，而是學習視頻 clip 的抽象表征和未來，以便能很容易地基于對前者的理解預測后者。這可以通過使用非對比 SSL 方法的一些最新進展來實現(xiàn)，特別是我們最近提出的一種稱為 VICReg 的方法。

Q：幾周前，您回復了 OpenAI 首席科學家 Ilya Sutskever 的一條推文。他推測當今的大型神經(jīng)網(wǎng)絡可能存在一些意識，隨后您直接否定了這種觀點。那么在您看來，構建一個有意識的神經(jīng)網(wǎng)絡需要什么？有意識的系統(tǒng)會是什么樣子？

A：首先，意識是一個非常模糊的概念。一些哲學家、神經(jīng)科學家和認知科學家認為這只是一種錯覺（illusion），我非常認同這種觀點。

我有一個關于意識錯覺的猜想。我的假設是：我們的腦前額葉皮質中有一個世界模型「引擎」。該世界模型可根據(jù)實際面對的情況進行配置。例如帆船的舵手用世界模型模擬了船周圍的空氣和水流；再比如我們要建一張木桌，世界模型就會想象切割木頭和組裝它們的結果...... 我們的大腦中需要一個模塊，我稱之為配置器（configurator），它為我們設定目標和子目標，配置我們的世界模型以模擬當下實際的情況，并啟動我們的感知系統(tǒng)以提取相關信息并丟棄其余信息。監(jiān)督配置器的存在可能是讓我們產(chǎn)生意識錯覺的原因。但有趣的是：我們需要這個配置器，因為我們只有一個世界模型引擎。如果我們的大腦足夠大，可以容納許多世界模型，我們就不需要意識。所以，從這個意義上說，意識是我們大腦存在局限的結果！

Q：在元宇宙中，自監(jiān)督學習將扮演一個什么樣的角色？

A：元宇宙中有很多深度學習的具體應用，例如用于 VR 和 AR 的運動跟蹤、捕捉和合成身體運動及面部表情等。

人工智能驅動的新型創(chuàng)新工具提供了廣闊的創(chuàng)造空間，讓每個人都能在元宇宙和現(xiàn)實世界中創(chuàng)造新事物。但元宇宙也有一個「AI-complete」應用程序：虛擬 AI 助手。我們應該擁有虛擬 AI 助手，他們可以在日常生活中為我們提供幫助，回答我們的任何問題，并幫助我們處理日常的海量信息。為此，人工智能系統(tǒng)需要對世界（包括物理世界和元宇宙的虛擬世界）如何運作有一定的了解，有一定的推理和規(guī)劃能力，并掌握一定程度的常識。簡而言之，我們需要弄清楚如何構建可以像人類一樣學習的自主人工智能系統(tǒng)。這需要時間，而 Meta 已為此準備良久。

原文鏈接：https://spectrum.ieee.org/yann-lecun-ai

整理不易，點贊三連↓