如果計算機給了你所有正確的答案，是否意味著它和你一樣了解世界？

?

這是人工智能科學(xué)家?guī)资陙硪恢睜幷摬恍莸闹i題。隨著深度神經(jīng)網(wǎng)絡(luò)在與語言相關(guān)的任務(wù)中取得了令人矚目的進步，關(guān)于理解、意識和真正智能的討論重新成為科學(xué)家們關(guān)注的熱點。

?

許多科學(xué)家認為，深度學(xué)習(xí)模型只是大型統(tǒng)計機器，以復(fù)雜的方式將輸入映射到輸出。深度神經(jīng)網(wǎng)絡(luò)可能能夠生成冗長的連貫文本，但并不能像人類那樣理解抽象和具體的概念。

?

也有人不同意這種觀點。

比如Google Research 的人工智能科學(xué)家 Blaise Aguera y Arcas 認為，大型語言模型可以教會我們很多東西，「比如自然語言、理解力、智力、社會性和人格。」

?

大型語言模型厲害在哪？

由于幾個因素的共同影響，大型語言模型近年來越來越受歡迎：

?

1-海量數(shù)據(jù)：有大量的在線文本，例如維基百科、新聞網(wǎng)站和社交媒體，可用于訓(xùn)練語言任務(wù)的深度學(xué)習(xí)模型。

?

2-大量的算力資源：大型語言模型包含數(shù)千億個參數(shù)，需要昂貴的計算資源進行訓(xùn)練。隨著谷歌、微軟和 Facebook 等公司已經(jīng)在深度學(xué)習(xí)和大語言模型上投入數(shù)十億美元，用于該領(lǐng)域的研發(fā)。

?

3-深度學(xué)習(xí)算法的進步：Transformer 是一種于 2017 年推出的深度學(xué)習(xí)架構(gòu)，一直是推動自然語言處理和生成 (NLP/NLG)領(lǐng)域進步的核心動力。

?

Transformer 的一大優(yōu)勢是可以通過無監(jiān)督學(xué)習(xí)對非常多的未標記文本語料庫進行訓(xùn)練。

基本上，Transformer 所做的是，將一串字母（或其他類型的數(shù)據(jù)）作為輸入，并預(yù)測數(shù)據(jù)序列中的下一個元素。

它可能在問題后接著給出答案、標題后接著給出文章，或者在用戶聊天、對話中給出提示。

?

眾所周知，循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 和長短期記憶網(wǎng)絡(luò) (LSTM) 是 Transformer 的前身，但它們在保持長序列的連貫性方面的表現(xiàn)非常糟糕。

但是，基于 Transformer 的語言模型（例如 GPT-3）在長輸出中表現(xiàn)出令人印象深刻的高性能，而且不太容易出現(xiàn)其他類型的深度學(xué)習(xí)架構(gòu)所犯的邏輯錯誤。

?

Aguera y Arcas 通過與 LaMDA（一款谷歌 Meena 聊天機器人的改進版本）的對話探索了大型語言模型的潛力。

?

各種例子表明，LaMDA 似乎處理抽象主題，例如社會關(guān)系和需要直觀了解世界如何運作的問題。

?

例如，如果你告訴它「我把保齡球掉在了一個瓶子上，它破了」，模型在隨后的交流中會知道，這句話是說「保齡球打破了瓶子」。語言模型會將“it”與短語中的第二個名詞相關(guān)聯(lián)。

?

但隨后 Aguera y Arcas 對句子進行了微妙的更改：「我把小提琴掉在保齡球上，它壞了」，這一次，LaMDA 模型則將“它”與小提琴聯(lián)系在一起，和保齡球相比，小提琴更輕、更脆弱。

?

更多實例表明，深度學(xué)習(xí)模型可以參與涉及想象的對話，比如它「最喜歡的島嶼是什么」，即使它根本沒有旅行過，沒有上過任何島嶼。這就引出了下一個問題：

?

AI模型需要感官體驗嗎？

在發(fā)表在Medium上的這篇長文中，Aguera y Arcas還駁斥了一些反對在大型語言模型中理解的關(guān)鍵論點。

?

其中之一就是「模型需要具體化」。

如果一個AI系統(tǒng)沒有實體存在，也不能像人類一樣在多模態(tài)系統(tǒng)中感知世界，那么它對人類語言的理解是不完整的。

?

早在孩子學(xué)會說話之前，他們就已經(jīng)掌握了復(fù)雜的感知技能。他們會檢測人、臉、表情和物體。他們學(xué)習(xí)空間、時間和直覺物理學(xué)，學(xué)會觸摸和感受物體、聞、聽，并在不同的感官輸入之間建立聯(lián)系。

?

在學(xué)會說話之前，他們就可以思考另一個人或動物的經(jīng)歷。而語言正是建立在我們所有這些與生俱來的知識和豐富的感官體驗之上。

?

但Aguera y Arcas 認為，「因為學(xué)習(xí)對于大腦的工作非常重要，所以我們可以在廣泛的范圍內(nèi)學(xué)會使用我們需要的任何東西。我們的感官也是如此?！苟谶@個過程中，「真實感」并不是必須的要素。

?

他認為，雖然 LaMDA 既沒有鼻子，也沒有先驗最喜歡的氣味，但它確實有自己豐富的聯(lián)想，就像盲人海倫·凱勒展現(xiàn)出的顏色感一樣，這種感覺可以基于語言，根據(jù)他人的經(jīng)驗得到。

?

大型語言模型的關(guān)鍵：序列學(xué)習(xí)

在文中，Aguera y Arcas 認為序列學(xué)習(xí)是與大大腦動物（尤其是人類）相關(guān)的所有復(fù)雜能力的關(guān)鍵，包括推理、社會學(xué)習(xí)、心理理論和意識。

?

「復(fù)雜的序列學(xué)習(xí)可能是解開所有其他問題的關(guān)鍵。這可以我們在大型語言模型中看到的令人驚訝的能力——這些模型只不過是復(fù)雜的序列學(xué)習(xí)者?！?/span>

?

而注意力已被證明是在神經(jīng)網(wǎng)絡(luò)中實現(xiàn)復(fù)雜序列學(xué)習(xí)的關(guān)鍵機制——正如介紹 Transformer 模型的論文標題所暗示的那樣，「Attention is all you need」

?

這是一個有趣的論點，因為序列學(xué)習(xí)實際上是具有高階大腦的生物體的迷人能力之一。這一點在人類身上最為明顯，我們可以學(xué)習(xí)可以產(chǎn)生長期回報的超長的動作序列。

?

他對大型語言模型中的序列學(xué)習(xí)的觀點也是正確的。這些神經(jīng)網(wǎng)絡(luò)的核心是將一個序列映射到另一個序列，網(wǎng)絡(luò)越大，可以讀取和生成的序列越長。

?

Transformers 背后的關(guān)鍵創(chuàng)新是注意力機制，它幫助模型專注于其輸入和輸出序列中最重要的部分。這些注意力機制幫助 Transformer 處理非常大的序列，并且比它們的前輩需要更少的內(nèi)存。

?

反方觀點

不過，對于這個問題，也有人持不同的立場。

?

圣達菲研究所教授梅蘭妮·米切爾 (Melanie Mitchell) 就在 Twitter 上發(fā)帖，對Aguera y Arcas 的觀點進行了很有意思的反駁。

?

雖然 Mitchell 同意機器有朝一日可以理解語言，但目前的深度學(xué)習(xí)模型，如 LaMDA 和 GPT-3還遠未達到這個水平。

?

最近，她在 QuantaMagazine 上寫了一篇文章，探討了衡量人工智能理解的挑戰(zhàn)。

?

「在我看來，問題的關(guān)鍵在于理解語言。需要理解世界，而只接觸語言的機器無法獲得這樣的理解?！姑浊袪枌懙?。

?

米切爾認為，當人類處理語言時，會使用大量沒有明確記錄在文本中的知識。因此，如果不具備這種基礎(chǔ)知識，AI就無法理解我們的語言，試圖僅通過文本來理解語言是不可能真正成功的。

?

米切爾還認為，與 Aguera y Arcas 的論點相反，海倫·凱勒的例子恰恰證明，感官的實際體驗對語言理解很重要。

?

「在我看來，海倫·凱勒的例子恰恰顯示了她對顏色的理解是如何具體化的。她將顏色概念映射到了氣味、觸覺、溫度等概念上?！姑浊袪枌懙馈?/span>

?

至于注意力，米切爾表示，Aguera y Acras 的文章中提到的神經(jīng)網(wǎng)絡(luò)中的「注意力」與我們所了解的人類認知中的注意力有很大區(qū)別。

?

但 Mitchell 也表示， Aguera y Acras 的文章是「發(fā)人深省」的，尤其是現(xiàn)在，谷歌、微軟這樣的公司越來越多地將大型語言模型部署在我們的日常生活中，更顯出這個問題的重要性。