Hinton最新訪談：GPT-3效果不錯，但和人腦比參數(shù)量仍少1000倍

【新智元導(dǎo)讀】三十年前，Hinton對于神經(jīng)網(wǎng)絡(luò)能夠取得大發(fā)展的信念是非主流的，而現(xiàn)在恐怕很難找到任何人反對。近期 Hinton 在麻省理工技術(shù)評論的年度 EmTech MIT 會議上，討論了這個領(lǐng)域的現(xiàn)狀以及他認(rèn)為下一步應(yīng)該走向何方。

現(xiàn)代的人工智能革命開始于一場競賽：2012年，一年一度的 ImageNet 競賽舉辦至第三年，競賽要求團(tuán)隊建立能夠識別1000個物體的計算機(jī)視覺系統(tǒng)，從動物到景觀再到人。

? ? ? ?

在最初的兩年里，最好的團(tuán)隊甚至沒有達(dá)到75% 的準(zhǔn)確率。但在第三年中，一個由三名研究人員組成的團(tuán)，一名教授和他的學(xué)生突然突破了這個上限。他們以驚人的10.8個百分點(diǎn)贏得了比賽，而那個教授就是 Geoffrey Hinton，他們使用的技術(shù)叫做深度學(xué)習(xí)。

Hinton 實際上從20世紀(jì)80年代就開始研究深度學(xué)習(xí)，但是由于缺乏數(shù)據(jù)和計算能力，它的有效性受到了限制，但他對這項技術(shù)的堅定信念最終帶來了巨大的回報。

在 ImageNet 競賽的第四年，幾乎每個團(tuán)隊都在使用深度學(xué)習(xí)，并取得了奇跡般的準(zhǔn)確性增益。很快，深度學(xué)習(xí)就被應(yīng)用到圖像識別以外的任務(wù)中，并且在很多行業(yè)中得到應(yīng)用。

? ? ??

去年，因為他在該領(lǐng)域的奠基性貢獻(xiàn)，Hinton 與 Yann LeCun 和 Yoshua Bengio 一起獲得了圖靈獎。

10月20日，在麻省理工技術(shù)評論的年度 EmTech MIT 會議上，他討論了這個領(lǐng)域的現(xiàn)狀以及他認(rèn)為下一步應(yīng)該走向何方。

以下是訪問 Hinton 的精華內(nèi)容：

你認(rèn)為深度學(xué)習(xí)足以復(fù)制所有的人類智慧，是什么讓你如此肯定？

我確實相信深度學(xué)習(xí)能夠做到一切，但是我確實認(rèn)為必須有一些概念上的突破。例如，在2017年 Ashish Vaswani 等人引入了 Transformers，它派生出代表單詞意義的非常好使用的向量，這是一個概念上的突破，現(xiàn)在幾乎所有最好的自然語言處理模型都使用它，我們需要更多這樣的突破。

? ? ? ?

如果我們有了這些突破，我們是否能夠通過深度學(xué)習(xí)技術(shù)接近人類的智力？

是的。尤其是突破性的進(jìn)展可以讓大量的向量實現(xiàn)諸如推理的事情，但是我們也需要大幅度的擴(kuò)大參數(shù)規(guī)模。人類的大腦有大約100萬億個參數(shù)，或者說突觸，而我們現(xiàn)在所說的一個真正的大模型，像 GPT-3，有1750億。它比大腦小一千倍。GPT-3現(xiàn)在可以產(chǎn)生看似合理的文本，但與大腦相比仍然很小。

你說的規(guī)模，是指更大的神經(jīng)網(wǎng)絡(luò)，更多的數(shù)據(jù)，還是兩者兼而有之？

兩者都有。在計算機(jī)科學(xué)和人類之間存在著某種差異。與感官接收到的數(shù)據(jù)量相比，人類大腦中有更大量的參數(shù)，而神經(jīng)網(wǎng)絡(luò)也出人意料地善于處理數(shù)量相當(dāng)少的數(shù)據(jù)，但人類可以做到更好。

? ? ?

人工智能領(lǐng)域的許多人認(rèn)為，常識是下一個需要解決的重大問題。你同意嗎？

我同意這是非常重要的事情之一。我也認(rèn)為運(yùn)動控制（motor control）是非常重要的，深層神經(jīng)網(wǎng)絡(luò)現(xiàn)在在這方面做得越來越好。特別是最近在谷歌的一些工作表明，你可以做精細(xì)的運(yùn)動控制，并結(jié)合語言理解，這樣你就可以打開一個抽屜拿出一個物品，系統(tǒng)告訴你正在做什么。

人工智能領(lǐng)域一直把人類大腦作為靈感的最大來源，不同的人工智能方法源于認(rèn)知科學(xué)的不同理論。你是否相信大腦實際上建立了外部世界的表征來理解它，或者這僅僅是一種有用的思考方式？

很久以前，在認(rèn)知科學(xué)領(lǐng)域有兩個學(xué)派之間的爭論。其中一個是由 Stephen Kosslyn 領(lǐng)導(dǎo)的，他相信當(dāng)你在大腦中操縱視覺圖像時，你所擁有的是一組像素，而你在移動它們。

其他學(xué)派的思想則更符合傳統(tǒng)的人工智能，他們認(rèn)為視覺圖像在大腦中是層次化、結(jié)構(gòu)化的表示。你的頭腦中有一個表征的結(jié)構(gòu)，這才是大腦在操縱的東西。

而我認(rèn)為他們都犯了同樣的錯誤。Kosslyn 認(rèn)為我們操縱了像素，因為外部圖像是由像素構(gòu)成的，這是我們理解的一種表示方式。

而符號學(xué)派認(rèn)為我們操縱了符號，因為我們也用符號來表示事物，這是我們理解的一種表示。我認(rèn)為這同樣是錯誤的，大腦內(nèi)部其實是這些神經(jīng)活動的巨大向量構(gòu)成的理解方式。

? ?

有些人仍然相信符號表示是人工智能的方法之一，您同意嗎？

我有像赫克托 · 萊維斯克這樣的好朋友，他真的相信符號表征的方法，并且在這方面做了很大的工作。不過我不同意他的觀點(diǎn)，但是這種符號學(xué)的方法是一種完全合理的嘗試。

但我的猜想是，最終我們會意識到符號只存在于外部世界，本質(zhì)是我們對向量進(jìn)行各種內(nèi)部操作。

對于人工智能的未來，你認(rèn)為你最非主流的觀點(diǎn)是什么？

我曾經(jīng)有一些非主流的觀點(diǎn)，而五年后，它們成了主流。我在20世紀(jì)80年代的大多數(shù)非主流觀點(diǎn)現(xiàn)在已經(jīng)被廣泛接受，所以現(xiàn)在很難找到不同意這些觀點(diǎn)的人。所以，我現(xiàn)在已經(jīng)沒有多少非主流觀點(diǎn)了。

參考鏈接：

https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/