來(lái)源：Google
編輯：好困 LRS
【新智元導(dǎo)讀】通用人工智能（AGI）的目標(biāo)是訓(xùn)練的模型具有和人類(lèi)相當(dāng)?shù)闹腔?，卻惹得無(wú)數(shù)研究人員競(jìng)折腰。最近Jeff Dean發(fā)文，稱(chēng)他們正在研究下一代AI框架Pathways，目標(biāo)直指AGI。這次憑借谷歌的「鈔」能力，Jeff Dean能否再掀起一場(chǎng)AI革命？
前腳專(zhuān)攻通用人工智能（AGI）的DeepMind想脫離谷歌，后腳谷歌就提出了一種潛在的AGI架構(gòu)。前段時(shí)間Jeff Dean在TED表示他們正在開(kāi)發(fā)一種超級(jí)智能的AI模型，目前只剩下道德相關(guān)的問(wèn)題沒(méi)有解決。近日，Jeff Dean則親自撰文，介紹了這個(gè)全新的機(jī)器學(xué)習(xí)架構(gòu)——Pathways。回顧過(guò)去20年計(jì)算機(jī)科學(xué)的研究中，或許沒(méi)有哪個(gè)領(lǐng)域比AI 研究取得的進(jìn)展更快。在機(jī)器學(xué)習(xí)技術(shù)還沒(méi)有那么驚艷的的2001， 谷歌的20號(hào)員工Jeff Dean就已經(jīng)開(kāi)始訓(xùn)練模型對(duì)谷歌搜索的錯(cuò)誤查詢進(jìn)行糾正。在后續(xù)的20年中，谷歌始終秉承AI first，為業(yè)界貢獻(xiàn)了無(wú)數(shù)經(jīng)典模型，word2vec，Transformer，BERT都極大促進(jìn)了AI的發(fā)展。Jeff Dean也成為了美國(guó)工程院院士，創(chuàng)建了Google Brain、開(kāi)發(fā)谷歌機(jī)器學(xué)習(xí)開(kāi)源框架TensorFlow，還是谷歌廣告系統(tǒng)、谷歌搜索系統(tǒng)等技術(shù)的重要?jiǎng)?chuàng)始人之一，可以說(shuō)是谷歌的技術(shù)奠基人。但機(jī)器學(xué)習(xí)模型始終還處在一個(gè)固定的開(kāi)發(fā)模式中，對(duì)于每個(gè)任務(wù)開(kāi)發(fā)一個(gè)特定的模型，創(chuàng)建benchmark 來(lái)互相比拼，最后活下來(lái)的模型成為新sota。這種研究方式雖然可以促進(jìn)模型的研究，提升特定任務(wù)的性能，但離通用人工智能似乎已經(jīng)越來(lái)越遠(yuǎn)了。當(dāng)一個(gè)任務(wù)需要變換輸入數(shù)據(jù)時(shí)，現(xiàn)有的模型通常需要重新收集、標(biāo)注數(shù)據(jù)，重新研究模型的架構(gòu)，對(duì)于復(fù)雜環(huán)境的應(yīng)變能力可以說(shuō)是十分拉胯了。Jeff Dean將這個(gè)新的模型架構(gòu)Pathways，稱(chēng)為「下一代AI 架構(gòu)」——只訓(xùn)練一個(gè)模型，就可以處理數(shù)以萬(wàn)計(jì)的任務(wù)類(lèi)型。簡(jiǎn)單來(lái)說(shuō)就是，Pathways能夠讓AI模型像人類(lèi)一樣思考。問(wèn)題1：傳統(tǒng)AI模型訓(xùn)練后只能完成一個(gè)任務(wù)。Pathways：訓(xùn)練一個(gè)模型可以做千上萬(wàn)個(gè)任務(wù)。通常來(lái)說(shuō)，每當(dāng)處理一個(gè)新的問(wèn)題時(shí)都需要訓(xùn)練一個(gè)新的AI模型，而這些數(shù)學(xué)模型的參數(shù)實(shí)際上是用隨機(jī)的權(quán)重進(jìn)行初始化，然后使用標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練的。但人類(lèi)每次學(xué)習(xí)新技能的時(shí)候并不是這樣。這就好像說(shuō)，你在學(xué)習(xí)跳繩時(shí)，又要忘記曾經(jīng)所學(xué)過(guò)的一切技能，包括如何平衡、如何跳躍、如何協(xié)調(diào)雙手的運(yùn)動(dòng)，直接從「爬」開(kāi)始學(xué)習(xí)跳繩。這或多或少就是如今訓(xùn)練大多數(shù)機(jī)器學(xué)習(xí)模型的方式：從無(wú)到有地訓(xùn)練每一個(gè)新的模型來(lái)做一件事，而且只做一件事（或者把一個(gè)通用模型用于一個(gè)特定的任務(wù)），而不是擴(kuò)展現(xiàn)有的模型來(lái)學(xué)習(xí)新的任務(wù)。直接導(dǎo)致的結(jié)果就是，數(shù)以千計(jì)的任務(wù)帶來(lái)了成千上萬(wàn)的模型。這不僅讓學(xué)習(xí)每個(gè)新任務(wù)的時(shí)間更長(zhǎng)，而且還需要更多的數(shù)據(jù)來(lái)學(xué)習(xí)每個(gè)新任務(wù)，因?yàn)槊看螌W(xué)習(xí)都需要從零開(kāi)始學(xué)習(xí)關(guān)于世界的一切以及該任務(wù)的具體細(xì)節(jié)。Google則希望訓(xùn)練一個(gè)模型，不僅可以處理許多獨(dú)立的任務(wù)，而且可以借鑒和結(jié)合其現(xiàn)有的技能，從而更快、更有效地學(xué)習(xí)新任務(wù)。舉個(gè)例子，當(dāng)一個(gè)模型學(xué)會(huì)了如何從航拍圖像中預(yù)測(cè)地形和建筑的高度之后，它在學(xué)習(xí)一個(gè)新的任務(wù)，比如預(yù)測(cè)洪水帶來(lái)的影響時(shí)，之前學(xué)到的那個(gè)知識(shí)在這時(shí)就會(huì)作為一個(gè)常識(shí)來(lái)輔助新的訓(xùn)練。此外，模型也會(huì)有不同的能力，可以根據(jù)需要調(diào)用，并且還可以將多個(gè)模型拼接起來(lái)，進(jìn)而執(zhí)行新的、更復(fù)雜的任務(wù)。問(wèn)題2：AI模型只能實(shí)現(xiàn)一種感知。Pathways：能夠使用多種感官數(shù)據(jù)。人類(lèi)依靠多種感官來(lái)感知世界，這與當(dāng)代AI模型系統(tǒng)處理信息的方式非常不同，現(xiàn)在的大多數(shù)模型一次只處理一種模式的信息。模型的輸入可以是文本、圖像或語(yǔ)音，但通常無(wú)法同時(shí)處理所有的三種數(shù)據(jù)。Pathways 也是一個(gè)多模態(tài)模型，能夠包含視覺(jué)、聽(tīng)覺(jué)和語(yǔ)言理解。無(wú)論模型是在處理「豹子」這個(gè)詞，還是豹子的「聲音」，或是看到豹子奔跑的「視頻」，內(nèi)部都會(huì)激活相同的反應(yīng)，從而理解豹子的「概念」。訓(xùn)練產(chǎn)生的結(jié)果是一個(gè)更有洞察力、更不容易出錯(cuò)和產(chǎn)生偏見(jiàn)的模型。當(dāng)然，AI模型不需要局限于這些熟悉的感覺(jué)；Pathways可以處理更多抽象形式的數(shù)據(jù)，幫助找到人類(lèi)科學(xué)家在復(fù)雜系統(tǒng)（如氣候動(dòng)力學(xué)）中難以發(fā)現(xiàn)的有用模式。今天的大多數(shù)模型都是「密集型」的，這也就意味著，在完成一個(gè)不管是簡(jiǎn)單還是復(fù)雜的任務(wù)時(shí)，整個(gè)神經(jīng)網(wǎng)絡(luò)都會(huì)被激活。而人類(lèi)就不一樣了，即便大腦中有近千億個(gè)神經(jīng)元，并且擁有許多不同的區(qū)域用于處理各種的任務(wù)，但我們只會(huì)在特定情況下調(diào)用其中一小部分來(lái)使用。經(jīng)過(guò)Pathways訓(xùn)練的AI也可以模擬人類(lèi)大腦的行為，通過(guò)建立一個(gè)「稀疏」激活的單一模型，只有在特定任務(wù)需求的時(shí)候才會(huì)激活特定部分的神經(jīng)元。模型能夠動(dòng)態(tài)地學(xué)習(xí)網(wǎng)絡(luò)的哪些部分擅長(zhǎng)哪些任務(wù)，可以學(xué)習(xí)到如何找到模型的最相關(guān)部分來(lái)處理任務(wù)。這種架構(gòu)的另一大好處是，它不僅有更強(qiáng)大的能力來(lái)學(xué)習(xí)各種任務(wù)，因?yàn)椴恍枰獮槊宽?xiàng)任務(wù)激活整個(gè)網(wǎng)絡(luò)，所以運(yùn)行速度更快，并且更省電。之前Google 也發(fā)表過(guò)類(lèi)似的研究，GShard和Switch Transformer是兩個(gè)參數(shù)量巨大的機(jī)器學(xué)習(xí)模型，但由于兩個(gè)模型都使用了稀疏激活，在實(shí)際運(yùn)行時(shí)消耗的能量不到類(lèi)似規(guī)模的密集型模型的1/10，并且準(zhǔn)確率還與密集型模型相當(dāng)。現(xiàn)階段的機(jī)器學(xué)習(xí)模型，本可以出色地完成很多不同的任務(wù)，卻只能選取其中一個(gè)過(guò)專(zhuān)業(yè)化；本可以綜合各種不同類(lèi)型的輸入，卻只能依賴(lài)其中的一種形式；本可以像專(zhuān)家一樣熟練操作，卻只能付諸于暴力計(jì)算。這就是Pathways誕生的原因——讓一個(gè)AI能夠跨越數(shù)以萬(wàn)計(jì)的的任務(wù)，理解不同類(lèi)型的數(shù)據(jù)，并同時(shí)以極高的效率實(shí)現(xiàn)。不知道各位看完Jeff Dean的文章之后是怎樣的一種感受，反正這位網(wǎng)友表示：「太膚淺了，以至于毫無(wú)用處」。「雖然有很多遠(yuǎn)大的目標(biāo)，卻完全沒(méi)有提到他們將如何去實(shí)現(xiàn)?！?/span>當(dāng)然了，也有網(wǎng)友對(duì)此表示十分期待。「看起來(lái)非常令人興奮。稀疏可擴(kuò)展的深度學(xué)習(xí)可以向一個(gè)模型中依次添加任務(wù)。我也非常期待之后谷歌的開(kāi)源代碼和樣本。」但不要忘了，這想搞事的是谷歌，「鈔」能力了解一下？
參考資料：
https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/
https://www.ted.com/talks/jeff_dean_ai_isn_t_as_smart_as_you_think_but_it_could_be/footnotes?utm_content=2021-10-28&utm_source=t.co&utm_medium=social&utm_campaign=social#t-13177
