本文約2500字，建議閱讀5分鐘?
Jeff Dean 親自撰文介紹他眼中的下一代 AI 架構(gòu) Pathways。
對(duì)谷歌的下一代 AI 架構(gòu)，你怎么看？
在這波 AI 浪潮中，人工智能技術(shù)經(jīng)過十幾年的爆發(fā)式發(fā)展，已經(jīng)在各個(gè)領(lǐng)域有著極為廣泛的應(yīng)用，如醫(yī)療、科學(xué)研究、汽車等。
但是隨著技術(shù)發(fā)展的緩慢，以深度學(xué)習(xí)為代表的人工智能技術(shù)瓶頸開始凸顯。
今年 8 月份，谷歌人工智能主管 Jeff Dean 在一場 TED 演講上曾表示，我們當(dāng)前的 AI 只是觸及了皮毛，他還透露谷歌正在開發(fā)一種靈活的多用途人工智能，可以執(zhí)行數(shù)百萬個(gè)任務(wù)。Google 的解決方案稱為 Pathways，旨在將不同的 AI 集中到一個(gè)強(qiáng)大的、無所不知的算法中。
近日，Jeff Dean 親自撰文介紹他眼中的下一代 AI 架構(gòu) Pathways，這是一種什么樣的架構(gòu)？總結(jié)來說：- Pathways 能夠訓(xùn)練一個(gè)模型來做成千上萬件事情；
- 當(dāng)前模型只注重一種感官，Pathways 可做到多種；
- 當(dāng)前模型密集且效率低下，Pathways 會(huì)把模型變得稀疏而高效。
以下是 Jeff Dean 撰寫的原文，讓我們來細(xì)致來看下。觀看視頻（https://mp.weixin.qq.com/s/fsV0R40HHu0kCTXMoeMiHA）
當(dāng)我回顧過去二十年的計(jì)算機(jī)科學(xué)研究時(shí)，沒有什么比人工智能領(lǐng)域的顯著進(jìn)展更令我興奮。2001 年，幾位坐在離我?guī)子⒊哌h(yuǎn)的谷歌同事意識(shí)到他們可以使用一種叫做「機(jī)器學(xué)習(xí)」的晦澀技術(shù)來幫助糾正拼寫錯(cuò)誤的搜索查詢。我記得當(dāng)時(shí)我很驚訝地看到它適用于從「ayambic pitnamiter」到「unnblevaiabel」的所有內(nèi)容。今天，人工智能已經(jīng)成就了許多事情，無論是幫助您拍攝漂亮的照片 ，還是提供更有用的搜索結(jié)果，還是預(yù)警數(shù)億人何時(shí)何地會(huì)發(fā)生自然災(zāi)害。二十年來的研究進(jìn)展幫助人工智能從一個(gè)有前途的想法提升為數(shù)十億人日常生活中不可或缺的幫助。盡管取得了這些進(jìn)展，但我仍然對(duì)其尚未開發(fā)的潛力感到興奮——人工智能已準(zhǔn)備好幫助人類應(yīng)對(duì)我們所面臨的一些最嚴(yán)峻的挑戰(zhàn)，包括疾病、不平等問題、氣候變化等新問題。但是，應(yīng)對(duì)這些緊迫挑戰(zhàn)的深度和復(fù)雜性將需要新的、功能更強(qiáng)大的人工智能系統(tǒng)——這些系統(tǒng)將把 AI 領(lǐng)域已經(jīng)過證明的方法與新興研究方向結(jié)合，從而解決我們今天無法解決的問題。為此，谷歌研究院的團(tuán)隊(duì)正在研究下一代人工智能架構(gòu)的元素，我們認(rèn)為這將有助于實(shí)現(xiàn)此類系統(tǒng)。我們將這種新的 AI 架構(gòu)稱為 Pathways。Pathways 是一種新的人工智能思維方式，它解決了現(xiàn)有系統(tǒng)的許多弱點(diǎn)且綜合了它們的優(yōu)勢。為了展示我的觀點(diǎn)，讓我們來看看 AI 當(dāng)前的一些缺點(diǎn)以及 Pathways 有哪些改進(jìn)。當(dāng)前的 AI 模型只做一件事。Pathways 使我們能夠訓(xùn)練一個(gè)模型型，做成千上萬件事情。今天的人工智能系統(tǒng)從頭開始訓(xùn)練新問題——數(shù)學(xué)模型的參數(shù)是從隨機(jī)數(shù)開始。就像每次你學(xué)習(xí)一項(xiàng)新技能（例如跳繩），你就忘記了你所學(xué)的一切——如何平衡、如何跳躍、如何協(xié)調(diào)你的手的運(yùn)動(dòng)，然后從無到有重新學(xué)習(xí)。這或多或少是我們今天訓(xùn)練大多數(shù)機(jī)器學(xué)習(xí)模型的方式。我們不是擴(kuò)展現(xiàn)有模型來學(xué)習(xí)新任務(wù)，而是從無到有訓(xùn)練新模型來做一件事（或者我們有時(shí)將通用模型專門用于特定任務(wù)）。結(jié)果是我們最終為數(shù)千個(gè)單獨(dú)的任務(wù)開發(fā)了數(shù)千個(gè)模型。以這種方式學(xué)習(xí)每項(xiàng)新任務(wù)不僅需要更長的時(shí)間，而且還需要更多的數(shù)據(jù)，因?yàn)槲覀冊噲D從無到有了解世界的一切以及該任務(wù)的細(xì)節(jié)（完全不同于人們的處理方式）。相反，我們希望訓(xùn)練一個(gè)模型，不僅可以處理許多單獨(dú)任務(wù)的，而且可以利用和結(jié)合現(xiàn)有技能來更快、更有效地學(xué)習(xí)新任務(wù)。這樣，模型通過對(duì)一項(xiàng)任務(wù)進(jìn)行訓(xùn)練（例如，學(xué)習(xí)航拍圖像如何預(yù)測景觀的高度）來學(xué)習(xí)的內(nèi)容嗎，也可以幫助它學(xué)習(xí)另一項(xiàng)任務(wù)——例如，預(yù)測洪水將如何流經(jīng)該地形。我們希望模型具有不同的功能，可以根據(jù)需要被調(diào)用，或者拼接在一起以執(zhí)行新的、更復(fù)雜的任務(wù)——更接近哺乳動(dòng)物大腦跨任務(wù)概括的方式。今天的模型大多專注于一種感官，Pathways 將啟用多種感官。人們依靠多種感官來感知世界。這與當(dāng)代人工智能系統(tǒng)消化信息的方式大不相同。今天的大多數(shù)模型一次只處理一種形式的信息。如接收文本、圖像或語音——但通常不是同時(shí)接收。Pathways 可以實(shí)現(xiàn)同時(shí)包含視覺、聽覺和語言理解的多模態(tài)模型。因此，無論模型是在處理 「豹」?這個(gè)詞、有人說 「豹」的聲音，還是豹奔跑的視頻，都會(huì)在內(nèi)部激活相同的響應(yīng)：豹的概念。這樣會(huì)得到一個(gè)更有洞察力、更不容易出錯(cuò)和偏見的模型。當(dāng)然，人工智能模型不必局限于這些熟悉的感覺；Pathways 可以處理更抽象形式的數(shù)據(jù)，幫助找到人類科學(xué)家在氣候動(dòng)力學(xué)等復(fù)雜系統(tǒng)中難以發(fā)現(xiàn)的有用模式。今天的模型密集且效率低下，Pathways 將使模型變得稀疏而高效。第三個(gè)問題是，今天的大多數(shù)模型都是“密集的”，這意味著整個(gè)神經(jīng)網(wǎng)絡(luò)都會(huì)激活以完成一項(xiàng)任務(wù)。我們的大腦有許多不同的部分，專門用于不同的任務(wù)，但我們只在特定情況下調(diào)用相關(guān)部分。你的大腦中有近千億個(gè)神經(jīng)元，但你依賴其中的一小部分來解釋你看到的這句話。人工智能可以以同樣的方式工作。我們可以構(gòu)建一個(gè) “稀疏” 激活的模型，這意味著只有通過網(wǎng)絡(luò)的小路徑會(huì)根據(jù)需求被調(diào)用。事實(shí)上，模型動(dòng)態(tài)地學(xué)習(xí)網(wǎng)絡(luò)的哪些部分擅長哪些任務(wù)——它學(xué)習(xí)如何通過模型中最相關(guān)的部分來分配任務(wù)。這種架構(gòu)的一大好處是，它不僅具有更大的學(xué)習(xí)各種任務(wù)的能力，而且速度更快、能源效率更高，因?yàn)槲覀儾粫?huì)為每個(gè)任務(wù)激活整個(gè)網(wǎng)絡(luò)。例如，GShard 和 Switch Transformer 是我們創(chuàng)建的兩個(gè)最大的機(jī)器學(xué)習(xí)模型，但由于兩者都使用稀疏激活，因此它們消耗的能量不到類似大小密集模型的 1/ 10——同時(shí)與密集模型一樣準(zhǔn)確。總結(jié)一下：今天的機(jī)器學(xué)習(xí)模型往往在單個(gè)任務(wù)上過度專項(xiàng)化，而不是擅長多類任務(wù)；它們依賴于一種形式的輸入，而不是綜合多種輸入；當(dāng)前模型往往是暴力美學(xué)，而不是靈活專業(yè)。這就是我們建立 Pathways 的原因。Pathways 將使單個(gè) AI 系統(tǒng)能夠泛化數(shù)千或數(shù)百萬個(gè)任務(wù)，理解不同類型的數(shù)據(jù)，并以非凡的效率來做到這一點(diǎn)——將我們從僅識(shí)別模式的單一用途模型時(shí)代推進(jìn)到更多通用智能系統(tǒng)，可以適應(yīng)新的需求。最后一點(diǎn)至關(guān)重要。我們熟悉當(dāng)今許多最大的全球挑戰(zhàn)，并致力于研究幫助解決這些挑戰(zhàn)的技術(shù)。但我們也確信未來還有一些我們尚未預(yù)料到的重大挑戰(zhàn)，許多挑戰(zhàn)需要緊急解決方案。因此，我們非常謹(jǐn)慎，始終遵循我們的 AI 原則，正在打造下一代 AI 系統(tǒng)，可以快速適應(yīng)新需求并解決世界各地出現(xiàn)的新問題，幫助人類創(chuàng)造未來的大部分時(shí)間都在我們面前。對(duì) Jeff Dean 描述的 Pathways 架構(gòu)大家是否買賬呢？當(dāng)前國內(nèi)外對(duì)此討論還不多，不過評(píng)論不佳?。?/span>例如，有 Reddit 網(wǎng)友表示 Jeff Dean 的博客膚淺無用，目標(biāo)太大，也不知道如何實(shí)現(xiàn)。也有網(wǎng)友表示是吸引關(guān)注的品牌性傳播。但也有網(wǎng)友表示，谷歌可能已經(jīng)在構(gòu)建通用 AI 了，并開始謹(jǐn)慎的對(duì)外公布。當(dāng)然，也不排除炒作一些事情。Pathways 也引發(fā)了國內(nèi) AI 從業(yè)者的一些討論，在知乎上，一流科技創(chuàng)始人袁進(jìn)輝也發(fā)表了自己的觀點(diǎn)，認(rèn)為 Pathways 中的觀點(diǎn)業(yè)界討論很多了，不太新鮮。谷歌推廣此新一代架構(gòu)，后續(xù)必然會(huì)有更多研究公布。對(duì)此你怎么看？歡迎討論。
