吳恩達(dá)的2022年，年終盤點(diǎn)
轉(zhuǎn)自：AI前線
親愛的朋友們，大家好：
隨著新年的臨近，又到了寒冬肆虐的時(shí)候。但于 AI 來說，如今的我們絕非身處寒冬，而是熱浪席卷的盛夏。
如今 AI 創(chuàng)造出的大部分經(jīng)濟(jì)價(jià)值集中在監(jiān)督學(xué)習(xí)工具方面，即經(jīng)過訓(xùn)練即可生成各類短標(biāo)簽（垃圾郵件 / 非垃圾郵件）乃至一系列標(biāo)簽的集合（例如音頻轉(zhuǎn)錄文本）。今年，建立在監(jiān)督學(xué)習(xí)技術(shù)之上的生成式 AI 也掀起新一波浪潮，讓 AI 得以生成復(fù)雜且引人注目的豐富輸出，包括自然順暢的圖像或文本段落等。
雖然強(qiáng)化學(xué)習(xí)等前一階段的新工具未能帶來與炒作聲量相符的成果，但生成式 AI 確實(shí)表現(xiàn)良好，也成為 AI 應(yīng)用領(lǐng)域的又一嶄新范例。
更重要的是，監(jiān)督學(xué)習(xí)所發(fā)揮的還只是其全部潛力中的一小部分。相信還有數(shù)以百萬計(jì)的監(jiān)督學(xué)習(xí)潛在應(yīng)用尚未成為現(xiàn)實(shí)。目前全球無數(shù)團(tuán)隊(duì)仍在嘗試通過監(jiān)督學(xué)習(xí)找到產(chǎn)品開發(fā)的最佳實(shí)踐。
相信在新的一年乃至更久遠(yuǎn)的未來，生成式 AI 將繼續(xù)騰飛，為每個(gè)人創(chuàng)造更多價(jià)值。我有幸能夠生活在這個(gè)科技飛速發(fā)展的時(shí)代，也欣慰于有機(jī)會(huì)參與其中創(chuàng)造未來，更為自己能與各位好友分享這個(gè)瞬息萬變的世界而高興不已！
新年快樂
你的朋友，Andrew
當(dāng)然，人們對(duì)于 AI 創(chuàng)造力的下一步進(jìn)展也提出了疑問。一方面，AI 發(fā)展讓更多化學(xué)與物理學(xué)模型成為可能，科學(xué)發(fā)現(xiàn)亦由此迎來又一股助力；而另一方面，政府則開始嚴(yán)格管控可用于 AI 創(chuàng)新的專用微處理器供應(yīng)。在這個(gè)矛盾叢生、復(fù)雜多變的新時(shí)代，就讓我們從純技術(shù)的角度出發(fā)，回顧 AI 科技在 2022 年創(chuàng)造出的那些奇跡。
趨勢(shì)背景：新一代文本到圖像生成器掀起實(shí)驗(yàn)熱潮，如今普通人也能靠語言描述快速創(chuàng)作出迷人的藝術(shù)作品和幻想場(chǎng)景。商業(yè)企業(yè)迅速將這項(xiàng)技術(shù)投入使用，讓 AI 圖像生成成為圖形創(chuàng)作和編輯軟件中的又一必備功能。
關(guān)鍵驅(qū)力： 憑借友好的用戶界面、妙趣橫生的輸出結(jié)果和開放的 API 與模型，媒體生成類模型如今已經(jīng)成為 AI 技術(shù)的“形象代言人”。
OpenAI 于今年 4 月發(fā)布 DALL-E 2，超過 150 萬用戶參與了這套模型的 beta 測(cè)試。到 9 月，DALL-E 2 模型全面開放。微軟通過資助 OpenAI 獲得了對(duì)該成果的獨(dú)家商業(yè)所有權(quán)，并迅速將模型集成到 Azure AI 即服務(wù)平臺(tái)當(dāng)中。
今年 7 月，各社交媒體平臺(tái)上出現(xiàn)了大量一鍵式藝術(shù)創(chuàng)作方案，這些略顯粗糙的圖像背后依托的則是相對(duì)簡(jiǎn)單的 Craiyon。
Stability AI 很快通過開源模型 Stable Diffusion 將 AI 圖像創(chuàng)作推向新高潮——今年 11 月，此模型更新為 2.0 版，并最終吸引到超 1 億美元新資本。
Adobe 和照片存儲(chǔ)業(yè)兩大巨頭 Getty Images 與 Shutterstock，紛紛將圖像生成模型集成到自家產(chǎn)品和服務(wù)當(dāng)中。
此類程序可能根據(jù)給出的文本提示生成截然不同的結(jié)果。PromptBase 則開辟出新的市場(chǎng)空間，可根據(jù)描述生成有趣的文本字符串圖形。
一切都很美，只是：這類模型是根據(jù)抓取自網(wǎng)絡(luò)的圖像訓(xùn)練而成。與大語言模型一樣，它們也同樣繼承了線上內(nèi)容中的偏見和煽動(dòng)性表達(dá)方式。
Lensa AI 是一款照片編輯應(yīng)用，可根據(jù)用戶的自拍照生成“魔法頭像”。盡管在移動(dòng)應(yīng)用排行榜上迅速躥紅，但其成功也伴隨著不少爭(zhēng)議——不少用戶，特別是女性用戶，發(fā)現(xiàn)該應(yīng)用會(huì)刻意在輸出圖像中添加性化元素。
視覺藝術(shù)家在線社區(qū) ArtStation 也推出了自己的文本到圖像功能。很多藝術(shù)家覺得，這種幾秒鐘內(nèi)就能模仿藝術(shù)家個(gè)人風(fēng)格的計(jì)算機(jī)程序可能威脅到他們的職業(yè)生涯，因此紛紛抵制該網(wǎng)站。
新聞背后：Diffusion 模型最初的輸出結(jié)果只能用噪音來形容，但隨后會(huì)通過一系列步驟有選擇地去除低質(zhì)量?jī)?nèi)容。由加州大學(xué)伯克利分校和斯坦福大學(xué)研究人員于 2015 年推出的這套模型經(jīng)歷了數(shù)年開發(fā)，最終成果表明其已經(jīng)能夠創(chuàng)作出足以匹敵生成對(duì)抗網(wǎng)絡(luò)（GAN）的高水平圖像。Stability AI 的 Stable Diffusion 正是以 Diffusion 模型為核心。另一方面，作為基于 GAN 的 DALL-E 的締造者，OpenAI 也幾乎在同一時(shí)間用 Diffusion 模型對(duì)自家成果進(jìn)行了更新。
現(xiàn)狀解讀：新年中，相信計(jì)算機(jī)輔助創(chuàng)作革命將繼續(xù)醞釀蓄力。生成式圖像的風(fēng)潮也絕不會(huì)止步于二維平面。谷歌和 Meta 今年都公布了令人印象深刻的文本到視頻模型，而 OpenAI 的文本到 3D 對(duì)象也將生成速度提升到了新的量級(jí)。
軟件項(xiàng)目進(jìn)度又落后了？別怕，AI 新應(yīng)用能幫忙。
趨勢(shì)背景：事實(shí)證明，只要對(duì)代碼做出微調(diào)，語言模型就能很快像經(jīng)濟(jì)豐富的開發(fā)者那樣編寫出軟件例程……當(dāng)然，輸出質(zhì)量仍然有待商榷。
關(guān)鍵驅(qū)力：AI 驅(qū)動(dòng)的代碼生成器正登陸各大企業(yè)，甚至小開發(fā)商和非技術(shù)人士也能輕松使用。
今年伊始，Ebay 就嘗試將低代碼工具交到非工程師的手中，讓他們?cè)跓o需 AI 或機(jī)器學(xué)習(xí)專業(yè)知識(shí)的情況下構(gòu)建和部署模型。
今年 2 月，DeepMind 推出了 AlphaCode。這是一款轉(zhuǎn)換器，接受了 12 種編程語言共 8600 萬種程序的預(yù)訓(xùn)練，甚至針對(duì)編碼競(jìng)賽的參賽作品進(jìn)行了調(diào)優(yōu)。在推理階段，它能生成上百萬種可能的解決方案并過濾掉低質(zhì)量的條目。最終，它在 10 場(chǎng)編碼比賽中擊敗了半數(shù)以上的參賽者。
今年 6 月，GitHub 開放了 Copilot 功能。這是一款能實(shí)時(shí)提供編碼建議的自動(dòng)補(bǔ)全系統(tǒng)，普通用戶須支付訂閱費(fèi)方可使用，但學(xué)生和經(jīng)過認(rèn)證的開源開發(fā)者可以免費(fèi)訪問。
新聞背后： OpenAI GPT-3 語言模型的用戶們?cè)缭?2020 年就發(fā)現(xiàn)，該模型完全可以生成能跑的代碼。一年之后，OpenAI 又推出了名為 Codex 的調(diào)優(yōu)版本，這就是如今 GitHub Copilot 的雛形。
一切都很美，但是： 這項(xiàng)技術(shù)的公開可用版本還無法編寫復(fù)雜的程序。而且其輸出乍看之下往往正確，但跑起來的結(jié)果卻是錯(cuò)的。此外，Copilot 項(xiàng)目還身陷法律風(fēng)險(xiǎn)。針對(duì) GitHub、OpenAI 和微軟的集體訴訟認(rèn)為，Codex 的訓(xùn)練過程違反了開源許可協(xié)議。最終判決結(jié)果很可能對(duì)文本、圖像和其他媒體的生成模型產(chǎn)生深遠(yuǎn)的法律影響。
現(xiàn)狀解讀：AI 驅(qū)動(dòng)型編碼工具在短時(shí)間內(nèi)還不太可能取代人類程序員，但它們確有可能頂替技術(shù)問答網(wǎng)站 Stack Overflow，成為開發(fā)者們最喜愛的疑難問詢小助手。
Vision Transformer（ViT）在 2022 年同樣迎來爆發(fā)式增長(zhǎng)。
趨勢(shì)背景： 研究人員們?cè)诮衲曛畠?nèi)發(fā)表了超 17000 篇 ViT 論文，它們的共同主題就是：將自注意力與卷積結(jié)合起來。
關(guān)鍵驅(qū)力：Google Brain 的一支團(tuán)隊(duì)在 2020 年率先推出 Vision Transformer（ViT），此后該架構(gòu)經(jīng)歷了持續(xù)改進(jìn)。最終的努力讓 ViT 獲得了適應(yīng)新任務(wù)的能力，同時(shí)也解決了不少此前難以克服的短板。
ViT 能夠從海量數(shù)據(jù)中獲得良好學(xué)習(xí)效果，因此 Meta 和索邦大學(xué)的研究人員希望能“僅”靠數(shù)百萬示例數(shù)據(jù)集就讓模型獲得理想性能。他們使用數(shù)據(jù)增強(qiáng)和模型正則化等源自 transformer 模型的特定改造嘗試提高性能。
韓國(guó)仁荷大學(xué)的研究人員修改了其中兩個(gè)關(guān)鍵組件，使 ViT 更像卷積神經(jīng)網(wǎng)絡(luò)。他們首先將圖像失勢(shì)成具有更多重疊的小圖塊，之后修改了自注意力機(jī)制以關(guān)注每個(gè)圖塊的相鄰圖塊、而非當(dāng)前圖塊自身，這樣模型就能了解該為相鄰圖塊賦予均勻權(quán)重還是選擇性權(quán)重。這些修改顯著提高了模型準(zhǔn)確性。
印度孟買理工學(xué)院的研究人員為 ViT 配備了卷積層。由于權(quán)重共享，卷積能夠在本地處理像素、同時(shí)降低內(nèi)存占用量。在準(zhǔn)確性和速度方面，他們的卷積 ViT 也優(yōu)于常規(guī)版本的 ViT 以及 Performer、Nystr?former 和 Linear Transformer 等 transformers 運(yùn)行時(shí)優(yōu)化方案。這種方法也得到了其他多支團(tuán)隊(duì)的采納。
新聞背后：雖然不少 ViT 研究的目標(biāo)在于最終取代卷積神經(jīng)網(wǎng)絡(luò)（CNN），但目前的主流趨勢(shì)顯然是將兩者結(jié)合起來。ViT 的優(yōu)勢(shì)，在于它能夠從大、小兩個(gè)尺度考量圖像內(nèi)所有像素間的關(guān)系。但它的缺點(diǎn)是，模型需要額外的訓(xùn)練才能在隨機(jī)初始化后融入 CNN 架構(gòu)以進(jìn)行學(xué)習(xí)。CNN 的局部上下文窗口（即其中只有局部像素較為重要）和權(quán)重共享（使其能夠以相同的方式處理不同的圖像位置）能幫助 transformers 從較少數(shù)據(jù)中學(xué)習(xí)到更多模式。
現(xiàn)狀解讀：過去一年來，Vision Transformer 的應(yīng)用范圍得到了極大拓展。ViT 已經(jīng)能夠生成真假難辨的連續(xù)視頻幀，從 2D 圖像序列到生成 3D 場(chǎng)景，并檢測(cè)點(diǎn)云中的對(duì)象。如果沒有這些成果，近期大火的 Diffusion 模型恐怕也無法達(dá)成如此驚艷的文本到圖像生成進(jìn)步。
研究人員突破了語言模型的邊界，希望解決可信度、偏見和可更新性等老大難問題。
趨勢(shì)背景： 雖然不少 AI 實(shí)驗(yàn)室都想通過改進(jìn)數(shù)據(jù)集和訓(xùn)練方法（包括訓(xùn)練單一 transformer 翻譯上千種語言的方法）提升大語言模型的復(fù)雜度，但也有一些研究者嘗試擴(kuò)展模型架構(gòu)，希望借此實(shí)現(xiàn)網(wǎng)絡(luò)搜索、外部文檔查詢和更強(qiáng)的新信息適應(yīng)效果。
關(guān)鍵驅(qū)力： 如今的語言模型雖然表現(xiàn)出強(qiáng)大的文本生成能力，但在辨別事實(shí)、控制“腦洞”和消除社會(huì)偏見方面仍然孱弱。研究人員正努力讓語言模型的輸出更值得依賴，同時(shí)減少煽動(dòng)性。
2021 年底，DeepMind 提出了 RETRO，一種能從 MassivText 數(shù)據(jù)集中檢索段落、并將其整合至輸出中的模型。
Al21 Labs 于春季推出的 Jurassic-X 引入了一套模塊，包含一個(gè)計(jì)算器加一套維基百科查詢系統(tǒng)，能夠?qū)φZ言模型就數(shù)學(xué)問題、歷史事實(shí)等做出的回答執(zhí)行事實(shí)驗(yàn)證。
斯坦福大學(xué)和洛桑聯(lián)邦理工學(xué)院的研究人員創(chuàng)建了 SERAC，這是一套無需重新訓(xùn)練、即可用新信息更新語言模型的系統(tǒng)。它有一套獨(dú)立的系統(tǒng)，專門用于存儲(chǔ)新數(shù)據(jù)并學(xué)習(xí)與之相關(guān)的查詢結(jié)果，借此調(diào)整最終輸出。
Meta 構(gòu)建的 Atlas，是一種能從文檔數(shù)據(jù)庫中檢索信息以回答問題的語言模型。此方案于今年 8 月發(fā)布，參數(shù)量?jī)H為 110 億的 Atlas 在回答問題時(shí)表現(xiàn)甚至優(yōu)于包含 5400 億參數(shù)的 PaLM。
今年晚些時(shí)候，OpenAI 對(duì) ChatGPT 做出調(diào)優(yōu)，以最大限度減少不真實(shí)、偏見性或有害性輸出。由專人對(duì)該模型的訓(xùn)練數(shù)據(jù)質(zhì)量進(jìn)行排名，之后利用強(qiáng)化學(xué)習(xí)算法獎(jiǎng)勵(lì)模型優(yōu)先生成與高排名結(jié)果相似的輸出。
上述發(fā)展趨勢(shì)，也讓人們對(duì)語言模型提出了更加微妙且動(dòng)態(tài)的基準(zhǔn)要求。為響應(yīng)號(hào)召，130 多家機(jī)構(gòu)在 BIG-bench 項(xiàng)目中展開合作，嘗試聯(lián)手解決通過表情符號(hào)推斷電影自勉、參與模擬試驗(yàn)和檢測(cè)邏輯謬誤等一系列任務(wù)。
新聞背后：在取得進(jìn)展的同時(shí)，語言模型也鬧也不少亂子。Meta 公開展示的 Galactica 是一套可生成關(guān)于科學(xué)及技術(shù)主題文本的語言模型。但在 11 月開放展示短短三天，該模型就由于傾向于生成虛假信息和引用并不存在的來源而遭到關(guān)停。今年 8 月，同樣來自 Meta 的聊天機(jī)器人 BlenderBot 3 則因散布種族主義刻板印象和陰謀論而快速弄臭了名聲。
現(xiàn)狀解讀：這一年以來，文本生成領(lǐng)域的靠譜工具可謂爭(zhēng)相涌現(xiàn)。相信成功的技術(shù)將在不久的未來，憑借一鳴驚人的新模型從激烈競(jìng)爭(zhēng)市場(chǎng)上殺出一條新路。
少數(shù)深度學(xué)習(xí)模型已經(jīng)證明了自己解決幾百種任務(wù)的能力。
趨勢(shì)背景：過去一年，多任務(wù)模型的陣容也在急劇擴(kuò)大。
關(guān)鍵驅(qū)力：研究人員突破了神經(jīng)網(wǎng)絡(luò)所能掌握的技能數(shù)量上限。他們的靈感來自大語言模型的新興技能——例如無需架構(gòu)調(diào)整就能創(chuàng)作詩歌加編寫計(jì)算機(jī)程序，而利用文本和圖像訓(xùn)練而成的模型也獲得了在不同類型數(shù)據(jù)間找尋對(duì)應(yīng)關(guān)系的能力。
今年春季，谷歌的 PaLM 在涉及語言理解和生成的數(shù)百項(xiàng)任務(wù)中，展示了小樣本學(xué)習(xí)的最新成果。在某些情況下，其表現(xiàn)甚至優(yōu)于經(jīng)過調(diào)優(yōu)的針對(duì)性模型或人類的平均水平。
不久之后，DeepMind 發(fā)布了 Gato。其能夠處理 600 多種不同任務(wù)，包括玩雅達(dá)利游戲、用機(jī)械手堆積木、生成圖像說明等等，而且并不需要借助專用于這些任務(wù)的單獨(dú)模型。該系統(tǒng)同時(shí)接受了各種數(shù)據(jù)集的監(jiān)督訓(xùn)練，包括文本和圖像識(shí)別、基于強(qiáng)化學(xué)習(xí)智能體生成動(dòng)作等等。
隨著 2022 年接近尾聲，谷歌研究人員又為機(jī)器人技術(shù)帶來了類似的普適性能力。RT-1 也是一種 transformers 模型，能夠引導(dǎo)機(jī)器人執(zhí)行 700 多項(xiàng)任務(wù)。該系統(tǒng)能夠?qū)?dòng)作和圖像令牌化，在近一年半的周期內(nèi)利用多臺(tái)機(jī)器人收集的 13 萬組數(shù)據(jù)完成了訓(xùn)練。與原有技術(shù)相比，它在新任務(wù)、新環(huán)境和新對(duì)象上都表現(xiàn)出了強(qiáng)大的零樣本適應(yīng)性能。
新聞背后：歐盟擬議的 AI 法案最新草案很可能在 2023 年通過為法律。該法案將要求通用 AI 系統(tǒng)用戶向當(dāng)局注冊(cè)，由官方評(píng)估其系統(tǒng)是否存在潛在濫用行為，并定期接受審計(jì)。該草案將通用 AI 系統(tǒng)定義為“執(zhí)行圖像 / 語音識(shí)別、音頻 / 視頻生成、模式檢測(cè)、問答、翻譯等普適性功能”，且“具有多種預(yù)期之內(nèi) / 之外用途”的 AI 系統(tǒng)。一些觀察家批評(píng)該定義過于寬泛，相信后續(xù)真正具備通用性的新興模型可能會(huì)促使監(jiān)管機(jī)構(gòu)進(jìn)一步完善定義內(nèi)容。
現(xiàn)狀解讀：目前能夠推廣至數(shù)百種不同任務(wù)的 AI 算法仍處于早期發(fā)展階段。但 2022 年的實(shí)際進(jìn)展，再次表明深度學(xué)習(xí)具備幫助我們達(dá)成這一目標(biāo)的潛力。
原文鏈接：https://www.deeplearning.ai/the-batch/issue-176/
