亚洲青娱乐福利在线视频,亚洲精品一线二线三线,人人操人人色人人操,亚洲一区韩国,男人的天堂最新地址,奶大灬舒服灬一进一出三区,大香蕉超碰成人网,最新黄色免费三级av网站

視學(xué)算法報(bào)道

機(jī)器之心編輯部

繼 Imagen 后，谷歌又推出了文本 - 圖像生成模型 Parti。

你見(jiàn)過(guò)一只小狗破殼而出嗎？或者用飛艇俯瞰蒸汽朋克中的城市？又或者兩個(gè)機(jī)器人在電影院像人類一樣看電影…… 這些聽(tīng)起來(lái)可能有些天馬行空，但一種名為「文本到圖像生成」的新型機(jī)器學(xué)習(xí)技術(shù)使這些成為可能。

谷歌研究院的科學(xué)家和工程師一直致力于探索使用各種 AI 技術(shù)生成文本到圖像的方法。

今年 5 月底，谷歌推出 AI 創(chuàng)作神器 Imagen，它結(jié)合了 Transformer 語(yǔ)言模型和高保真擴(kuò)散模型的強(qiáng)大功能，在文本到圖像的合成中提供前所未有的逼真度和語(yǔ)言理解能力。與僅使用圖像 - 文本數(shù)據(jù)進(jìn)行模型訓(xùn)練的先前工作相比，Imagen 的關(guān)鍵突破在于：谷歌的研究者發(fā)現(xiàn)在純文本語(yǔ)料庫(kù)上預(yù)訓(xùn)練的大型 LM 的文本嵌入對(duì)文本到圖像的合成顯著有效。Imagen 的文本到圖像生成可謂天馬行空，能生成多種奇幻卻逼真的有趣圖像。

Imagen 生成效果是這樣的，比如正在戶外享受騎行的柴犬（下圖左）以及狗狗照鏡子發(fā)現(xiàn)自己是只貓（下圖右）：

時(shí)隔沒(méi)多久，谷歌又推出了 Parti（Pathways Autoregressive Text-to-Image），該模型最高可擴(kuò)展至 200 億參數(shù)，并且隨著可使用參數(shù)數(shù)量的增長(zhǎng)，其輸出的圖像也能夠更加逼真。

值得一提的是，這是谷歌大牛 Jeff Dean 提出的多任務(wù) AI 大模型藍(lán)圖 Pathways 的一部分。

我們先來(lái)看下 Parti 效果，袋熊在瀑布旁，背著書(shū)包，拄著拐杖眺望著遠(yuǎn)方：

埃及阿努比斯肖像，在洛杉磯背景下，戴著飛行員護(hù)目鏡，穿著白色 t 恤和黑色皮夾克：

一只熊貓戴著一頂巫師帽騎在馬上：

下面我們介紹一下 Parti 的實(shí)現(xiàn)原理。

Parti 模型

與 DALL-E、CogView 和 Make-A-Scene 類似，Parti 是一個(gè)兩階段模型，由圖像 tokenizer 和自回歸模型組成，如下圖 3 所示。第一階段訓(xùn)練一個(gè) tokenizer，該 tokenizer 可以將圖像轉(zhuǎn)換為一系列離散的視覺(jué) token，用于訓(xùn)練并在推理時(shí)重建圖像。第二階段訓(xùn)練從文本 token 生成圖像 token 的自回歸序列到序列模型。

圖像 Tokenizer

首先，該研究訓(xùn)練了一個(gè) ViT-VQGAN-Small 模型（8 個(gè)塊，8 個(gè)頭，模型維度 512，隱藏維度 2048，總參數(shù)約為 30M），并且學(xué)習(xí)了 8192 張圖像 token 類別用于代碼本。

為了進(jìn)一步提高第二階段編碼器 - 解碼器訓(xùn)練后重建圖像的視覺(jué)靈敏度，該研究?jī)鼋Y(jié)了 tokenizer 的編碼器和代碼本，并微調(diào)更大尺寸的 tokenizer 解碼器（32 個(gè)塊，16 個(gè)頭，模型維度 1280，隱藏維度 5120，總參數(shù)約 600M）。圖像 tokenizer 的輸入和輸出使用 256×256 分辨率。

最后，雖然分辨率為 256×256 的圖像捕獲了大部分內(nèi)容、結(jié)構(gòu)和紋理，但更高分辨率的圖像具有更大的視覺(jué)沖擊力。為此，該研究在圖像 tokenizer 上采用了一個(gè)簡(jiǎn)單的超分辨率模塊，如下圖 4 所示。

文本到圖像生成的編碼器 - 解碼器架構(gòu)

如上圖 3 所示，該研究第二階段訓(xùn)練了一種標(biāo)準(zhǔn)的編碼器 - 解碼器 Transformer 模型，將文本到圖像視為序列到序列建模問(wèn)題。該模型將文本作為輸入，并使用從第一階段圖像 tokenizer 生成的光柵化圖像潛在代碼的下一個(gè) token 預(yù)測(cè)進(jìn)行訓(xùn)練。對(duì)于文本編碼，該研究構(gòu)建了一個(gè) sentence-piece 模型，詞匯量為 16000。在推理時(shí)，模型對(duì)圖像 token 進(jìn)行自回歸采樣，隨后使用 ViT-VQGAN 解碼器將其解碼為像素。

該研究使用的文本 token 最大為 128，圖像 token 的長(zhǎng)度固定為 1024。所有模型都使用 conv-shaped 掩碼稀疏注意力。該研究訓(xùn)練了四種變體，參數(shù)量從 3.5 億到 200 億不等，如下表 1 所示。

以下為對(duì) Parti 模型四種大小比較結(jié)果，可以觀察到：模型性能和輸出圖像質(zhì)量在持續(xù)地提高；20B 模型尤其擅長(zhǎng)于那些抽象的、需要世界知識(shí)的、特定視角的、或符號(hào)渲染的 prompt。

在悉尼歌劇院前的草地上，一只袋鼠穿著橙色衛(wèi)衣，戴著藍(lán)色墨鏡，胸前掛著「歡迎朋友」的牌子。

松鼠把蘋(píng)果送給了小鳥(niǎo)。

文本編碼器預(yù)訓(xùn)練

該研究在兩個(gè)數(shù)據(jù)集上預(yù)訓(xùn)練文本編碼器：具有 BERT [36] 預(yù)訓(xùn)練目標(biāo)的 Colossal Clean Crawled Corpus (C4) [35]，以及具有對(duì)比學(xué)習(xí)目標(biāo)的圖像文本數(shù)據(jù)。預(yù)訓(xùn)練后，該研究繼續(xù)訓(xùn)練編碼器和解碼器，在 8192 個(gè)離散圖像 token 的詞匯表上使用 softmax 交叉熵?fù)p失生成文本到圖像。

預(yù)訓(xùn)練后的文本編碼器在 GLUE 上的性能與 BERT 相當(dāng)；然而，在文本到圖像生成的完整編碼器 - 解碼器訓(xùn)練過(guò)程之后，文本編碼器會(huì)降級(jí)。

擴(kuò)展

該研究在 Lingvo 上來(lái)實(shí)現(xiàn)模型，并在 CloudTPUv4 硬件上使用 GSPMD 進(jìn)行擴(kuò)展，以用于訓(xùn)練和推理。GSPMD 是一個(gè)基于 XLA 編譯器的模型分布系統(tǒng)，它允許將 TPU 集群視為單個(gè)虛擬設(shè)備，并在幾個(gè)張量上使用 sharding annotations 來(lái)指示編譯器自動(dòng)分發(fā)數(shù)據(jù)并在數(shù)千個(gè)設(shè)備上進(jìn)行計(jì)算。

該研究用數(shù)據(jù)并行性訓(xùn)練 350M 和 750M 模型。對(duì)于 3B 模型，該研究使用 4 路內(nèi)層模型并行（參見(jiàn)下圖 5）和 128 路數(shù)據(jù)并行。