在幾年前，要說 AI 能直接用一段文字描述生成清晰的圖像，那可真是天方夜譚。后腳就跟著放出 NüWA「女媧」對標 DALL-E。今年 1 月，OpenAI 官宣了 120 億參數(shù)的 GPT-3 變體 DALL-E。論文地址：https://arxiv.org/pdf/2102.12092.pdf
為了在不同場景下同時覆蓋語言、圖像和視頻，團隊設(shè)計了一個三維變換器編碼器 - 解碼器框架，它不僅可以處理作為三維數(shù)據(jù)的視頻，還可以適應(yīng)分別作為一維和二維數(shù)據(jù)的文本和圖像。此外，論文還提出了一個 3D 鄰近注意（3DNA）機制，以考慮視覺數(shù)據(jù)的性質(zhì)并降低計算的復雜性。文字轉(zhuǎn)圖像（Text-To-Image，T2I）
NüWA 模型的整體架構(gòu)包含一個支持多種條件的 adaptive 編碼器和一個預訓練的解碼器，能夠同時使圖像和視頻的信息。模型支持所有文本、圖像、視頻輸入，并將他們統(tǒng)一視作 token 輸入，所以可以定義一個統(tǒng)一的向量表示 X，維度包括高度 h、寬度 w，時間軸上的 token 數(shù)量 s，每個 token 的維度 d。文本天然就是離散的，所以使用小寫后的 byte pair encoding （BPE）來分詞，最終的維度為 1×1×s×d 中。因為文本沒有空間維度，所以高度和寬度都為 1。圖像輸入是連續(xù)的像素。每個圖像輸入的高度為 h、寬度為 w 和通道數(shù)為 c。使用 VQ-VAE 訓練一個編碼把原始連續(xù)像素轉(zhuǎn)換為離散的 token，訓練后 B [z] 的維度為 h×w×1×d 作為圖像的表示，其中 1 代表圖像沒有時序維度。視頻可以被視為圖像的一種時序展開，最近一些研究如 VideoGPT 和 VideoGen 將 VQ-VAE 編碼器中的卷積從 2D 擴展到 3D，并能夠訓練一種針對視頻輸入的特殊表征。
但這種方法無法使圖像和視頻的表示統(tǒng)一起來。研究人員證明了僅使用 2D VQ-GAN 就能夠編碼視頻中的每一幀，并且能生成時序一致的視頻，結(jié)果表示維度為 h×w×s×d，其中 s 代表視頻的幀數(shù)。
對于圖像素描（image sketch）來說，可以將其視為具有特殊通道的圖像。
H×W 的圖像分割矩陣中每個值代表像素的類別，如果以 one-hot 編碼后維度為 H×W×C，其中 c 是分割類別的數(shù)目。通過對圖像素描進行額外的 VQ-GAN 訓練，最終得到圖像 embedding 表示維度為 h×w×1×d。同樣地，對于視頻草圖的 embedding 維度為 h×w×s×d。
基于統(tǒng)一的 3D 表示，文中還提出一種新的注意力機制 3D Nearby Self-Attention （3DNA） ，能夠同時支持 self-attention 和 cross-attention。
然后將條件 C 和一個堆疊的 3DNA 層輸入到編碼器中來建模自注意力的交互。解碼器也是由 3DNA 層堆疊得到，能夠同時計算生成結(jié)果的 self-attention 和生成結(jié)果與條件之間的 cross-attention。對于 T2I 和 T2V 任務(wù)，C^text 表示文本條件。對于 V2V 任務(wù)，由于沒有文本輸入，所以 c 為一個常量，單詞 None 的 3D 表示，θ 表示模型參數(shù)。
作者使用 FID-k 和 Inception Score（IS）來分別評估質(zhì)量和種類，并使用結(jié)合了 CLIP 模型來計算語義相似度的 CLIPSIM 指標。公平起見，所有的模型都使用 256×256 的分辨率，每個文本會生成 60 張圖像，并通過 CLIP 選擇最好的一張。可以看到，NüWA 以 12.9 的 FID-0 和 0.3429 的 CLIPSIM 成績，明顯地優(yōu)于 CogView。作者在 Kinetics 數(shù)據(jù)集上與現(xiàn)有的 SOTA 進行了比較，其中，在 FID-img 和 FID-vid 指標上評估視覺質(zhì)量，在生成視頻的標簽準確性上評估語義一致性。顯然，NüWA 在上述所有指標上都取得了 SOTA。作者定性地比較了 NüWA 的 zero-shot 圖像補全能力。作者在 BAIR 數(shù)據(jù)集上進行了定量比較，其中，Cond. 表示預測未來幀的幀數(shù)。為了進行公平的比較，所有的模型都使用 64×64 的分辨率。盡管只給了一幀作為條件（Cond.），NüWA 仍將 FVD 的 SOTA 得分從 94±2 推至 86.9。通過定性比較在 MSCOCO 上的表現(xiàn)可以看到，與 Taming-Transformers 和 SPADE 相比，NüWA 生成的圖像種類更多，有的甚至連窗戶上的反射也清晰可見。在 MSCOCO 數(shù)據(jù)集上與 SOTA 的定性比較作者以 zero-shot 的方式對 NüWA 和現(xiàn)有 SOTA 進行了定性的比較。與 Paint By Word 相比，NüWA 表現(xiàn)出了很強的編輯能力，在不改變圖像其他部分的情況下，產(chǎn)生了高質(zhì)量的結(jié)果。這得益于通過對各種視覺任務(wù)進行多任務(wù)預訓練而學到的真實世界的視覺模式。比如在第三個例子中，由 NüWA 生成的藍色卡車更加逼真，而且后方的建筑物也沒有產(chǎn)生奇怪的變化。另一個優(yōu)點是 NüWA 的推理速度，只需要 50 秒就能生成一幅圖像，而 Paint By Words 在推理過程中需要額外的訓練，并需要大約 300 秒才能收斂。以 zero-shot 方式與現(xiàn)有 SOTA 進行定性比較
文章提出了一種統(tǒng)一的預訓練模型 NüWA，這個女媧不光能補天，也能造圖，可以為 8 個視覺合成任務(wù)生成新的或操作現(xiàn)有的圖像和視頻。還提出了一個通用的 3D encoder-decoder 框架，能夠同時覆蓋文本、圖像和視頻。能同時考慮空間和時序維度的 3D nearby-sparse attention 機制。這也是邁向人工智能平臺的重要一步，能夠讓計算機擁有視覺，并輔助內(nèi)容創(chuàng)作者生成一些人類想象力以外的事。
參考資料：
https://arxiv.org/abs/2111.12417
https://github.com/microsoft/NUWA
