99精品视频在线观,黄色成人网站在线免费观看,夜色av一区,国产三级片在线观看,麻豆AV免费,夜夜操夜夜操,国产成人在线视频观看,北条麻妃A片

點(diǎn)擊上方“機(jī)器學(xué)習(xí)與生成對抗網(wǎng)絡(luò)”，關(guān)注星標(biāo)

獲取有趣、好玩的前沿干貨！

文章：機(jī)器之心

一張輸入人臉圖像，竟能生成多樣化風(fēng)格的動漫形象。伊利諾伊大學(xué)香檳分校的研究者做到了，他們提出的全新 GAN 遷移方法實現(xiàn)了「一對多」的生成效果。

在 GAN 遷移領(lǐng)域，研究人員可以構(gòu)建一個以人臉圖像為輸入并輸出人臉動漫形象的映射。相關(guān)的研究方法已經(jīng)出現(xiàn)了很多，如騰訊微視此前推出的迪士尼童話臉特效等等。

在遷移過程中，圖像的內(nèi)容（content）部分可能會被保留，但風(fēng)格（style）部分必須改變，這是因為同一張臉在動畫中能以多種不同的方式表示。這意味著：遷移過程是一個一對多的映射，該映射可以表示為一個函數(shù)，用于接受內(nèi)容代碼（即從人臉圖像中恢復(fù)）和風(fēng)格代碼（這是一種潛變量）并生成動漫臉。但是，一些重要的限制條件必須遵守。

首先是控制（control）：通過改變輸入人臉來改變動漫人臉的內(nèi)容（如動漫人臉應(yīng)該隨著輸入人臉的轉(zhuǎn)頭而轉(zhuǎn)頭）；
其次是一致性（consistency）：使用相同潛變量渲染成動漫的真實人臉應(yīng)在風(fēng)格上高度匹配（如不改變潛變量的前提下，動漫人臉不會隨輸入人臉的轉(zhuǎn)頭而改變風(fēng)格）；
最后是覆蓋范圍（coverage）：每個動漫人臉都可以使用內(nèi)容和風(fēng)格的組合來獲取，這樣就可以利用所有可能的動漫形象。

在近日的一項研究中，來自伊利諾伊大學(xué)香檳分校的研究者提出了一種新的 GAN 遷移方法 GANs N’ Roses（簡寫為 GNR），這一多模態(tài)框架使用風(fēng)格和內(nèi)容對映射進(jìn)行直接的形式化（formalization）。簡單來講，研究者展示了一種以人臉圖像的內(nèi)容代碼為輸入并輸出具有多種隨機(jī)選擇風(fēng)格代碼的動漫形象。

論文地址：https://arxiv.org/pdf/2106.06561.pdf
GitHub 項目地址：https://github.com/mchong6/GANsNRoses

從技術(shù)上來講，研究者基于對內(nèi)容與風(fēng)格的簡單和有效定義中得出了對抗性損失，它保證了映射的多樣性，即可以從單一內(nèi)容代碼中生成多樣化風(fēng)格的動漫形象。在合理的假設(shè)下，這種映射不僅多樣化，還能以輸入人臉為條件正確地表示動漫形象的概率。相比之下，當(dāng)前的多模態(tài)生成方法無法捕捉動漫中的風(fēng)格。大量的定量實驗表明，與 SOTA 方法相比，GNR 方法可以生成更多樣風(fēng)格的動漫形象。

GNR 的生成效果怎么樣呢？我們可以先來看下 demo 圖像戴珍珠耳環(huán)的少女的動漫形象：

目前，用戶也可以試玩，只需上傳自己的圖像即可一鍵生成自己的動漫形象。機(jī)器之心用葡萄牙球星 C 羅的圖片試了試生成效果，em……：

試玩地址：https://gradio.app/hub/AK391/GANsNRoses

與此同時，在沒有對視頻進(jìn)行任何訓(xùn)練的情況下，GNR 方法還可以實現(xiàn)視頻到視頻的遷移。

技術(shù)實現(xiàn)

給定兩個域

、

，目標(biāo)是在

域中生成一組不同的

，使其具有與 x 相似的語義內(nèi)容。該研究詳細(xì)闡述了從域

到

的轉(zhuǎn)換細(xì)節(jié)。如圖 2 所示，GANs N’ Roses 由一個編碼器 E 和一個解碼器 F 組成，這兩個編碼器可用于

這兩個方向。編碼器 E 將圖像 x 分解為內(nèi)容編碼 c(x) 和風(fēng)格編碼 s(x)。解碼器 F 接收內(nèi)容編碼和風(fēng)格編碼，并從

生成合適的圖像。

編碼器和解碼器共同形成了一個生成器。在運(yùn)行時，通過向編碼器傳遞圖像來使用這個生成器，以保留生成的內(nèi)容編碼 c（x），獲得一些其他相關(guān)的風(fēng)格編碼 s_z，然后將這對編碼傳遞給解碼器。該研究希望最終動漫內(nèi)容由內(nèi)容代編碼控制，風(fēng)格由風(fēng)格編碼控制。

圖 2 GANs N’ Roses

但什么是內(nèi)容，什么是風(fēng)格？GANs N'Rose 的核心思想是將內(nèi)容定義為事物所在的位置，將風(fēng)格定義為事物的外觀。這可以通過使用數(shù)據(jù)增強(qiáng)的思想來實現(xiàn)。選擇一組相關(guān)的數(shù)據(jù)增強(qiáng)，在所有條件下：風(fēng)格是不變的，內(nèi)容是可變的。注意，這個定義是以數(shù)據(jù)增強(qiáng)為條件的——不同的數(shù)據(jù)增強(qiáng)集將導(dǎo)致不同的風(fēng)格定義。

確保風(fēng)格的多樣性

為了確保用戶可以得到不同風(fēng)格的動漫，當(dāng)前有三種策略：首先，可以簡單地從隨機(jī)選擇的風(fēng)格代碼 s_z 中生成；其次，解碼器具有可以從解碼器中恢復(fù) s_z 的屬性；第三，可以編寫一個確定的懲罰函數(shù)，強(qiáng)制不同風(fēng)格代碼的解碼不同；但這些策略都不是令人滿意的。

該研究對風(fēng)格和內(nèi)容的定義提供了一種新的方法。即必須學(xué)習(xí)一個映射 F(c, s; θ)，該映射采用內(nèi)容編碼 c 和風(fēng)格編碼 s 來生成動漫面孔。

表示從數(shù)據(jù)中隨機(jī)選擇的單個圖像，T(·) 表示對該圖像應(yīng)用隨機(jī)選擇的增強(qiáng)的函數(shù)，P(C) 表示內(nèi)容編碼的分布，P(Y) 表示真實動漫（等）的真實分布，

為生成的動漫圖像。這里必須有 c(xi) ～ P(C)。因為風(fēng)格定義為在增強(qiáng)下不會改變的內(nèi)容，合理選擇的增強(qiáng)應(yīng)該意味著 c(T(x_i)) ～ P(C) , 即對圖像應(yīng)用隨機(jī)增強(qiáng)會導(dǎo)致內(nèi)容編碼是先前內(nèi)容編碼的示例。這個假設(shè)是合理的，如果它被嚴(yán)重違反，那么圖像增強(qiáng)訓(xùn)練分類器將不起作用。

損失函數(shù)為：

實驗結(jié)果

在實驗部分，該研究使用 batch 為 7，λ_scon = 10, λ_cyc = 20, λ_adv = 1 進(jìn)行實驗。網(wǎng)絡(luò)架構(gòu)基于 StyleGAN2[9]，該架構(gòu)風(fēng)格編碼的維度為 8。使用 Adam 優(yōu)化器 [12] 對所有網(wǎng)絡(luò)進(jìn)行 300k 批次迭代，學(xué)習(xí)率為 0.002。在輸入圖像上使用的隨機(jī)增強(qiáng)包括隨機(jī)水平翻轉(zhuǎn)、(?20,20)之間的旋轉(zhuǎn)、縮放(0.9,1.1)、平移(0.1,0.1)、剪切(0.15)。圖像被放大到 286 × 286，并隨機(jī)裁剪為 256 × 256。數(shù)據(jù)集主要采用 selfie2anime 數(shù)據(jù)集 [10] 以及 AFHQ [1] 的附加實驗。

定性比較

一般來說，當(dāng)給定相同的源圖像和不同的隨機(jī)風(fēng)格編碼時，GNR 會產(chǎn)生不同的圖像。風(fēng)格編碼驅(qū)動頭發(fā)、眼睛、鼻子、嘴巴、顏色等的外觀，而內(nèi)容驅(qū)動姿勢、面部大小、面部部位的位置等。圖 4 顯示，GNR 在質(zhì)量和多樣性方面優(yōu)于其他 SOTA 多模態(tài)框架。

GNR 生成的圖像具有不同的顏色、發(fā)型、眼睛形狀、面部結(jié)構(gòu)等，而其他框架則只能生成不同的顏色。

將多模態(tài)結(jié)果與 SOTA 遷移框架進(jìn)行了比較。

該研究還在圖 5 中與 AniGAN [14] 進(jìn)行了比較。請注意，即使 AniGAN 是在更大、更多樣化的數(shù)據(jù)集上進(jìn)行訓(xùn)練的，但是，該研究也能夠生成具有更好的、更多樣性的、更高質(zhì)量的圖像。此外，AniGAN 以 128 × 128 的分辨率生成，而該研究以 256 × 256 的分辨率生成。

下圖展示的消融實驗顯示了多樣性鑒別器（Diversity Discriminator）在確保多樣性輸出方面起著重要作用（圖 6），實驗可得多樣性鑒別器明顯促進(jìn)了 GNR 輸出更具多樣性、更真實的圖像。

定量比較

表 1 中使用多樣性 FID、FID 和 LPIPS 對 GNR 進(jìn)行了定量評估。在表 1 的所有實驗中，研究發(fā)現(xiàn) GNR 在所有指標(biāo)上都明顯優(yōu)于其他 SOTA 框架。DFID 和 LPIPS 都關(guān)注圖像的多樣性，這些指標(biāo)的得分從數(shù)量上證實了該研究生成圖像的多樣性優(yōu)于其他框架。

視頻到視頻遷移

該研究對風(fēng)格和內(nèi)容的定義是，當(dāng)一張臉在一個框架中移動時，風(fēng)格不應(yīng)該改變，但內(nèi)容會改變。特別是，內(nèi)容對特征所在的位置進(jìn)行編碼，而風(fēng)格對特征的外觀進(jìn)行編碼。反過來，內(nèi)容編碼應(yīng)該捕獲所有幀到幀的運(yùn)動，合成動漫視頻，而不必訓(xùn)練時間序列。

該研究將 GNR 逐幀應(yīng)用于人臉視頻，然后將生成的幀組裝成視頻。圖 3 第 2 行中的結(jié)果顯示，GNR 產(chǎn)生根據(jù)源移動的圖像，同時在時間上保持一致的外觀。