英偉達(dá)又一個(gè)GAN！PoE-GAN，AI繪圖細(xì)節(jié)拉滿(mǎn)，看完直接沸騰了！
點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)
大家好，我是 阿潘～
最近已經(jīng)入職新公司了，開(kāi)啟 965 的生活，也開(kāi)始做新的項(xiàng)目了。最近在適應(yīng)新環(huán)境，不過(guò)我依然會(huì)努力分享有趣的前沿成果哈。過(guò)年的時(shí)候，收到小伙伴的私信，說(shuō)多分享一些實(shí)戰(zhàn)的內(nèi)容，以后我也會(huì)多多總結(jié)一些常見(jiàn)的坑，和大家一起學(xué)習(xí)成長(zhǎng)。
回歸正題，今天跟大家分享一篇英偉達(dá)的最新成果
提出了一個(gè)新的生成對(duì)抗網(wǎng)絡(luò) (PoE-GAN) 框架，該框架可以合成以多種輸入模式或其任何子集為條件的圖像。即可以文本 + 分割、文本 + 草圖或分割 + 草圖等等合成高質(zhì)量的圖像結(jié)果。
論文標(biāo)題：
Multimodal Conditional Image Synthesis with Product-of-Experts GANs
論文、代碼和主頁(yè)鏈接：
http://arxiv.org/abs/2112.05130
https://deepimagination.cc/PoE-GAN/
摘要
現(xiàn)有的條件圖像合成框架基于單一模態(tài)中的用戶(hù)輸入生成圖像，例如文本、分割、草圖或樣式參考。它們通常無(wú)法在可用時(shí)利用多模式用戶(hù)輸入，這降低了它們的實(shí)用性。為了解決這一限制，我們提出了專(zhuān)家產(chǎn)品生成對(duì)抗網(wǎng)絡(luò) (PoE-GAN) 框架，該框架可以合成以多種輸入模式或其任何子集為條件的圖像，甚至是空集。PoE-GAN 由專(zhuān)家產(chǎn)品生成器和多模態(tài)多尺度投影判別器組成。通過(guò)我們精心設(shè)計(jì)的訓(xùn)練方案，PoE-GAN 學(xué)會(huì)了合成高質(zhì)量和多樣性的圖像。除了提高多模態(tài)條件圖像合成的最新技術(shù)水平外，PoE-GAN 在單模態(tài)條件下進(jìn)行測(cè)試時(shí)也優(yōu)于現(xiàn)有的最佳單模態(tài)條件圖像合成方法。
生成效果：
解讀
Product-of-Experts
我們的目標(biāo)是訓(xùn)練一個(gè)單一的生成模型，該模型可以捕獲以任意模態(tài)子集為條件的圖像分布。在本文中，我們考慮了四種不同的模式，包括文本、語(yǔ)義分割、草圖和樣式參考。直觀地說(shuō)，每個(gè)輸入模態(tài)都會(huì)增加一個(gè)合成圖像必須滿(mǎn)足的約束。滿(mǎn)足所有約束的圖像集合是集合的交集，每個(gè)集合都滿(mǎn)足一個(gè)單獨(dú)的約束。如下圖所示，我們通過(guò)假設(shè)聯(lián)合條件概率分布與單條件概率分布的乘積成比例來(lái)對(duì)此進(jìn)行建模。在此設(shè)置下，要使產(chǎn)品分布在某個(gè)區(qū)域具有高密度，則每個(gè)單獨(dú)的分布都需要在該區(qū)域具有高密度，從而滿(mǎn)足每個(gè)約束。這也被稱(chēng)為 product-of-experts。
Generator Design
下圖展示了我們的生成器的架構(gòu)。我們將每種模態(tài)編碼為一個(gè)特征向量，然后使用專(zhuān)家產(chǎn)品在 Global PoE-Net 中進(jìn)行聚合。解碼器使用 Global PoE-Net 的輸出生成圖像，并跳過(guò)分割和草圖編碼器的連接。?
生成器架構(gòu)。查看論文獲取架構(gòu)的更多細(xì)節(jié)。
Discriminator Design
我們提出了一種多模態(tài)投影判別器，它將投影判別器推廣到處理多個(gè)條件輸入。與計(jì)算圖像嵌入和條件嵌入之間的單個(gè)內(nèi)積的標(biāo)準(zhǔn)投影判別器不同，我們?yōu)槊總€(gè)輸入模態(tài)計(jì)算一個(gè)內(nèi)積并將它們加在一起以獲得最終損失。
標(biāo)準(zhǔn)投影判別器（左）和本文的多模態(tài)投影判別器（右）之間的比較。
Results
當(dāng)使用單一輸入模態(tài)進(jìn)行測(cè)試時(shí)，PoE-GAN 優(yōu)于以前專(zhuān)門(mén)為該模態(tài)設(shè)計(jì)的?state-of-the-art方法，例如分割到圖像的方法（SPADE、OASIS）和文本到圖像的合成方法 （DF-GAN，DM-GAN + CL）。
當(dāng)以任意模態(tài)子集為條件時(shí)，PoE-GAN 可以產(chǎn)生不同的輸出圖像。下面我們展示了來(lái)自 PoE-GAN 的隨機(jī)樣本，這些樣本基于風(fēng)景圖像數(shù)據(jù)集上的兩種模式（文本 + 分割、文本 + 草圖和分割 + 草圖）。
下面我們展示了來(lái)自 PoE-GAN 的隨機(jī)樣本，這些樣本基于兩種模式，包括樣式參考（分割 + 樣式、文本 + 樣式和草圖 + 樣式）。
在沒(méi)有輸入模式的情況下，PoE-GAN 成為無(wú)條件生成模型。以下是由 PoE-GAN 無(wú)條件生成的未經(jīng)處理的樣本。
好的，今天的分享就到這里，更多細(xì)節(jié)查看論文
推薦閱讀
CVPR2021 最具創(chuàng)造力的那些工作成果！或許這就是計(jì)算機(jī)視覺(jué)的魅力！
百變冰冰！手把手教你實(shí)現(xiàn)CVPR2021最新妝容遷移算法