【論文解讀】CVPR 2021 妝容遷移 論文+ 代碼 匯總，美得很美得很！
妝容遷移是指將目標(biāo)圖上的妝容直接遷移到原圖上的技術(shù)。相比傳統(tǒng)貼妝技術(shù)，妝容遷移具有極高的自由度，它可以讓用戶(hù)不再局限于設(shè)計(jì)師設(shè)計(jì)好的妝容，而是可以自主、任意地從真實(shí)模特圖中獲取妝容，極大地豐富了妝容的多樣性。此外，妝容遷移技術(shù)不僅可以遷移五官妝容信息，還可以對(duì)膚色、光影等信息進(jìn)行整體遷移。目前，基于生成對(duì)抗網(wǎng)絡(luò)的模型BeautyGAN和PSGAN已經(jīng)在該領(lǐng)域取得了較好的效果。
今天分享 CVPR 2021 兩篇最新的妝容遷移相關(guān)的論文
Lipstick ain't enough: Beyond Color-Matching for In-the-Wild Makeup Transfer
論文/paper：https://arxiv.org/abs/2104.01867
代碼/code：https://github.com/VinAIResearch/CPM
視頻：https://www.bilibili.com/video/BV1954y137MQ/
摘要：
妝容轉(zhuǎn)移是將參考圖像中的妝容樣式應(yīng)用于源面部的任務(wù)?，F(xiàn)實(shí)生活中的妝容是多樣的、野性的，不僅涵蓋了色彩的變化，也涵蓋了圖案，比如貼紙、腮紅、珠寶等，然而現(xiàn)有的作品忽略了后者的成分，局限了妝容向色彩操控的轉(zhuǎn)移，只注重淡妝風(fēng)格。在這項(xiàng)工作中，我們提出了一個(gè)整體的化妝轉(zhuǎn)移框架，可以處理所有提到的化妝組件。它由一個(gè)改進(jìn)的顏色轉(zhuǎn)移分支和一個(gè)新的模式轉(zhuǎn)移分支組成，用于學(xué)習(xí)所有化妝屬性，包括顏色、形狀、紋理和位置。為了訓(xùn)練和評(píng)估這樣一個(gè)系統(tǒng)，我們還引入了新的化妝數(shù)據(jù)集，用于真實(shí)和合成的極端化妝。實(shí)驗(yàn)結(jié)果表明，我們的框架實(shí)現(xiàn)了the state of the art的效果，無(wú)論是輕和極端的化妝風(fēng)格
貢獻(xiàn)：
簡(jiǎn)言之，我們的貢獻(xiàn)是：
（1）我們提出了一個(gè)結(jié)合色彩變換和圖案添加的妝容，并制定了一個(gè)全面的化妝轉(zhuǎn)移方法，適用于光和極端風(fēng)格
（2） 我們?cè)O(shè)計(jì)了一種新的結(jié)構(gòu)，它有兩個(gè)分支用于顏色和圖案的傳遞，并且我們建議在訓(xùn)練兩個(gè)網(wǎng)絡(luò)分支時(shí)使用UV空間中的扭曲面來(lái)消除輸入面在形狀、頭部姿勢(shì)和表情方面的差異
（3） 我們引入了新的妝容遷移數(shù)據(jù)集，其中包含了在以前的數(shù)據(jù)集中沒(méi)有考慮到的極端風(fēng)格
（4） 我們獲得了state-of-the-art的定量和定性性能。
框架圖
總而言之，我們的方法包括以下三個(gè)步驟。首先，將輸入圖像分別轉(zhuǎn)換為UV紋理貼圖。第二，紋理貼圖被傳遞到兩個(gè)平行的分支，用于基于顏色和基于圖案的妝容遷移。第三，通過(guò)合并這些分支的輸出來(lái)形成妝容遷移紋理，并將該UV紋理映射轉(zhuǎn)換到圖像空間以獲得最終的輸出。
效果圖
Spatially-invariant Style-codes Controlled Makeup Transfer
論文/paper：http://www.shengfenghe.com/?attachment_id=26109&download=1
代碼/code：https://github.com/makeuptransfer/SCGAN
視頻：
摘要：
未對(duì)準(zhǔn)的參考圖像進(jìn)行妝容遷移是具有挑戰(zhàn)性的任務(wù)。以前的方法通過(guò)計(jì)算兩幅圖像之間的像素級(jí)對(duì)應(yīng)來(lái)克服這一障礙，這種方法不精確且計(jì)算量大。在本文中，我們從不同的角度將妝容遷移問(wèn)題分解為兩步提取-分配過(guò)程。為此，我們提出了一種基于風(fēng)格的可控GAN模型，該模型由三個(gè)部分組成，每個(gè)部分分別對(duì)應(yīng)于目標(biāo)風(fēng)格編碼、人臉特征提取和化妝融合。具體地，特定于部件的樣式編碼器將參考圖像的組件式構(gòu)圖樣式編碼為中間潛在空間W中的樣式代碼。樣式代碼丟棄空間信息，因此對(duì)空間錯(cuò)位保持不變。另一方面，樣式碼嵌入了組件信息，使得能夠從多個(gè)參考中靈活地進(jìn)行部分補(bǔ)碼編輯，該樣式碼與源標(biāo)識(shí)特征一起集成到一個(gè)具有多個(gè)AdaIN層的補(bǔ)碼融合解碼器中，以生成最終結(jié)果。我們提出的方法通過(guò)支持卸妝、陰影可控的補(bǔ)妝轉(zhuǎn)移和部分特定的補(bǔ)妝轉(zhuǎn)移（即使在空間錯(cuò)位較大的情況下），在補(bǔ)妝轉(zhuǎn)移上表現(xiàn)出極大的靈活性。
貢獻(xiàn)：
我們提出了一個(gè)與現(xiàn)有方法相比具有最佳靈活性的全自動(dòng)妝容遷移模型。通過(guò)編輯樣式代碼，無(wú)需額外的計(jì)算工作，就可以輕松地實(shí)現(xiàn)全局/局部色調(diào)轉(zhuǎn)移和去除以及陰影控制。
我們將妝容遷移問(wèn)題分解為兩步提取-分配過(guò)程。提出了一種基于樣式的網(wǎng)絡(luò)PSEnc，將化妝樣式映射為組件式樣式代碼。這種設(shè)計(jì)消除了空間錯(cuò)位問(wèn)題。
我們提出的模型即使在源圖像和參考圖像之間存在較大的空間錯(cuò)位的情況下也能達(dá)到最先進(jìn)的性能。
架構(gòu)圖
解析：提出的方法（SCGAN）的概述。在（a）中，參考圖像y被分解為三部分。part-specific樣式編碼器提取每個(gè)部分的特征，并將其映射到一個(gè)分離的樣式潛在空間W。人臉身份編碼器提取源圖像x的人臉身份特征。妝容融合解碼器將樣式碼w與人臉身份特征融合，生成最終結(jié)果x?. (b） 顯示PSEnc的映射模塊(c） 是MFDec中裝有AdaIN層的熔合塊。
效果圖
好的，今天的分享就到這里，如果喜歡記得關(guān)注我，給我一個(gè)三連，感謝
往期精彩回顧
本站qq群851320808，加入微信群請(qǐng)掃碼：