CVPR 2021 妝容遷移 論文+ 代碼 匯總，美得很美得很！

點(diǎn)擊上方“AI算法與圖像處理”，加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)

妝容遷移是指將目標(biāo)圖上的妝容直接遷移到原圖上的技術(shù)。相比傳統(tǒng)貼妝技術(shù)，妝容遷移具有極高的自由度，它可以讓用戶不再局限于設(shè)計(jì)師設(shè)計(jì)好的妝容，而是可以自主、任意地從真實(shí)模特圖中獲取妝容，極大地豐富了妝容的多樣性。此外，妝容遷移技術(shù)不僅可以遷移五官妝容信息，還可以對膚色、光影等信息進(jìn)行整體遷移。目前，基于生成對抗網(wǎng)絡(luò)的模型BeautyGAN和PSGAN已經(jīng)在該領(lǐng)域取得了較好的效果。

今天分享 CVPR 2021 兩篇最新的妝容遷移相關(guān)的論文

Lipstick ain't enough: Beyond Color-Matching for In-the-Wild Makeup Transfer

論文/paper：https://arxiv.org/abs/2104.01867

代碼/code：https://github.com/VinAIResearch/CPM

視頻：https://www.bilibili.com/video/BV1954y137MQ/

摘要：

妝容轉(zhuǎn)移是將參考圖像中的妝容樣式應(yīng)用于源面部的任務(wù)?，F(xiàn)實(shí)生活中的妝容是多樣的、野性的，不僅涵蓋了色彩的變化，也涵蓋了圖案，比如貼紙、腮紅、珠寶等，然而現(xiàn)有的作品忽略了后者的成分，局限了妝容向色彩操控的轉(zhuǎn)移，只注重淡妝風(fēng)格。在這項(xiàng)工作中，我們提出了一個(gè)整體的化妝轉(zhuǎn)移框架，可以處理所有提到的化妝組件。它由一個(gè)改進(jìn)的顏色轉(zhuǎn)移分支和一個(gè)新的模式轉(zhuǎn)移分支組成，用于學(xué)習(xí)所有化妝屬性，包括顏色、形狀、紋理和位置。為了訓(xùn)練和評估這樣一個(gè)系統(tǒng)，我們還引入了新的化妝數(shù)據(jù)集，用于真實(shí)和合成的極端化妝。實(shí)驗(yàn)結(jié)果表明，我們的框架實(shí)現(xiàn)了the state of the art的效果，無論是輕和極端的化妝風(fēng)格

貢獻(xiàn)：

簡言之，我們的貢獻(xiàn)是：

（1）我們提出了一個(gè)結(jié)合色彩變換和圖案添加的妝容，并制定了一個(gè)全面的化妝轉(zhuǎn)移方法，適用于光和極端風(fēng)格

（2） 我們設(shè)計(jì)了一種新的結(jié)構(gòu)，它有兩個(gè)分支用于顏色和圖案的傳遞，并且我們建議在訓(xùn)練兩個(gè)網(wǎng)絡(luò)分支時(shí)使用UV空間中的扭曲面來消除輸入面在形狀、頭部姿勢和表情方面的差異

（3） 我們引入了新的妝容遷移數(shù)據(jù)集，其中包含了在以前的數(shù)據(jù)集中沒有考慮到的極端風(fēng)格

（4） 我們獲得了state-of-the-art的定量和定性性能。

框架圖

總而言之，我們的方法包括以下三個(gè)步驟。首先，將輸入圖像分別轉(zhuǎn)換為UV紋理貼圖。第二，紋理貼圖被傳遞到兩個(gè)平行的分支，用于基于顏色和基于圖案的妝容遷移。第三，通過合并這些分支的輸出來形成妝容遷移紋理，并將該UV紋理映射轉(zhuǎn)換到圖像空間以獲得最終的輸出。

效果圖

Spatially-invariant Style-codes Controlled Makeup Transfer

論文/paper：http://www.shengfenghe.com/?attachment_id=26109&download=1

代碼/code：https://github.com/makeuptransfer/SCGAN

視頻：

摘要：

未對準(zhǔn)的參考圖像進(jìn)行妝容遷移是具有挑戰(zhàn)性的任務(wù)。以前的方法通過計(jì)算兩幅圖像之間的像素級(jí)對應(yīng)來克服這一障礙，這種方法不精確且計(jì)算量大。在本文中，我們從不同的角度將妝容遷移問題分解為兩步提取-分配過程。為此，我們提出了一種基于風(fēng)格的可控GAN模型，該模型由三個(gè)部分組成，每個(gè)部分分別對應(yīng)于目標(biāo)風(fēng)格編碼、人臉特征提取和化妝融合。具體地，特定于部件的樣式編碼器將參考圖像的組件式構(gòu)圖樣式編碼為中間潛在空間W中的樣式代碼。樣式代碼丟棄空間信息，因此對空間錯(cuò)位保持不變。另一方面，樣式碼嵌入了組件信息，使得能夠從多個(gè)參考中靈活地進(jìn)行部分補(bǔ)碼編輯，該樣式碼與源標(biāo)識(shí)特征一起集成到一個(gè)具有多個(gè)AdaIN層的補(bǔ)碼融合解碼器中，以生成最終結(jié)果。我們提出的方法通過支持卸妝、陰影可控的補(bǔ)妝轉(zhuǎn)移和部分特定的補(bǔ)妝轉(zhuǎn)移（即使在空間錯(cuò)位較大的情況下），在補(bǔ)妝轉(zhuǎn)移上表現(xiàn)出極大的靈活性。

貢獻(xiàn)：

我們提出了一個(gè)與現(xiàn)有方法相比具有最佳靈活性的全自動(dòng)妝容遷移模型。通過編輯樣式代碼，無需額外的計(jì)算工作，就可以輕松地實(shí)現(xiàn)全局/局部色調(diào)轉(zhuǎn)移和去除以及陰影控制。

我們將妝容遷移問題分解為兩步提取-分配過程。提出了一種基于樣式的網(wǎng)絡(luò)PSEnc，將化妝樣式映射為組件式樣式代碼。這種設(shè)計(jì)消除了空間錯(cuò)位問題。

我們提出的模型即使在源圖像和參考圖像之間存在較大的空間錯(cuò)位的情況下也能達(dá)到最先進(jìn)的性能。

架構(gòu)圖

解析：提出的方法（SCGAN）的概述。在（a）中，參考圖像y被分解為三部分。part-specific樣式編碼器提取每個(gè)部分的特征，并將其映射到一個(gè)分離的樣式潛在空間W。人臉身份編碼器提取源圖像x的人臉身份特征。妝容融合解碼器將樣式碼w與人臉身份特征融合，生成最終結(jié)果x?. (b） 顯示PSEnc的映射模塊(c） 是MFDec中裝有AdaIN層的熔合塊。

效果圖

好的，今天的分享就到這里，如果喜歡記得關(guān)注我，給我一個(gè)三連，感謝

     

      個(gè)人微信（如果沒有備注不拉群！）
     
     

      請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
     
     

      

     


下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


   

    

   

   

    下載3 CVPR2021
   
   

    

   
   

    在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
   

點(diǎn)亮 ，告訴大家你也在看