點擊下方“AI算法與圖像處理”，關(guān)注一下
重磅干貨，第一時間送達(dá)
【導(dǎo)讀】Tony老師不能給你的，GAN給你！這個名為Barbershop的技術(shù)能幫你嘗試不同的發(fā)型和發(fā)色。重點是：新發(fā)型與您的頭完美融合，完 全 沒 有 生 硬 感！
如果能在理發(fā)前，把這幾個發(fā)型「試用」就好了。
最近，一個基于GAN的項目Barbershop火了！它不僅可以改變你的頭發(fā)風(fēng)格，還可以從多個圖像實例中改變顏色。
重要的是，不同于一般的換頭發(fā)AI，這次的效果讓你的臉與新頭發(fā)完美融合。
一頭逼真的「假發(fā)」：發(fā)型、顏色任你選
把這三樣?xùn)|西交給算法，你就能看到自己的發(fā)型合不合適。
3 另一張你想嘗試的頭發(fā)顏色的照片（或同一張）
怎么樣是不是新發(fā)型與您的頭完美融合？再也沒有生硬感？
為了確定這個項目符合大眾審美，作者還對396名參與者進(jìn)行了用戶研究。答案是：GAN給出的解決方案在95%的情況下都是他們首選的！
去掉生硬感！在GAN中加入對齊（alignment）步驟
GAN架構(gòu)可以學(xué)習(xí)將一個圖像的特定特征或風(fēng)格移植到另一個圖像上。雖然它并不是一項新技術(shù)了，但是關(guān)于它的應(yīng)用一種充滿新鮮勁兒。
但也有一些細(xì)節(jié)給GAN的應(yīng)用帶來挑戰(zhàn)，譬如：光線的差異帶來了遮擋，在兩張照片中的頭部可能會出現(xiàn)不同，會帶來生硬感。
通常情況下，這些使用GANs的技術(shù)會試圖對圖片信息進(jìn)行編碼，并在此編碼中明確識別與頭發(fā)屬性相關(guān)的區(qū)域來切換它們。但只有當(dāng)兩張照片的拍攝條件類似時，這種換頭發(fā)的效果才會很好——不過，這很難。
首先，將換頭發(fā)分為兩個層級：結(jié)構(gòu)（structure）和外觀（appearance）。
結(jié)構(gòu)是指頭發(fā)的幾何形狀——卷曲的、波浪的還是直的。外觀指的是深度編碼的信息，包括頭發(fā)顏色、紋理和照明。
這里的目標(biāo)是將特定圖片的發(fā)型和顏色移植到自己的圖片上，同時按照圖片的光照和屬性改變結(jié)果，使其一次就能達(dá)到令人信服的真實效果，減少步驟和錯誤來源。
為了實現(xiàn)這一目標(biāo)，作者在GANs中增加了一個缺失但必不可少的對齊（alignment）步驟。
事實上，它不是簡單地對圖像進(jìn)行編碼和合并，而是按照不同的分割掩碼稍微改變編碼，使兩幅圖像的潛伏代碼更加相似。正如前面提到的，它們都可以編輯頭發(fā)的結(jié)構(gòu)和風(fēng)格或外觀。
我們知道，GANs使用卷積對信息進(jìn)行編碼。這意味著它使用卷積核來降低每一層的信息規(guī)模，并使其越來越小，從而迭代地去除空間細(xì)節(jié)，同時對所產(chǎn)生的輸出的一般信息給予越來越多的價值。
這些信息是從不同的圖像中提取的，但現(xiàn)在，如何合并這些信息，才使結(jié)果看起來逼真些呢？
這是用圖像的分割圖完成的。更準(zhǔn)確地說，是在我們的目標(biāo)和參考圖像的對齊版本的基礎(chǔ)上，生成這個想要的新圖像。參考圖像是我們自己的圖像，而目標(biāo)圖像是我們想要應(yīng)用的發(fā)型。這些分割圖告訴我們圖像包含什么以及它在哪里，頭發(fā)、皮膚、眼睛、鼻子等。
利用這些來自不同圖像的信息，他們可以在將圖像發(fā)送到網(wǎng)絡(luò)進(jìn)行編碼之前，使用基于StyleGAN2的改良架構(gòu)，按照目標(biāo)圖像結(jié)構(gòu)對齊。
然后，對于外觀和光照問題，他們從目標(biāo)圖像和參考圖像中找到這些外觀編碼的適當(dāng)混合比例，用于相同的分割區(qū)域，使其看起來盡可能的真實。
對比一下就知道效果：左是沒有對齊的結(jié)果，右是本文的方法。
當(dāng)然，這個過程有點復(fù)雜，具體細(xì)節(jié)都可以在論文中找到。
但請注意，就像大多數(shù)GANs的實現(xiàn)一樣，他們的架構(gòu)需要被訓(xùn)練。在這里，他們使用了一個在FFHQ數(shù)據(jù)集上訓(xùn)練的StyleGAN2基礎(chǔ)的網(wǎng)絡(luò)。然后，由于他們做了許多修改，正如剛才討論的，他們用198對圖像作為發(fā)型轉(zhuǎn)移的例子，第二次訓(xùn)練他們修改后的StleGAN2網(wǎng)絡(luò)，以優(yōu)化模型外觀混合比例和結(jié)構(gòu)編碼。
GitHub地址：https://github.com/ZPdesu/Barbershop
論文：https://arxiv.org/pdf/2106.01505.pdf
https://pub.towardsai.net/barbershop-try-different-hairstyles-and-hair-colors-from-pictures-gans-e5138a8ee5f4
請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！
在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
點亮 
，告訴大家你也在看
