90后已三十而立！一張照片用GAN生成70歲的你
??新智元報(bào)道??
??新智元報(bào)道??
編輯：QJP
【新智元導(dǎo)讀】你是否想象過未來的自己長什么樣子？來自斯坦福和華盛頓大學(xué)的研究員近期發(fā)表了一篇論文，提出了基于GAN的新方法，可以僅用一張照片，連續(xù)生成從年輕到年老的自己的照片。
壽命年齡轉(zhuǎn)換合成（Lifespan Age Transformation Synthesis）是一個(gè)以 GAN 為基礎(chǔ)的新方法，旨在從一個(gè)單一的輸入圖像模擬連續(xù)老化的過程。
?
這個(gè)算法被設(shè)計(jì)用來幻想衰老的過程，并在一個(gè)人的整個(gè)生命周期中生成一個(gè)近似的外觀。
?
最初的主要用例是用于藝術(shù)和娛樂(CGI 效果，相機(jī)濾鏡等)，但這種方法也可能用于更關(guān)鍵的應(yīng)用，例如模擬失蹤和被拐賣人口的外觀等。
? ? ? ?
? ? ? ?
作者同時(shí)還強(qiáng)調(diào)說，作為一種不完美的數(shù)據(jù)驅(qū)動(dòng)方法，結(jié)果可能是不準(zhǔn)確和有偏見的。輸出的結(jié)果應(yīng)該由一個(gè)專業(yè)人員進(jìn)行客觀的分析，而不是被當(dāng)作一個(gè)絕對的基本事實(shí)來使用。
?
當(dāng)用深度學(xué)習(xí)技術(shù)預(yù)測一個(gè)人在未來會(huì)是什么樣子，或者他在過去是什么樣子的時(shí)候，現(xiàn)有的方法大多局限于改變?nèi)四樀馁|(zhì)地，忽視了人體在老化和生長過程中頭部形態(tài)的變化。這就限制了以前的方法對成年人老化處理的適用性，而這些方法對兒童照片的應(yīng)用也不能產(chǎn)生高質(zhì)量的結(jié)果。
?
來自華盛頓大學(xué)和斯坦福大學(xué)的研究人員提出了一種新的多域圖像生成對抗網(wǎng)絡(luò)結(jié)構(gòu)，其學(xué)習(xí)潛空間模型是一個(gè)連續(xù)的雙向的老化過程。
? ? ? ?
? ? ? ?
該網(wǎng)絡(luò)是在 FFHQ 數(shù)據(jù)集上進(jìn)行訓(xùn)練的，并按照年齡、性別和語義分割對其進(jìn)行標(biāo)記。固定年齡類別被用作錨定來近似連續(xù)年齡轉(zhuǎn)換。新框架可以通過一張照片預(yù)測0-70歲年齡段的完整頭像，同時(shí)修改頭部的紋理和形狀。作者們展示了各種各樣的照片和數(shù)據(jù)集的結(jié)果，并顯示了顯著的改善超過了現(xiàn)有的水平。
? ? ? ?
? ? ? ??
作者團(tuán)隊(duì)在算法設(shè)計(jì)上投入了大量的精力，以保持輸入圖像中人的身份，并最小化數(shù)據(jù)集固有偏差對結(jié)果的影響，這些改進(jìn)措施就包括:
?
1.設(shè)計(jì)身份編碼器結(jié)構(gòu)，保留輸入圖像的局部結(jié)構(gòu)
?
2.保持個(gè)人身份的訓(xùn)練損失
?
3.FFHQ 數(shù)據(jù)集包含年齡段的性別不平衡。為了防止在輸出中引入這些偏見，例如為女性生產(chǎn)男性面部特征或反之亦然，訓(xùn)練了兩個(gè)獨(dú)立的模型，一個(gè)是男性模型，一個(gè)是女性模型。應(yīng)用哪個(gè)模型的決定留給用戶自己去決定。
?
結(jié)果與部分SOTA模型的比較：
?? ? ? ?
與PyGAN相比，新模型得到了更為清晰和真實(shí)的照片預(yù)測結(jié)果，不同年齡之間的轉(zhuǎn)換也更為順滑。
? ? ? ?
圖：能夠產(chǎn)生更清晰的皺紋，相比S2GAN來說更適用于年齡較大的人群
?
此模型在FFHQ上訓(xùn)練并在CACD上進(jìn)行測試，而PyGAN和S2GAN都在CACD數(shù)據(jù)集上進(jìn)行訓(xùn)練，即使PyGAN通過一個(gè)不同的生成器進(jìn)行訓(xùn)練來產(chǎn)生每個(gè)年齡段的人，但新的網(wǎng)絡(luò)仍然能夠通過單個(gè)生成器來輸出多個(gè)類別，同時(shí)實(shí)現(xiàn)更加寫實(shí)的照片。與S2GAN相比，新的算法能夠產(chǎn)生更明顯的皺紋和面部特征年齡，同時(shí)可以跨越更長的年齡范圍來生成圖片。
?
如果需要在自己的本地機(jī)器上運(yùn)行的前提條件是：
?
1.需要有GPU并且安裝了CUDA
?
2.代碼應(yīng)該運(yùn)行在 PyTorch 1.0.0 以上的版本和 torchvision 0.4.0以上的版本上。
?
3.使用提供的 requirements.txt 文件: pip install-r requirements.txt 安裝所需要的包
?
好消息是，研究人員還提供了Colab的Demo，可以使用自己的圖片進(jìn)行測試，相信大家已經(jīng)躍躍欲試了吧。
?
Colab地址附送如下：
https://colab.research.google.com/github/royorel/Lifespan_Age_Transformation_Synthesis/blob/master/LATS_demo.ipynb#scrollTo=3ezAOkaHw4Q_
?
項(xiàng)目地址：
https://github.com/royorel/Lifespan_Age_Transformation_Synthesis
