想看看全球首富馬斯克變成二次元的樣子嗎？

?

當(dāng)當(dāng)當(dāng)當(dāng)！

?

圖片來(lái)源：https://huggingface.co/spaces/akhaliq/AnimeGANv2

?

怎么還有一絲嫵媚呢？

?

近日，在huggingface社區(qū)上，最強(qiáng)動(dòng)漫風(fēng)格遷移模型AnimeGAN的迭代版AnimeGANv2上線了一個(gè)體驗(yàn)demo出來(lái)。

?

多年來(lái)，動(dòng)漫角色與人類同行，扮演著摯愛的朋友，在日常生活中給很多人以情感安慰。

?

隨著他們的流行，動(dòng)漫角色已經(jīng)不局限于娛樂(lè)行業(yè)或營(yíng)銷領(lǐng)域，計(jì)算機(jī)視覺和圖形學(xué)的最新進(jìn)展進(jìn)一步加速了角色的廣泛傳播，為個(gè)人創(chuàng)作者輕松設(shè)計(jì)自己的角色并在公共在線平臺(tái)上展示他們的作品鋪平了道路。

?

其中，動(dòng)漫角色設(shè)計(jì)和深度學(xué)習(xí)相結(jié)合的作品也越來(lái)越多。

?

不過(guò)，雖然基于深度學(xué)習(xí)的人臉生成GAN取得了顯著的成功，但這些模型仍然局限于真實(shí)人臉的領(lǐng)域。

?

而由于缺乏動(dòng)漫風(fēng)的人臉數(shù)據(jù)集，動(dòng)漫人臉生成領(lǐng)域的工作目前還不夠深入。

?

大規(guī)模的動(dòng)漫人臉數(shù)據(jù)集

?

韓國(guó)科學(xué)技術(shù)院最近的一項(xiàng)研究提出了一個(gè)大規(guī)模的動(dòng)漫人臉數(shù)據(jù)集AnimeCeleb，以促進(jìn)動(dòng)漫人臉領(lǐng)域的研究。

?

https://arxiv.org/pdf/2111.07640.pdf

?

為了簡(jiǎn)化動(dòng)漫人臉數(shù)據(jù)集的生成過(guò)程，他們通過(guò)可控的合成動(dòng)漫模型，基于一個(gè)開放的三維軟件和一個(gè)注釋系統(tǒng)構(gòu)建了一個(gè)半自動(dòng)管道，可以構(gòu)建大規(guī)模動(dòng)漫人臉數(shù)據(jù)集，包括具有豐富注釋的多姿態(tài)和多風(fēng)格動(dòng)漫人臉。

?

AnimeCeleb的隨機(jī)抽樣例子

?

并且實(shí)驗(yàn)表明，該數(shù)據(jù)集適用于各種與動(dòng)漫相關(guān)的任務(wù)，例如頭部重現(xiàn)和著色。

?

與公開的現(xiàn)有動(dòng)漫人臉數(shù)據(jù)集相比，AnimeCeleb內(nèi)含240萬(wàn)張圖片，全部依賴于3D模型渲染來(lái)構(gòu)建動(dòng)漫人臉數(shù)據(jù)集。

?

這確保了大規(guī)模數(shù)據(jù)集包含詳細(xì)的注釋以及具有相同身份的多姿態(tài)圖像。此外，考慮到不同的繪畫方式，動(dòng)漫還包含多種風(fēng)格。

?

?

這簡(jiǎn)直就是動(dòng)漫人臉數(shù)據(jù)集的ImageNet呀！

?

如何制作？

?

那這樣龐大的動(dòng)漫人臉數(shù)據(jù)集是如何制作出來(lái)的呢？

?

第一步，數(shù)據(jù)收集（A.1）。在過(guò)濾掉不合適的外觀動(dòng)漫模型后，總共獲得了3613個(gè)可用的三維動(dòng)漫模型。

?

數(shù)據(jù)集生成管道概述

?

第二步，3D動(dòng)漫模型描述（A.2）。收集的3D動(dòng)漫模型不僅包含動(dòng)漫角色的完整身體信息，如3D網(wǎng)格、骨骼和紋理組件，還包含可以改變3D模型外觀的變形量。

?

為每個(gè)變形量指定一個(gè)標(biāo)量值，我們可以改變3D模型的相關(guān)屬性（例如，張開/閉上嘴，張開/閉上眼睛）。

??

目標(biāo)變形的可視化示例（前四列）和三維頭部旋轉(zhuǎn)（最后一列）

?

第三步，圖像渲染（B）。為了從3D動(dòng)漫模型中自動(dòng)采樣動(dòng)漫人臉圖像的過(guò)程，他們新開發(fā)了一個(gè)2D人臉圖像生成系統(tǒng)，該系統(tǒng)建立在支持3D模型可視化、操作和渲染的開源3D計(jì)算機(jī)圖形軟件Blender上。

?

第四步，語(yǔ)義標(biāo)注（C）。語(yǔ)義標(biāo)注步驟的目標(biāo)是識(shí)別面部表情相關(guān)的形態(tài)，并根據(jù)語(yǔ)義準(zhǔn)確和統(tǒng)一的命名約定對(duì)形態(tài)進(jìn)行標(biāo)注。重要的是，這使我們能夠在對(duì)面部表情相關(guān)的變形進(jìn)行采樣時(shí)，對(duì)所有3D動(dòng)漫模型應(yīng)用一致的姿勢(shì)采樣策略。

?

最后一步，數(shù)據(jù)采樣（D）。對(duì)于采樣，隨機(jī)采樣人臉的每個(gè)部分（即眼睛、眉毛和嘴）的目標(biāo)變形被應(yīng)用于三維動(dòng)漫模型。通過(guò)從均勻分布[0，1]中獨(dú)立采樣來(lái)確定形變的幅度。

?

采樣數(shù)據(jù)示例

?

實(shí)驗(yàn)結(jié)果

?

在任務(wù)選擇過(guò)程中，研究人員重點(diǎn)展示了對(duì)動(dòng)漫相關(guān)任務(wù)的適用性和動(dòng)漫跨身份頭像重現(xiàn)結(jié)果。

?

頭像重現(xiàn)任務(wù)旨在將動(dòng)漫風(fēng)格從風(fēng)格驅(qū)動(dòng)圖像轉(zhuǎn)移到源圖像，同時(shí)保留源身份。由于AnimeCeleb屬性包含多個(gè)相同身份的圖像，他們實(shí)現(xiàn)了兩個(gè)代表性的基線：FOMM和PIRenderer。

?

頭像重現(xiàn)的定量結(jié)果。顯然，在AnimeCeleb上訓(xùn)練優(yōu)于在VoxCeleb上訓(xùn)練。

?

結(jié)果顯而易見，在AnimeCeleb測(cè)試集上測(cè)試時(shí)，在AnimeCeleb上訓(xùn)練的模型優(yōu)于在VoxCeleb上訓(xùn)練的基線模型。

?

域外（Out-of-Domain）動(dòng)漫頭像重現(xiàn)結(jié)果也非常棒。

?

給定來(lái)自Waifu數(shù)據(jù)集的源圖像（第1列）和來(lái)自AnimeCeleb的驅(qū)動(dòng)圖像（第2列），僅使用AnimeCeleb訓(xùn)練的FOMM和PIRenderer都成功地將驅(qū)動(dòng)圖像的風(fēng)格轉(zhuǎn)移到源圖像。

?

研究人員還用AnimeCeleb訓(xùn)練模型去發(fā)現(xiàn)樣本中語(yǔ)義一致的部分，比如：整體面部、頭部和頜骨等等。

?

動(dòng)漫人臉語(yǔ)義分割結(jié)果，訓(xùn)練好的模型能夠識(shí)別不同圖像中的一致語(yǔ)義。

?

在動(dòng)漫領(lǐng)域，自動(dòng)著色是動(dòng)漫創(chuàng)作者在勞動(dòng)密集型繪畫過(guò)程中減少工作量的重要任務(wù)。使用經(jīng)過(guò)訓(xùn)練的彩色化模型，創(chuàng)作者能夠獲得給定草圖圖像的彩色化圖像。

?

使用用AnimeCeleb訓(xùn)練的基線，可以繪制出良好的動(dòng)漫角色草圖圖像，自動(dòng)生成彩色化輸出。

?

通過(guò)參考域內(nèi)和域外圖像，用AnimeCeleb訓(xùn)練的Pix2Pix成功輸出彩色圖像。

?

在未來(lái)的工作中，AnimeCeleb還會(huì)進(jìn)一步被擴(kuò)展，以在多視圖環(huán)境中提供更多樣的面部表情。