二次元的正確打開方式

大家好，我是 Jack 。

去年發(fā)表的「Talking Head Anime」大家都看過了吧？

最近，這位谷歌工程師對(duì)算法進(jìn)行了升級(jí)，「Talking Head Anime 2」效果更好！

只需要一張 PNG 二次元角色圖片，就可以生成虛擬偶像，生成帶面部表情捕捉的 Vtuber 角色。

作者親自上場(chǎng)，動(dòng)漫頭像根據(jù)作者的口型和頭部動(dòng)作實(shí)時(shí)「演唱」，作者的完整視頻：

老規(guī)矩，今天就教大家怎么玩！

1

算法原理

算法的核心思想是：給定某個(gè)動(dòng)漫人物的一張人臉圖像和六軸的姿態(tài)信息（Pose），生成同一人物的另一張人臉圖像。

通過實(shí)時(shí)控制六軸的姿態(tài)信息（Pose），來(lái)達(dá)到實(shí)時(shí)控制動(dòng)漫人物的效果。

整個(gè)過程分類兩個(gè)步驟：

• 第一步：改變面部表情，即控制眼睛和嘴的開閉程度。

• 第二步：人臉旋轉(zhuǎn)。

每一步都使用單獨(dú)的一個(gè)網(wǎng)絡(luò)，并將第一個(gè)網(wǎng)絡(luò)的輸出作為第二個(gè)網(wǎng)絡(luò)的輸入。

第一個(gè)網(wǎng)絡(luò)為人臉變形器，第二個(gè)網(wǎng)絡(luò)為人臉旋轉(zhuǎn)器。

為了獲得更好的面部動(dòng)作，作者本次升級(jí)將姿態(tài)維度增加到了 42 維。

同時(shí)在人臉變形器中增加了眉毛、眼睛、嘴巴形變器。

眉毛變形器：可以分割出眉毛，并控制眉毛扭曲的形狀。

眼睛和嘴巴變形器的網(wǎng)絡(luò)也是類似操作。

更具體的原理，詳見作者的論文：

https://pkhungurn.github.io/talking-head-anime-2/

2

算法測(cè)試

「Talking Head Anime 2」還沒有開源，不過應(yīng)該馬上就有了。

著急，可以先玩一玩「Talking Head Anime」，效果也很不錯(cuò)，同時(shí)也算為第二代做環(huán)境的準(zhǔn)備了。

項(xiàng)目地址：

https://github.com/pkhungurn/talking-head-anime-demo

第一步：配置開發(fā)環(huán)境。

依賴不多，使用 Anaconda 配置安裝下即可。

?

這里有詳細(xì)的環(huán)境配置教程：別再折騰開發(fā)環(huán)境了，一勞永逸的搭建方法

第二步：下載代碼和權(quán)重文件。

一共四個(gè)權(quán)重文件，下載好并它們放在工程目錄的 data 目錄下。

我將代碼和權(quán)重文件，進(jìn)行了打包，可以直接下載使用（提取碼：jack）：

https://pan.baidu.com/s/1VmLncRBTl4zJMo4nHsUf4w

第三步：運(yùn)行程序。

python app/manual_poser.py

超級(jí)簡(jiǎn)單，運(yùn)行效果：

3

總結(jié)

很期待第二個(gè)優(yōu)化版本，效果絕對(duì)更好！

真實(shí)人臉也是可以這樣控制的，只是需要的維度更多，數(shù)據(jù)更多。

現(xiàn)在各種虛擬主播已經(jīng)登場(chǎng)了，在直播領(lǐng)域上線了不少相關(guān)產(chǎn)品，后續(xù)這類技術(shù)會(huì)做的越來(lái)越好。

三次元的人臉模型驅(qū)動(dòng)也將不在話下。

我是 Jack，我們下期見。

·················END·················

---

推薦閱讀

?? ?保姆級(jí)人工智能學(xué)習(xí)路線?? ?我，這一年????保姆級(jí)GPU白嫖攻略

---