CVPR 2021 | GAN的說(shuō)話人驅(qū)動(dòng)、3D人臉論文匯總
點(diǎn)擊上方“機(jī)器學(xué)習(xí)與生成對(duì)抗網(wǎng)絡(luò)”，關(guān)注星標(biāo)
獲取有趣、好玩的前沿干貨！
一、說(shuō)話人驅(qū)動(dòng)（talking head）
1、Audio-Driven Emotional Video Portraits
盡管此前一些方法在基于音頻驅(qū)動(dòng)的說(shuō)話人臉生成方面已取得不錯(cuò)的進(jìn)展，但大多數(shù)研究都集中在語(yǔ)音內(nèi)容與嘴形之間的相關(guān)性上。人臉的情感表現(xiàn)是很重要的特征，但此前的方法總忽視這一點(diǎn)。
這項(xiàng)工作提出“表情視頻肖像” (Emotional Video Portraits，EVP)，一種由音頻驅(qū)動(dòng)、具有動(dòng)態(tài)情感的肖像視頻合成系統(tǒng)。具體來(lái)說(shuō)，提出交叉重構(gòu)式的表情解耦技術(shù)，將語(yǔ)音分解為兩個(gè)解耦空間，即與時(shí)長(zhǎng)無(wú)關(guān)的情感空間和與時(shí)長(zhǎng)相關(guān)的內(nèi)容空間。解開的特征可推斷出動(dòng)態(tài)2D表情人臉。
2、Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation
針對(duì)任意人的、以其音頻驅(qū)動(dòng)的說(shuō)話人臉生成研究方向，已實(shí)現(xiàn)了較準(zhǔn)確的唇形同步，但頭部姿勢(shì)的對(duì)齊問(wèn)題依舊不理想。
此前的方法依賴于預(yù)先估計(jì)的結(jié)構(gòu)信息，例如關(guān)鍵點(diǎn)和3D參數(shù)。但極端條件下這種估計(jì)信息不準(zhǔn)確則效果不佳。本文主要針對(duì)的是，如何生成姿勢(shì)可控的說(shuō)話人臉。
3、One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
提出一種說(shuō)話人臉的視頻合成模型，并展示在視頻會(huì)議中的應(yīng)用。
使用包含目標(biāo)人物的源圖像，以及驅(qū)動(dòng)視頻來(lái)合成源人物說(shuō)話視頻。運(yùn)動(dòng)信息基于一種關(guān)鍵點(diǎn)表示進(jìn)行編碼，其中特定于身份和運(yùn)動(dòng)相關(guān)的信息被無(wú)監(jiān)督地解耦。
二、3D人臉相關(guān)
4、Inverting Generative Adversarial Renderer for Face Reconstruction
給定單目人臉圖像作為輸入，3D 人臉幾何重建旨在恢復(fù)相應(yīng)的 3D 人臉網(wǎng)格mesh。這項(xiàng)工作引入一種生成對(duì)抗渲染器 (GAR)，以面部法線貼圖和潛碼作為輸入，渲染出逼真的人臉圖像。
5、Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement
引入一個(gè)基于 GAN 的框架，將照片中人臉數(shù)字化成標(biāo)準(zhǔn)3D形象。
輸入圖像可以是一個(gè)微笑的人，也可以是在極端光照條件下拍攝的，作者聲稱所提方法均可生成高質(zhì)量的人臉紋理模型。
6、pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
提出π-GAN/pi-GAN，用于高質(zhì)量的 3D 感知的圖像合成。
7、StylePeople: A Generative Model of Fullbody Human Avatars
提出一種全身人體數(shù)字化的“化身”形象（full-body human avatars）方法。
saic-violet.github.io/style-people
三、人體運(yùn)動(dòng)合成
8、Scene-aware Generative Network for Human Motion Synthesis
關(guān)注的是人體運(yùn)動(dòng)合成，此前方法往往有兩方面局限：1）專注于姿勢(shì)，卻忽視了位置運(yùn)動(dòng)方面的因素，2）忽略了環(huán)境對(duì)人體運(yùn)動(dòng)的影響。
本文考慮場(chǎng)景和人體運(yùn)動(dòng)之間的相互作用，目標(biāo)是生成以場(chǎng)景和人體初始位置為條件的合理人體運(yùn)動(dòng)?；贕AN，使用判別器來(lái)保證人體運(yùn)動(dòng)與上下文場(chǎng)景、3D 到 2D 投影約束的兼容性。
上述論文可在 計(jì)算機(jī)視覺(jué)GAN 知識(shí)星球 打包下載
猜您喜歡：
等你著陸！【GAN生成對(duì)抗網(wǎng)絡(luò)】知識(shí)星球！
附下載 | 經(jīng)典《Think Python》中文版
附下載 | 《Pytorch模型訓(xùn)練實(shí)用教程》
附下載 | 最新2020李沐《動(dòng)手學(xué)深度學(xué)習(xí)》
附下載 | 《可解釋的機(jī)器學(xué)習(xí)》中文版
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》