姿態(tài)可控的Talking Face Generation隱式模塊化 Audio-Visual 表征 (CVPR 2021)

https://github.com/Hangz-nju-cuhk/Talking-Face_PC-AVS

https://arxiv.org/abs/2104.11116

摘要：

提出了一種姿態(tài)可控的視聽系統(tǒng)（PC-AVS），該系統(tǒng)實現(xiàn)了任意語音人臉的自由姿態(tài)控制。我們沒有從音頻中學(xué)習(xí)姿勢運動，而是利用另一個姿勢源視頻來僅補償頭部運動。關(guān)鍵是設(shè)計一個不含口型和身份信息的隱式低維姿態(tài)編碼。通過這種方式，視聽表示被模塊化為三個關(guān)鍵因素的空間：語音內(nèi)容、頭部姿勢和身份信息。