Mixlab

制作數(shù)字人的工具非常多，2D 類制作工具包括 Live2D、Vroid Studio；超寫實(shí)類制作工具包括 Avatary、MetaHuman Creator 等。

知識(shí)庫

除了使用設(shè)計(jì)工具進(jìn)行數(shù)字人制作，也可以使用算法直接生成數(shù)字人模型。AvatarCLIP?就是通過輸入文本來輸出動(dòng)態(tài)數(shù)字人模型。

小杜

AvatarMe?也是可自動(dòng)生成數(shù)字人模型的算法，輸入信息可以是任何人臉圖片類信息，包括相機(jī)拍攝的圖片、繪畫人像等。

AvatarMe

AvatarMe?是一種數(shù)字人臉模型重建方法，輸入一張包含人臉圖像的信息即可生成可實(shí)時(shí)渲染的逼真寫實(shí)的 3D 面部。

小杜

使用該模型用輸入圖片生成重建數(shù)字人臉有三個(gè)準(zhǔn)備步驟

# 01

人臉輸入圖像基礎(chǔ)信息重建

重建輸入圖片信息得到可渲染用紋理模型

# 02

提高紋理模型分辨率

紋理被采樣8次后使用8倍分辨率增強(qiáng)紋理模型，提高輸出模擬的精度

#03

圖像轉(zhuǎn)換網(wǎng)絡(luò)對(duì)紋理進(jìn)行去光處理

最后一步使模型獲得具有高頻細(xì)節(jié)的漫反射反照率，使面部和頭部模型可以在任何環(huán)境中逼真地渲染。

小杜

完成模型的輸出生成后即可開始模型應(yīng)用

#?較高精度模型展覽

#?不同種類輸入圖像的3D數(shù)字模型重建

黑白照片、名人名畫、不同背景中的人像都可重建生成。

# 不同光源、場(chǎng)景中的重建頭像實(shí)時(shí)渲染

小杜

該模型使用了高分辨率網(wǎng)格和反射紋理，包括漫反射反照率、鏡面反射率、漫反射法線、鏡面法線等，可與大多數(shù)開源或商業(yè)渲染器一起使用，能夠?qū)崿F(xiàn)在各種照明環(huán)境中渲染重建的數(shù)字頭像模型。

圖片-數(shù)字重建模型-實(shí)時(shí)場(chǎng)景渲染技術(shù)應(yīng)用面十分廣。文物頭像&名人畫像動(dòng)態(tài)創(chuàng)意、元宇宙身份系統(tǒng)技術(shù)基礎(chǔ)設(shè)施等等應(yīng)用領(lǐng)域都有用武之地。

項(xiàng)目地址：

github.com/lattas/avatarme

論文地址：

arxiv.org/abs/2112.05957

視頻地址：

youtube.com/watch?v=fEsgeZPN8Uw

技術(shù)解讀擴(kuò)展閱讀推薦：

zhangtemplar.github.io/avatarme

小杜

關(guān)于輸入圖片類數(shù)字人生成還有類似的算法

DECA: 基于單張圖片進(jìn)行三維人臉建模

可參考項(xiàng)目資源：

openbayes.com/console/open-tutorials/containers/3vGLMGSXAcY

opus

歡迎加入社群，探索?數(shù)字人?的多樣玩法～

備注：數(shù)字人

[ 元宇宙創(chuàng)作者指南?]?

[ 元宇宙資源清單?]

github.com/shadowcz007/awesome-metaverse

一鍵生成？從照片生成人臉 3D 模型 #AvatarMe

DECA: 基于單張圖片進(jìn)行三維人臉建模