色撸撸AV,www.91熊猫成人网,在线观看免费视频一区,亚洲第一免费播放区,无码天天干,久久国产福利,日韩有码日韩无码,媚药一区二区三区四区

新智元報道

【新智元導(dǎo)讀】本文是對發(fā)表于計算機(jī)圖形學(xué)頂級會議 SIGGRAPH 2021 的論文 Learning Skeletal Articulations with Neural Blend Shapes 的解讀。關(guān)鍵詞：neural rigging, blend shapes

該論文由北京大學(xué)陳寶權(quán)教授研究團(tuán)隊與北京電影學(xué)院未來影像高精尖創(chuàng)新中心、Google Research、特拉維夫大學(xué)以及蘇黎世聯(lián)邦理工學(xué)院合作，針對骨骼驅(qū)動的模型動畫的高質(zhì)量自動化生成進(jìn)行改進(jìn)，提出了神經(jīng)融合形狀技術(shù)。實驗證明，該方法顯著減少了已有方法中需要的人工干預(yù)，大大提升了生成動畫的質(zhì)量。

論文鏈接：

https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf

項目主頁：https://peizhuoli.github.io/neural-blend-shapes/

GitHub代碼倉庫：https://github.com/PeizhuoLi/neural-blend-shapes

（點擊文末“閱讀原文”跳轉(zhuǎn)項目主頁）

01引言

骨骼驅(qū)動的三維人物動畫在游戲、影視等應(yīng)用場景中隨處可見。然而，使用骨骼驅(qū)動三維人物網(wǎng)格模型（mesh）進(jìn)行變形并得到動畫，通常需要經(jīng)歷繁瑣的骨骼搭建（rigging）以及蒙皮權(quán)重綁定（skinning）。這些處理技術(shù)復(fù)雜而艱深，動畫師通常需要數(shù)年的時間來嘗試掌握。此外，一些常見的特定動作，例如彎曲肘部、蹲下，由于常用的蒙皮技術(shù)（線性融合蒙皮，Linear Blend Skinning）的局限性，關(guān)節(jié)區(qū)域的變形并不理想。

左：現(xiàn)有技術(shù)在關(guān)節(jié)區(qū)域的問題；右：本文技術(shù)生成的高質(zhì)量且細(xì)節(jié)豐富的動畫

為了簡化骨骼搭建和蒙皮權(quán)重綁定的過程、高效利用動作捕捉數(shù)據(jù)以及生成高質(zhì)量的動畫，我們開發(fā)了一套能生成具有指定結(jié)構(gòu)的骨骼以及精準(zhǔn)綁定權(quán)重的神經(jīng)網(wǎng)絡(luò)。加以我們提出的神經(jīng)融合形狀（neural blend shapes）技術(shù)，我們實現(xiàn)了實時高質(zhì)量三維人物模型動畫的端到端自動生成。

方法概覽

02方法簡介

從處于 T 姿態(tài)的人物模型以及在給定的骨骼結(jié)構(gòu)上的關(guān)節(jié)旋轉(zhuǎn)開始，我們的包裹變形分支（envelope deformation branch）學(xué)習(xí)并預(yù)測出相應(yīng)的骨骼以及蒙皮權(quán)重。與此同時，補(bǔ)償變形分支（residual deformation branch）預(yù)測出對應(yīng)的融合形狀（blend shapes）并使用輸入的關(guān)節(jié)旋轉(zhuǎn)預(yù)測對應(yīng)的融合系數(shù)，然后基于此插值得到補(bǔ)償變形。綜合以上中間結(jié)果，可微分包裹變形模塊將生成最終的變形結(jié)果。這一設(shè)計使得我們的神經(jīng)網(wǎng)絡(luò)能夠通過僅觀察變形后的人物模型進(jìn)行間接學(xué)習(xí)，而不需要對訓(xùn)練數(shù)據(jù)集的變形方法有任何限制，極大增廣了該方法的適用范圍。

方法框架

我們的神經(jīng)網(wǎng)絡(luò)使用了網(wǎng)格卷積[1]和骨骼卷積[2]搭建各個模塊?；谶@些最前沿技術(shù)的基本算子，我們的網(wǎng)絡(luò)可以在具有任意網(wǎng)格連通性的人物模型上生成高質(zhì)量的結(jié)果。下圖展示了我們的網(wǎng)絡(luò)的具體架構(gòu)：

包裹變形分支

補(bǔ)償變形分支

03結(jié)果展示

我們的方法能準(zhǔn)確的預(yù)測出與人物模型高度匹配的骨骼以及綁定權(quán)重：

骨骼以及綁定權(quán)重的可視化

特別的，我們的方法能生成符合預(yù)先指定結(jié)構(gòu)的骨骼，這一點在使用動作捕捉數(shù)據(jù)時尤為關(guān)鍵。而 RigNet[3]只提供了十分有限的用戶操縱參數(shù)，生成的骨骼結(jié)構(gòu)難以控制：

從左至右分別為：RigNet(12), RigNet(25), RigNet(50), Ours

由于我們的神經(jīng)網(wǎng)絡(luò)直接在高質(zhì)量變形模型上訓(xùn)練，僅使用包裹變形分支就已經(jīng)超過了基準(zhǔn)的線性融合蒙皮技術(shù)。再加上我們的神經(jīng)融合形狀技術(shù)，關(guān)節(jié)區(qū)域的變形結(jié)果便是更上一層樓：

動畫結(jié)果對比

參考：

[1] Hanocka et al., 2019, MeshCNN: A Network with an Edge

[2] Aberman et al., 2020, Skeleton-Aware Networks for Deep Motion Retargeting

[3] Xu et al., 2020, RigNet: Neural Rigging for Articulated Characters

圖文 | 李沛卓

Visual Computing and Learning (VCL)

可視計算與學(xué)習(xí)實驗室

Visual Computing and Learning

可視計算與學(xué)習(xí)實驗室隸屬北京大學(xué)前沿計算研究中心，在陳寶權(quán)教授帶領(lǐng)下，圍繞圖形學(xué)、三維視覺、可視化及機(jī)器人等領(lǐng)域展開科學(xué)研究，堅持跨學(xué)科前沿技術(shù)探索、視覺藝術(shù)和技術(shù)融合兩條主線，長期與頂級國際團(tuán)隊深度合作，并積極進(jìn)行產(chǎn)業(yè)化實踐與推廣。

AI家，新天地。西山新綠，新智元在等你！

【新智元高薪誠聘】主筆、高級編輯、商務(wù)總監(jiān)、運(yùn)營經(jīng)理、實習(xí)生等崗位，歡迎投遞簡歷至[email protected] (或微信: 13520015375)

辦公地址：北京海淀中關(guān)村軟件園3號樓1100

SIGGRAPH 2021 | 學(xué)習(xí)帶神經(jīng)融合形狀的人物動畫

新智元報道

【新智元導(dǎo)讀】本文是對發(fā)表于計算機(jī)圖形學(xué)頂級會議 SIGGRAPH 2021 的論文 Learning Skeletal Articulations with Neural Blend Shapes 的解讀。關(guān)鍵詞：neural rigging, blend shapes

【新智元導(dǎo)讀】本文是對發(fā)表于計算機(jī)圖形學(xué)頂級會議 SIGGRAPH 2021 的論文 Learning Skeletal Articulations with Neural Blend Shapes 的解讀。關(guān)鍵詞：neural rigging, blend shapes