天堂网av2014,国产三级三级在线观看,五月天综合激情,韩国色五月婷婷,婷婷爱爱蜜臀天天操,亚洲视频在线播放,无码人妻一区二区三区蜜桃视频,成人黄色在线观看

來(lái)源：機(jī)器之心
本文約2000字，建議閱讀5分鐘
酷炫的神經(jīng)動(dòng)作合成技術(shù)，單個(gè)序列就能完成。

生成逼真且多樣化的人體動(dòng)作是計(jì)算機(jī)圖形學(xué)的長(zhǎng)期目標(biāo)。對(duì)于動(dòng)作建模和合成來(lái)說(shuō)，研究者通常使用概率模型來(lái)捕獲有限的局部變化或利用動(dòng)作捕捉（mocap）獲得的大型動(dòng)作數(shù)據(jù)集。在階段設(shè)置（stage-setting）和后期處理（例如，涉及手動(dòng)數(shù)據(jù)清理）中，使用動(dòng)作捕捉系統(tǒng)捕獲數(shù)據(jù)的成本很高，并且動(dòng)作數(shù)據(jù)集通常是有限制的，即它們?nèi)狈λ璧墓趋澜Y(jié)構(gòu)、身體比例或樣式。利用動(dòng)作數(shù)據(jù)集通常需要復(fù)雜的處理，例如重新定位，這可能會(huì)在原始捕獲的動(dòng)作中引入錯(cuò)誤。

近日，來(lái)自蘇黎世聯(lián)邦理工學(xué)院、谷歌、芝加哥大學(xué)等機(jī)構(gòu)的研究者開(kāi)發(fā)了一個(gè)框架 GANimator，該框架能夠產(chǎn)生不同且逼真的動(dòng)作，只使用一個(gè)單一的訓(xùn)練序列。這一框架大大簡(jiǎn)化了數(shù)據(jù)收集過(guò)程，同時(shí)允許創(chuàng)建逼真的動(dòng)作變化，還可以準(zhǔn)確地捕捉單獨(dú)動(dòng)作序列細(xì)節(jié)。該研究入選 SIGGRAPH 2022。

論文地址：
https://arxiv.org/pdf/2205.02625.pdf
項(xiàng)目地址：
https://peizhuoli.github.io/ganimator/

我們先來(lái)看如下效果圖，左邊輸入的是單個(gè)動(dòng)作序列，右邊是生成結(jié)果：

GANimator 框架也可以處理動(dòng)物類(lèi)的輸入：

群體動(dòng)畫(huà)。GANimator 框架訓(xùn)練了一個(gè)單一的螃蟹舞蹈序列，可以生成各種新穎的運(yùn)動(dòng)：

GANimator 框架也可以混合不同的序列，生成一個(gè)動(dòng)作序列：

上述示例說(shuō)明 GANimator 框架是生成新動(dòng)作的有效工具，它可以?xún)H使用短動(dòng)作序列作為輸入來(lái)合成較長(zhǎng)、多樣和高質(zhì)量的動(dòng)作序列。

方法概覽

研究者提出的生成模型可以從單個(gè)動(dòng)作序列中學(xué)習(xí)，采用的方法受到了圖像領(lǐng)域最近使用漸進(jìn)式生成的工作以及在單個(gè)示例上訓(xùn)練深度網(wǎng)絡(luò)的工作的啟發(fā)。接下來(lái)詳細(xì)介紹分層框架、動(dòng)作表征和訓(xùn)練流程的主要構(gòu)建塊。

動(dòng)作表征

研究者通過(guò)一個(gè)??姿勢(shì)的時(shí)序集來(lái)表征動(dòng)作序列，該時(shí)序集由足部關(guān)節(jié)位移 O ? R^??×3 和關(guān)節(jié)旋轉(zhuǎn) R ? R^??×????組成，其中??表示關(guān)節(jié)數(shù)，??表示旋轉(zhuǎn)特征數(shù)。

為了減少常見(jiàn)的足部滑動(dòng)偽影，研究者在表征中加入了足部接觸標(biāo)簽。并且，為了簡(jiǎn)化注釋?zhuān)麄冞€將連接特征的度量空間表示成了 M_?? ≡ R^??×(?? ??+??+3)。

漸進(jìn)式動(dòng)作生成架構(gòu)

研究者提出的動(dòng)作生成框架如下圖 2 所示。該框架由??個(gè)粗放到精細(xì)（coarse-to-fine）對(duì)抗生成網(wǎng)絡(luò)組成，每個(gè)負(fù)責(zé)生成具有特定幀數(shù) {??_?? }^??_??=1 的動(dòng)作序列。

第一層負(fù)責(zé)純生成，也即??_1 將隨機(jī)噪聲??_1 ? M_??_1 映射為粗放動(dòng)作序列，如下公式（1）所示。

然后，更精細(xì)層??_?? (2 ≤ ?? ≤ ??) 中的生成器通過(guò)如下公式（2）漸進(jìn)式地采樣 Q_1。

重復(fù)上述過(guò)程，直到最精細(xì)輸出序列 Q_?? ? M_??_??通過(guò)??_??生成。

網(wǎng)絡(luò)構(gòu)建塊

首先是生成器。研究者采用的生成器??_??包含一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)??_?? (·)，該網(wǎng)絡(luò)由具有一些骨骼感知卷積層和其后的非線性層。由于該網(wǎng)絡(luò)的主要作用是添加缺失的高頻細(xì)節(jié)，因此他們使用殘差結(jié)構(gòu)，因此對(duì)于 2 ≤ ?? ≤ ??，得到如下公式（4）。

下圖為 3 則為生成器架構(gòu)概覽。

其次是鑒別器。雖然經(jīng)典 GAN 架構(gòu)中的鑒別器輸出單個(gè)標(biāo)量，指示輸入被分類(lèi)為「真」或「假」。但對(duì)于訓(xùn)練數(shù)據(jù)中單個(gè)序列的情況，這種結(jié)構(gòu)會(huì)導(dǎo)致模式崩潰，原因是生成器通常過(guò)擬合序列。

最后是骨骼感知算子。研究者采用骨骼感知卷積作為框架基礎(chǔ)構(gòu)建塊。骨骼感知算子需要一個(gè)由一組關(guān)節(jié)（頂點(diǎn)）和臨接表（邊）定義的固定骨骼拓?fù)洹Ｓ捎诰W(wǎng)絡(luò)在單個(gè)序列上運(yùn)行，他們調(diào)整該拓?fù)湟云ヅ漭斎胄蛄?。這允許在任何骨骼拓?fù)渖喜僮?，并且不需要將輸入?dòng)作重新定位到特定的骨骼結(jié)構(gòu)。

損失函數(shù)

對(duì)抗性損失。研究者使用 WGAN-GP 損失來(lái)訓(xùn)練層??，如下公式（5）所示。

重建損失。為了確保網(wǎng)絡(luò)生成涵蓋所有不同時(shí)序 patch 的變化，并且生成特定動(dòng)作子集時(shí)不會(huì)崩潰，研究者要求網(wǎng)絡(luò)從一組預(yù)定義的噪聲信號(hào) {??^?_?? }^??_??=1 中重建輸入動(dòng)作。為了鼓勵(lì)系統(tǒng)這樣做，他們重新定義了重建損失，如下公式（6）所示。

接觸一致性損失。由于準(zhǔn)確的足部接觸是保證動(dòng)作質(zhì)量的主要因素之一，研究者在框架中預(yù)測(cè)足部接觸標(biāo)簽并使用 IK 后處理來(lái)確保接觸。由于關(guān)節(jié)接觸標(biāo)簽 L 被集成到動(dòng)作表征 M 中，骨骼感知網(wǎng)絡(luò)可以直接在 M 上操作并學(xué)習(xí)將接觸標(biāo)簽預(yù)測(cè)為動(dòng)作的一部分。

研究者注意到，接觸標(biāo)簽的隱式學(xué)習(xí)可以導(dǎo)致激活和非激活接觸標(biāo)簽轉(zhuǎn)換過(guò)程中產(chǎn)生偽影。因此，他們提出了一種新的損失來(lái)鼓勵(lì)接觸標(biāo)簽和足部速度之間的一致性。具體地，研究者要求在每一幀中通過(guò)如下公式（7）最小化接觸標(biāo)簽或足部速度。

訓(xùn)練

用于訓(xùn)練的完整損失如下公式（8）所示。

為了提升結(jié)果的穩(wěn)健性和質(zhì)量，研究者將每?jī)蓚€(gè)連續(xù)層組合成一個(gè)塊并逐塊地訓(xùn)練框架。

實(shí)驗(yàn)結(jié)果

下圖 4 展示了動(dòng)作序列外推能力，并與 acRNN 和經(jīng)典統(tǒng)計(jì)模型 MotionTexture 進(jìn)行了比較：可以看出，GANimator 產(chǎn)生了全局結(jié)構(gòu)變化，姿態(tài)和過(guò)渡看起來(lái)很自然。

下表 1 為 GANimator 與 MotionTexture 和 acRNN 定量比較結(jié)果?？梢钥闯?，acRNN 由于收斂于靜態(tài)位姿，覆蓋范圍有限，而 GANimator 生成的動(dòng)作很好地覆蓋了訓(xùn)練序列。此外，GANimator 模型在生成可信動(dòng)作和保持多樣性之間取得了良好的平衡。

下圖展示了該模型使用兩個(gè)序列進(jìn)行訓(xùn)練。第一個(gè)序列（左）包含相對(duì)靜態(tài)動(dòng)作，第二個(gè)序列（右）包含較大的動(dòng)作。該研究在相應(yīng)的序列中可視化生成的結(jié)果（藍(lán)色）及其修補(bǔ)后的最近鄰（綠色）的骨骼動(dòng)畫(huà)?？梢钥闯?，生成的結(jié)果包含來(lái)自?xún)蓚€(gè)訓(xùn)練序列的內(nèi)容（參見(jiàn)上述生成大象的動(dòng)圖）。

下圖展示了該研究生成結(jié)果與輸入內(nèi)容相同，同時(shí)生成結(jié)果更逼真，例如人走路時(shí)手肘位置較高。

編輯：于騰凱

校對(duì)：楊學(xué)俊

GAN「一生萬(wàn)物」， ETH、谷歌用單個(gè)序列玩轉(zhuǎn)神經(jīng)動(dòng)作合成，入選SIGGRAPH

GAN「一生萬(wàn)物」， ETH、谷歌用單個(gè)序列玩轉(zhuǎn)神經(jīng)動(dòng)作合成，入選SIGGRAPH