重磅干貨，第一時間送達(dá)

為了便于分析人類的行為、互動和情緒，本文從單目圖像中計算出人體姿態(tài)、手姿態(tài)和面部表情的三維模型。為了實(shí)現(xiàn)這一點(diǎn)，本文使用數(shù)千個3D掃描來訓(xùn)練統(tǒng)一的人體3D模型，SMPL-X，它通過完全鉸接的手和富有表情的臉來擴(kuò)展SMPL。沒有成對圖像和標(biāo)簽，直接回歸SMPL-X的參數(shù)是非常具有挑戰(zhàn)性。因此，本文采用SMPLify方法，估計二維特征，然后優(yōu)化模型參數(shù)來擬合特征。本文在以下幾個重要方面對SMPLify進(jìn)行了改進(jìn)：

• 檢測與臉、手和腳對應(yīng)的2D特征，并將完整的SMPL-X模型與這些特征進(jìn)行匹配；

• 使用一個大的動作捕捉數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗姿態(tài)；

• 定義了一種既快速又準(zhǔn)確的滲透懲罰方法

• 自動檢測性別和合適的身體模型(男性、女性或中性)

• 采用PyTorch實(shí)現(xiàn)實(shí)現(xiàn)了超過8倍的加速

本文使用新的方法SMPLify-X，使SMPL-X既適合于受控圖像，也適合于自然圖像，并且一個新的包含100張偽真實(shí)標(biāo)簽的圖像數(shù)據(jù)集上評估3D精度。這是邁向從單目RGB數(shù)據(jù)自動表達(dá)人類動作捕獲的重要一步。

論文和代碼：https://smpl-x.is.tue.mpg.de

人類通常是圖片和視頻的中心元素。理解他們的姿勢，以及他們與世界的互動對整體場景理解至關(guān)重要。目前大多數(shù)的工作主要在2D上對人體姿態(tài)，人手關(guān)鍵點(diǎn)以及人臉進(jìn)行研究，由于真實(shí)的場景是以3D為基礎(chǔ)的，并且缺乏3D模型和豐富的3D數(shù)據(jù)，因此捕捉人體，人手和人臉的3D表面異常困難。為了解決這一問題，第一，需要構(gòu)建能夠自由表達(dá)整個人體的模型，第二，需要能夠從單張圖片中提取這樣的模型。

為此本文從從一個大型的三維掃描體中學(xué)習(xí)新的身體、臉和手模型。新的SMPL- X模型是基于SMPL的，并保留了該模型的優(yōu)點(diǎn)：與圖形軟件兼容、簡單的參數(shù)化、小尺寸、高效、可區(qū)分等。本文將SMPL與FLAME模型和MANO人手模型結(jié)合起來，然后將這個組合模型得到5586個3D掃描。通過從數(shù)據(jù)中學(xué)習(xí)模型，本文捕獲了身體、臉和手的形狀之間的自然關(guān)聯(lián)。模型的表達(dá)能力可以在下圖中看到，其中本文將SMPL-X擬合到表達(dá)性RGB圖像中。SMPL-X免費(fèi)用于研究用途。

目前有一些方法通過深度學(xué)習(xí)的方法從單張圖片中回歸出SMPL的參數(shù)，但是要估計帶有人手和人臉的3D人體缺乏有效的訓(xùn)練數(shù)據(jù)。為了解決這一問題，首先，本文使用OpenPose ”自下而上“ 的估計身體、手、腳和臉的二維圖像特征，然后使用SMPLify-X方法將SMPL-X模型 “自頂向下” 地匹配到這些2D特性。然后，本文對SMPLify做了幾項重大改進(jìn)。具體來說，本文使用VAE變分自動編碼器從大數(shù)據(jù)集的運(yùn)動捕捉數(shù)據(jù)中學(xué)習(xí)一種新的、性能更好的姿態(tài)先驗。這個先驗是至關(guān)重要的，因為從2D特征到3D姿態(tài)的映射是不明確的。其次，本文還定義了一個新的(自)滲透懲罰項，它明顯比SMPLify中的近似方法更精確和有效；它仍然是可微的。本文訓(xùn)練了一個性別檢測器，用它來自動決定使用男性、女性或中性的身體模型。最后，采用直接回歸方法來估計SMPL參數(shù)的一個動機(jī)是SMPLify比較慢。這里本文用PyTorch實(shí)現(xiàn)來解決這個問題，通過多塊gpu的計算能力，PyTorch實(shí)現(xiàn)比相應(yīng)的Chumpy實(shí)現(xiàn)至少快8倍。

3.1 人體建模

身體，人臉和人手：3D身體建模的問題以前通過將身體分解成多個部分和分別建模來解決。本文關(guān)注的方法是從3D掃描中學(xué)習(xí)統(tǒng)計形狀模型。由于3D人體掃描儀的存在，人們可以通過掃描來了解身體的形狀，豐富的形狀和姿態(tài)空間參數(shù)人手模型MANO也是采用的該方法。

統(tǒng)一模型：最相似的模型是Frank和SMPL+H。Frank將三種不同的模型整合到一起在一起：SMPL(無姿態(tài)混合形狀)的身體，一個藝術(shù)家創(chuàng)建的手，和FaceWarehouse模型的臉。最終的模型并不完全真實(shí)。SMPL+H從3D掃描學(xué)習(xí)結(jié)合了SMPL身體與3D手模型。手部的形狀變化來自全身掃描，而姿態(tài)依賴的變形則來自手部掃描的數(shù)據(jù)集。SMPL+H不包含可變形的人臉。

本文從公開的SMPL+H開始，并將公開的FLAME模型添加到其中。然而，與Frank不同的是，本文不是簡單地把它移植到身體上。相反，本文采取完整的模型和擬合5586個3D掃描，并且學(xué)習(xí)形狀和依賴姿勢的混合形狀。這將產(chǎn)生一個具有一致參數(shù)化的自然外觀的模型。基于SMPL，它是可區(qū)分的并且很容易切換到已經(jīng)使用SMPL的應(yīng)用程序中。

3.2 人體結(jié)構(gòu)推理

有很多方法可以從圖像或RGB-D估計3D人臉，也有很多方法可以從這些數(shù)據(jù)估計手部。雖然有許多方法從單個圖像估計三維關(guān)節(jié)的位置，這里本文關(guān)注的方法是提取一個完整的三維身體網(wǎng)格（mesh）。

下面介紹SMPL-X模型，以及SMPL-X模型擬合單張RGB圖像的方法。相較于SMPLify模型，SMPLify模型運(yùn)用了更好的先驗姿態(tài)信息，更為詳細(xì)的碰撞懲罰項，性別判斷以及Pytorch的工程加速方法。

4.1 統(tǒng)一模型SMPL-X

本文創(chuàng)建統(tǒng)一的模型SMPL- X，同時對面部、手部和身體的形狀參數(shù)進(jìn)行聯(lián)合訓(xùn)練。SMPL-X使用標(biāo)準(zhǔn)的基于頂點(diǎn)的線性混合蒙皮來學(xué)習(xí)糾正混合形狀，頂點(diǎn) , 關(guān)節(jié)點(diǎn) 包含包括脖子、下巴、眼球和手指的關(guān)節(jié)。SMPL-X定義為 , 姿態(tài)參數(shù) , 其中 是除全局旋轉(zhuǎn)的關(guān)鍵點(diǎn)的數(shù)量。將姿態(tài)參數(shù) 分解為 下巴關(guān)鍵點(diǎn)， 指關(guān)節(jié)， 為身體關(guān)鍵點(diǎn)。身體，人臉和人手的形態(tài)參數(shù)為 。更具體的表達(dá)是：

其中 是形狀混合函數(shù)， 是線性形狀系數(shù)， 為值， 是由于不同的人捕捉到的形狀變化頂點(diǎn)位移的標(biāo)準(zhǔn)正交主成分量， 是所有偏移量的矩陣形式。 為姿態(tài)混合形狀函數(shù)，該函數(shù)添加校正頂點(diǎn)位移到模板mesh :

其中 ?是將位姿向量 映射到由部分相對旋轉(zhuǎn)矩陣組成的向量的函數(shù)，這一過程使用Rodrigues公式來計算， 為 的 元素， 為剩余姿態(tài)向量，$ \mathcalP}{n}\in \mathbb{R}^{3N}\mathcal{P}=[P_1,...,P_{9K}]\in \mathbb{R}^{3N\times 9K}B{E}(\psi ; \mathcal{E})=\sum_{n=1}^{\psi|\psi_{n} \mathcal{E}\mathcal{E}ψJJ(\beta)=\mathcal{J}\left(\bar{T}+B_{S}(\beta ; \mathcal{S})\right)\mathcal{J}W(.)T_p(.)J(\beta)$ 旋轉(zhuǎn)。

本文從設(shè)計好的3D模板開始，其臉和手匹配FLAME和MANO的模板。本文將該模板擬合到4個三維人體掃描數(shù)據(jù)集上，得到作為SMPL-X的三維對準(zhǔn)訓(xùn)練數(shù)據(jù)。形狀空間參數(shù) 是在3800個A姿態(tài)校準(zhǔn)上訓(xùn)練的，捕捉不同身份的變化。對1786種不同姿態(tài)的姿態(tài)對準(zhǔn)進(jìn)行身體姿態(tài)空間參數(shù) 的訓(xùn)練。由于全身掃描的手和臉的分辨率有限，本文利用MANO和FLAME的參數(shù)分別從1500只手和3800個頭部高分辨率掃描學(xué)習(xí)。更具體地說，本文利用了姿勢空間，姿態(tài)修正混疊形狀的MANO人手模型以及表達(dá)空間 的FLAME模型。

手指有30個關(guān)節(jié)，對應(yīng)90個姿態(tài)參數(shù)(每個關(guān)節(jié)軸角旋轉(zhuǎn)3個自由度)。SMPL-X為手使用了一個較低維的PCA姿態(tài)空間： ，其中 是捕捉手指姿態(tài)變化的主成分量和 是對應(yīng)的主成分分析系數(shù)。如上所述，本文利用MANO的主成分位姿空間，即在一個大的訓(xùn)練上三維關(guān)節(jié)人的手?jǐn)?shù)據(jù)集。SMPL-X中的模型參數(shù)為1119: 75用于全局體旋轉(zhuǎn)和身體，眼睛，下巴的關(guān)節(jié)，24個參數(shù)為較低維的手部姿勢PCA空間，10個參數(shù)用于主體形狀，10個參數(shù)用于面部表情。此外，還有單獨(dú)的男性和女性模型，當(dāng)性別已知時使用，當(dāng)性別未知時使用兩種性別構(gòu)建的形狀空間。SMPL-X具有現(xiàn)實(shí)性、表現(xiàn)力、可微分性和易于適應(yīng)數(shù)據(jù)的特點(diǎn)。

4.2 ?擬合SMPL-X到單張圖片（SMPLify）

為了使SMPL-X適合單個RGB圖像(SMPLify- x)，本文遵循SMPLify，但改進(jìn)了它的各個方面。將SMPL-X擬合到圖像作為一個優(yōu)化問題，尋求目標(biāo)函數(shù)的最小值：

其中 , 和 分別為身體，人臉和雙手的姿態(tài)向量， 是可優(yōu)化的位姿參數(shù)的完整集合。身體姿態(tài)參數(shù)可以表示為 ，其中 低維空間構(gòu)成。EJ(β，θ，K, Jest)為數(shù)據(jù)項，其中 為數(shù)據(jù)項， 和 對手姿、面部姿、體型和面部表情的 先驗，對偏離中性狀態(tài)者進(jìn)行懲罰。由于SMPL-X的形狀空間是根據(jù)單位方差進(jìn)行縮放的， 描述了SMPL-X訓(xùn)練數(shù)據(jù)集中被優(yōu)化的形狀參數(shù)與形狀分布之間的馬氏距離（ Mahalanobis distance）。一種簡單的優(yōu)先懲罰方式為： ，只適用于肘部和膝蓋的極端彎曲。

對于數(shù)據(jù)項，使用重投影損失來最小化估計的2D關(guān)節(jié)點(diǎn) 和SMPL-X每個3D關(guān)鍵點(diǎn) 的2D投影的加權(quán)魯棒距離，其中 是沿著運(yùn)動學(xué)變換關(guān)節(jié)的函數(shù)。數(shù)據(jù)項的表達(dá)式為：

其中 表示具有固有攝像機(jī)參數(shù) 的3D到2D投影，OpenPose提供在同一圖像上的身體、手、臉和腳的關(guān)鍵點(diǎn)。為了考慮檢測中的噪聲，每個節(jié)點(diǎn)在數(shù)據(jù)項中的貢獻(xiàn)由檢測置信度評分 加權(quán)， 為退火優(yōu)化的每個節(jié)點(diǎn)的權(quán)重， 表示用于降低加權(quán)噪聲檢測的魯棒吉曼-麥克盧爾誤差函數(shù)（ Geman-McClure）。

4.3 ?人體姿態(tài)先驗

本文尋求一個先驗身體姿勢，懲罰不可能的姿勢。SMPLify使用一種近似負(fù)對數(shù)的高斯混合模型訓(xùn)練的MoCap數(shù)據(jù)。雖然SMPLify先驗是有效的，但我們發(fā)現(xiàn)SMPLify先驗不夠強(qiáng)。因此，使用變分自動編碼器來訓(xùn)練身體姿態(tài)先驗VPoser，它學(xué)習(xí)了人體姿態(tài)的潛在表示，并將潛在信息的分布正則化為正態(tài)分布。

上述公式（4）中 是自編碼網(wǎng)絡(luò)的隱藏空間， 為每個關(guān)節(jié) 旋轉(zhuǎn)矩陣作為網(wǎng)絡(luò)輸入和 代表的輸出是一個形狀相似矩陣。公式（4）中第二項為KL散度項，第三項為重建項，第四項和第五項引導(dǎo)潛在空間編碼有效旋轉(zhuǎn)矩陣。最后一項通過控制較小的網(wǎng)絡(luò)權(quán)值 防止過擬合。

4.4 ?碰撞懲罰

當(dāng)將模型擬合到觀測值時，常常有人體若干部位的自碰撞和穿透對于身體結(jié)構(gòu)來說是不可能的。受到

SMPLify啟發(fā)，用基于形狀基元的碰撞模型來懲罰穿透。雖然這個模型計算效率很高，但它只是對人體的粗略近似。對于SMPL-X這樣的模型，它也能模擬手指和面部細(xì)節(jié)，需要更精確的碰撞模型。為此，采用了采用了更為準(zhǔn)確的碰撞的網(wǎng)格模型。首先通過使用邊界體積層次結(jié)構(gòu)(BVH)檢測碰撞三角形 ，然后計算由三角形 和它們的法線 定義局部圓錐3D距離場 。穿透根據(jù)侵入的深度來懲罰，有效地由距離場中的位置來計算。對于兩個碰撞的三角形 和 ，入侵是雙向的； 的頂點(diǎn) 是距離場 里的入侵者，反之亦然。

4.5 ?性別分類器

男人和女人有不同的比例和形狀。因此，使用適當(dāng)?shù)纳眢w模型來擬合2D數(shù)據(jù)意味著應(yīng)該應(yīng)用適當(dāng)?shù)男螤羁臻g。目前還沒有一種方法能夠自動將性別因素考慮到三維人體姿勢的擬合中。在本工作中，訓(xùn)練一個性別分類器，j將全身和OpenPose關(guān)節(jié)的圖像作為輸入，并給被檢測到的人分配一個性別標(biāo)簽。

4.6 速度優(yōu)化

SMPLify采用了Chumpy和OpenDR，這使得優(yōu)化速度變慢。為了保持優(yōu)化易于處理，本文使用PyTorch和帶有強(qiáng)Wolfe線性搜索的有限內(nèi)存的BFGS優(yōu)化器(L-BFGS) 。

5.1 數(shù)據(jù)集

數(shù)據(jù)集Expressive hands and faces dataset (EHF)。

5.2 實(shí)驗對比

為了測試SMPL- x和SMPLify-X的有效性，本文與最相關(guān)的模型SMPL、SMPL+H和Frank進(jìn)行比較，同時在EHF數(shù)據(jù)集上做了一組消融實(shí)驗分析每個模塊對整體精度的影響。

下圖是在LSP數(shù)據(jù)集上SMPL-X的結(jié)果。一個強(qiáng)大的整體模型SMPL-X對身體、手和臉的自然富有表現(xiàn)力的重建?；疑@示了性別特征。藍(lán)色表示性別分類器不確定。

在這項工作中，本文提出了SMPL-X模型聯(lián)合捕捉身體，人臉和手。此外，本文還提出了SMPLify-X方法，通過SMPL-X擬合到單個RGB圖像和2D關(guān)鍵點(diǎn)的方法。本文利用一種新的強(qiáng)大的身體姿態(tài)先驗和一種快速準(zhǔn)確的檢測和懲罰滲透的方法，對歧義下的擬合進(jìn)行了正則化處理。本文使用自然圖像提供了廣泛的定性結(jié)果，展示了SMPL-X的表達(dá)能力和SMPLify-X的有效性。本文引入了一個具有偽真實(shí)的數(shù)據(jù)集來進(jìn)行定量評估，這表明了更具表現(xiàn)力的模型的重要性。在未來的工作中，本文將創(chuàng)建一個SMPL-X擬合的數(shù)據(jù)集，并用回歸器來直接從RGB圖像回歸SMPL-X參數(shù)。本文相信，這項工作是向從RGB圖像中表達(dá)捕捉身體、手和臉的重要一步。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~