操逼免费在线观看,四虎成人精品永久免费AV九九,乱伦资源网,日本黄色操逼网站视频,中文字幕北条麻妃在线,欧美性开放网站,蜜桃精品视频在线,国模大胆私拍在线

點(diǎn)擊上方“Jack Cui”，選擇“加為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

前言

姿態(tài)估計(jì)，一直是近幾年的研究熱點(diǎn)。

它就是根據(jù)畫(huà)面，捕捉人體的運(yùn)動(dòng)姿態(tài)，比如 2D 姿態(tài)估計(jì)：

再比如 3D 姿態(tài)估計(jì)：

看著好玩，那這玩應(yīng)有啥用呢？

自動(dòng)駕駛，大家應(yīng)該都不陌生，很多公司研究這個(gè)方向。

自動(dòng)駕駛里，就用到了人體行為識(shí)別。

通過(guò)攝像頭捕捉追蹤人體的動(dòng)作變化，根據(jù)肢體動(dòng)作或變化角度判斷人體動(dòng)作行為，可用于無(wú)人車(chē)、機(jī)器人、視頻監(jiān)控等行為分析需求場(chǎng)景。

而這些的基礎(chǔ)，就是人體的姿態(tài)估計(jì)。

再比如，虛擬形象。

通過(guò)真人驅(qū)動(dòng)，讓虛擬形象具備類(lèi)比真人的肢體動(dòng)作，并支持與3D人臉特效、手勢(shì)識(shí)別等功能結(jié)合應(yīng)用，讓虛擬形象更加靈活生動(dòng)，可用于虛擬IP驅(qū)動(dòng)、肢體驅(qū)動(dòng)類(lèi)游戲、遠(yuǎn)程授課或播報(bào)等場(chǎng)景。

姿態(tài)估計(jì)，無(wú)疑有著巨大的應(yīng)用價(jià)值。

但今天，咱們說(shuō)的這個(gè)算法，比上文提到的，還要酷炫一些！

它就是 FrankMocap。

FrankMocap

FrankMocap 是港中文聯(lián)合 Facebook AI 研究院提出的3D 人體姿態(tài)和形狀估計(jì)算法。

不僅僅是估計(jì)人體的運(yùn)動(dòng)姿態(tài)，甚至連身體的形狀，手部的動(dòng)作都可以一起計(jì)算出來(lái)。

算法很強(qiáng)大，能夠從單目視頻同時(shí)估計(jì)出 3D 人體和手部運(yùn)動(dòng)，在一塊 GeForce RTX 2080 GPU 上能夠達(dá)到 9.5 FPS。

缺點(diǎn)就是，速度有點(diǎn)慢，計(jì)算量較大，達(dá)到實(shí)時(shí)性有一定難度。

不過(guò)隨著硬件的快速發(fā)展，這都不是問(wèn)題，「老黃刀法」很給力。

FrankMocap 算法就在這幾天，剛剛開(kāi)源，有 Python 和深度學(xué)習(xí)基礎(chǔ)的朋友，不容錯(cuò)過(guò)。

項(xiàng)目地址：

https://github.com/facebookresearch/frankmocap

算法使用 SMPL-X 人體模型。

給定一張彩色圖片，通過(guò)兩個(gè)網(wǎng)絡(luò)模塊分別預(yù)測(cè)手部姿態(tài)和人體姿態(tài)。

然后再通過(guò)整合模塊將手和身體組合在一起，得到最終的3D全身模型，整個(gè)流程如下圖所示：

在具體的各個(gè)模塊的實(shí)現(xiàn)，那就涉及具體的數(shù)學(xué)公式了。

本文就不多做擴(kuò)展了，感興趣的小伙伴，可以直接看論文。

論文地址：

https://arxiv.org/pdf/2008.08324.pdf

論文對(duì)每個(gè)模塊的公式，記錄的很詳細(xì)。

FrankMocap 算法怎么玩？

這里有詳細(xì)的安裝教程：

https://github.com/facebookresearch/frankmocap/blob/master/docs/INSTALL.md

除了常規(guī)的第三方庫(kù)，還需要 Detectron2 用于手部動(dòng)作捕捉，以及 Pytorch3D 做姿態(tài)渲染。

推薦使用 Anaconda 配置，環(huán)境配置完畢，就可以開(kāi)始體驗(yàn)了。

使用方法很簡(jiǎn)單：

如果只做身體姿態(tài)捕捉，可以運(yùn)行如下命令：

# using a machine with a monitor to show output on screenpython -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)xvfb-run -a python -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output

運(yùn)行效果：

如果只做手部姿態(tài)捕捉，可以運(yùn)行如下命令：

# using a machine with a monitor to show outputs on screenpython -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output
# screenless mode  (e.g., a remote server)xvfb-run -a python -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output

運(yùn)行效果：

全身的姿態(tài)估計(jì)，使用如下指令：

# using a machine with a monitor to show outputs on screenpython -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode  (e.g., a remote server)python -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output

運(yùn)行效果：

感興趣的小伙伴，趕快試試吧！

總結(jié)

3D 人體全身運(yùn)動(dòng)姿態(tài)捕捉，可以做很多有意思的事情。

看到這項(xiàng)技術(shù)，你最先想到的，是能做個(gè)什么好玩的應(yīng)用呢？

我是 Jack Cui，一個(gè)愛(ài)發(fā)技術(shù)干貨的程序員，我們下期見(jiàn)~

推薦閱讀


    
     
      讓圖片動(dòng)起來(lái)，特朗普和蒙娜麗莎深情合唱《Unravel》

      百年老照片修復(fù)算法，那些高顏值的父母！

      這些 AI 算法太強(qiáng)了，我有個(gè)大膽的想法！

      AI還原康乾盛世三代皇帝樣貌，竟然有點(diǎn)帥！

      心中無(wú)碼便是高清，馬賽克“腦補(bǔ)”算法 PULSE

無(wú)限想象空間，用Python就能玩的3D人體姿態(tài)估計(jì)