亚洲AV色婷婷,天天操夜夜操狠狠,亚洲一级黄色视频网站,大香蕉黄色片,亚洲最大在线,欧美成人有限公司,H无码里番肉片在线播放,理论片麻豆

點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

來源：Jack Cui

前言

姿態(tài)估計(jì)，一直是近幾年的研究熱點(diǎn)。

它就是根據(jù)畫面，捕捉人體的運(yùn)動(dòng)姿態(tài)，比如 2D 姿態(tài)估計(jì)：

再比如 3D 姿態(tài)估計(jì)：

看著好玩，那這玩應(yīng)有啥用呢？

自動(dòng)駕駛，大家應(yīng)該都不陌生，很多公司研究這個(gè)方向。

自動(dòng)駕駛里，就用到了人體行為識別。

通過攝像頭捕捉追蹤人體的動(dòng)作變化，根據(jù)肢體動(dòng)作或變化角度判斷人體動(dòng)作行為，可用于無人車、機(jī)器人、視頻監(jiān)控等行為分析需求場景。

而這些的基礎(chǔ)，就是人體的姿態(tài)估計(jì)。

再比如，虛擬形象。

通過真人驅(qū)動(dòng)，讓虛擬形象具備類比真人的肢體動(dòng)作，并支持與3D人臉特效、手勢識別等功能結(jié)合應(yīng)用，讓虛擬形象更加靈活生動(dòng)，可用于虛擬IP驅(qū)動(dòng)、肢體驅(qū)動(dòng)類游戲、遠(yuǎn)程授課或播報(bào)等場景。

姿態(tài)估計(jì)，無疑有著巨大的應(yīng)用價(jià)值。

但今天，咱們說的這個(gè)算法，比上文提到的，還要酷炫一些！

它就是 FrankMocap。

FrankMocap

FrankMocap 是港中文聯(lián)合 Facebook AI 研究院提出的3D 人體姿態(tài)和形狀估計(jì)算法。

不僅僅是估計(jì)人體的運(yùn)動(dòng)姿態(tài)，甚至連身體的形狀，手部的動(dòng)作都可以一起計(jì)算出來。

算法很強(qiáng)大，能夠從單目視頻同時(shí)估計(jì)出 3D 人體和手部運(yùn)動(dòng)，在一塊 GeForce RTX 2080 GPU 上能夠達(dá)到 9.5 FPS。

缺點(diǎn)就是，速度有點(diǎn)慢，計(jì)算量較大，達(dá)到實(shí)時(shí)性有一定難度。

不過隨著硬件的快速發(fā)展，這都不是問題，「老黃刀法」很給力。

FrankMocap 算法就在這幾天，剛剛開源，有 Python 和深度學(xué)習(xí)基礎(chǔ)的朋友，不容錯(cuò)過。

項(xiàng)目地址：

https://github.com/facebookresearch/frankmocap

算法使用 SMPL-X 人體模型。

給定一張彩色圖片，通過兩個(gè)網(wǎng)絡(luò)模塊分別預(yù)測手部姿態(tài)和人體姿態(tài)。

然后再通過整合模塊將手和身體組合在一起，得到最終的3D全身模型，整個(gè)流程如下圖所示：

在具體的各個(gè)模塊的實(shí)現(xiàn)，那就涉及具體的數(shù)學(xué)公式了。

本文就不多做擴(kuò)展了，感興趣的小伙伴，可以直接看論文。

論文地址：

https://arxiv.org/pdf/2008.08324.pdf

論文對每個(gè)模塊的公式，記錄的很詳細(xì)。

FrankMocap 算法怎么玩？

這里有詳細(xì)的安裝教程：

https://github.com/facebookresearch/frankmocap/blob/master/docs/INSTALL.md

除了常規(guī)的第三方庫，還需要 Detectron2 用于手部動(dòng)作捕捉，以及 Pytorch3D 做姿態(tài)渲染。

推薦使用 Anaconda 配置，環(huán)境配置完畢，就可以開始體驗(yàn)了。

使用方法很簡單：

如果只做身體姿態(tài)捕捉，可以運(yùn)行如下命令：

# using a machine with a monitor to show output on screenpython -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)xvfb-run -a python -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output

運(yùn)行效果：

如果只做手部姿態(tài)捕捉，可以運(yùn)行如下命令：

# using a machine with a monitor to show outputs on screenpython -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output
# screenless mode  (e.g., a remote server)xvfb-run -a python -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output

運(yùn)行效果：

全身的姿態(tài)估計(jì)，使用如下指令：

# using a machine with a monitor to show outputs on screenpython -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode  (e.g., a remote server)python -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output

運(yùn)行效果：

感興趣的小伙伴，趕快試試吧！

總結(jié)

3D 人體全身運(yùn)動(dòng)姿態(tài)捕捉，可以做很多有意思的事情。

看到這項(xiàng)技術(shù)，你最先想到的，是能做個(gè)什么好玩的應(yīng)用呢？

    
     
      下載1：OpenCV黑魔法

在「AI算法與圖像處理」公眾號后臺回復(fù)：OpenCV黑魔法，即可下載小編精心編寫整理的計(jì)算機(jī)視覺趣味實(shí)戰(zhàn)教程



       
        下載2 CVPR2020
       
       
        

       
       
        在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR2020，即可下載1467篇CVPR 2020論文
       
        
         個(gè)人微信（如果沒有備注不拉群！）
        
        
         請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
        
        
         

        

      

      
       
        
         
          覺得有趣就點(diǎn)亮在看吧

無限想象空間，用Python就能玩的3D人體姿態(tài)估計(jì)