<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          川普的退休生活,AI 宅舞很專業(yè)。

          共 2440字,需瀏覽 5分鐘

           ·

          2020-12-12 23:38

          點擊上方“Jack Cui”,選擇“設為星標

          第一時間關(guān)注技術(shù)干貨!


          大家好,我是 Jack 。


          最近看到了一個很好玩的算法,人體的動作遷移。


          給定一張或者多張人物 A 的圖像,和一段人物 B 的視頻,就可以通過動作遷移算法自動合成一段人物 A 做任務 B 動作的視頻


          看看阿川老師模仿阿坤老師等人的舞姿(點擊播放視頻):



          要不是馬保國被封殺了,絕對給大家來一段“松果彈抖閃電鞭”。


          準備好素材和電腦,今天繼續(xù)手把手教學


          算法原理、環(huán)境搭建、效果實現(xiàn),一條龍服務,盡在下文!

          1


          Impersonator++

          Impersonator++的前身是去年發(fā)表的Impersonator。這項工作,上海科技大學的 LiuWen 、Zhixin Piao 等人,探索了三年。

          去年的 Impersonator 早已入選計算機視覺頂會 ICCV 2019。

          又經(jīng)過了一年多的努力,增強版 Impersonator++ 誕生了。


          Impersonator++ 解決了去年算法的泛化性較差,尺度太較小(256 x 256), 以及自動化程度不夠高等問題。

          Impersonator++ 不僅可以做人體的動作遷移,人體圖像合成的其它任務都可以 Cover,例如新視角合成、外觀遷移。

          它們在重演、角色動畫、虛擬試裝、電影以及游戲制作等領域具有巨大的應用潛力


          動作遷移(模仿)的目標是把 source human image 的動作,變換成 reference human image 的動作。

          新視角合成,就是對視角進行轉(zhuǎn)換,比原圖是一張正面圖,去合成他的背面圖。

          外觀遷移是交換兩張圖像中人物的外觀(如衣服,褲子,鞋子等,但是不包含臉部)。

          研究者針對上個版本的問題,探索提出了第二個版本 Liquid Warping GAN with Attention。


          整個處理流程分為三個步驟:Body Mesh Recovery、Flow Composition、Liquid Warping GAN。

          Body Mesh Recovery 階段是對所有圖片進行三維重建,生成每幀人物的 3D Mesh,然后進行渲染。

          Flow Composition 階段是分離前景和背景,并計算運動需要的一系列旋轉(zhuǎn)矩陣,以備后動作渲染。

          Liquid Warping GAN 階段是生成結(jié)果的過程,利用到了背景修復 Inpainting 算法,同時利用 LWB 或 AttLWB 生成頭發(fā)、衣服等細節(jié)紋理。

          想要更好的修復效果,可以使用多幀圖像作為 Source Image。

          更詳細的技術(shù)細節(jié),可以直接看 paper:
          https://arxiv.org/pdf/2011.09055.pdf

          2


          效果測試

          Github 項目地址:
          https://github.com/iPERDance/iPERCore

          強烈建議使用 Linux 搭建環(huán)境,我自己在 Windows 上測試發(fā)現(xiàn)存在一些問題,與作者微信聯(lián)系,他們表示近期會修復。



          沒有 GPU 的,也可以白嫖 Google Colab,環(huán)境都是配好的,直接挨個 cell 運行即可體驗。


          Google Colab 地址:

          https://colab.research.google.com/drive/1bwUnj-9NnJA2EMr7eWO4I45UuBtKudg_?usp=sharing

          ?

          如果沒梯子,那只能用 Linux 服務器搭建開發(fā)環(huán)境了,或者等 Windows 修復。


          Linux 環(huán)境配置,沒啥問題,直接安裝 CUDA 10.1 以上版本,并安裝 gcc 7.5+ 和 ffmpeg。


          然后下載代碼,進入工程目錄,使用如下指令安裝依賴:


          python setup.py develop


          搞定后,下載算法需要的權(quán)重文件,項目的權(quán)重文件需要梯子才能下載,否則很慢。


          為了方便大家,我將論文權(quán)重文件,上傳到了百度網(wǎng)盤,需要的自取(提取碼:jack):

          https://pan.baidu.com/s/1932_Nyk8buXHd1bDUphygA


          將權(quán)重文件解壓到 assets 目錄即可。


          都配置好后,直接運行命令:


          python demo/motion_imitate.py --gpu_ids 0 \   --image_size 512 \   --num_source 2   \   --output_dir "./results" \   --assets_dir "./assets"  \   --model_id   "donald_trump_2" \   --src_path   "path?=./assets/samples/sources/donald_trump_2/00000.PNG,name?=donald_trump_2" \   --ref_path   "path?=./assets/samples/references/akun_2.mp4,name?=akun_2,pose_fc?=300"


          命令參數(shù)的詳細說明,在 motion_imitate.py 文件里寫的很詳細,這里就不再累述。


          運行命令,大功告成。

          3


          絮叨

          我知道,看了這篇文章,你一定又有了很多大膽的想法。


          這個算法會占領新一輪的鬼畜區(qū)嗎?


          我是 Jack ,我們下期見。
          ·················END·················



          推薦閱讀

          ?? ?「修煉開始」一文帶你入門深度學習?? ?為藝術(shù)而生的驚艷算法????我是如何成為算法工程師的,超詳細的學習路線?? ?用中國特色社會主義的方式打開 CenterNet?? ?帶你「周游世界」的 MODNet 算法



          瀏覽 49
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  粉嫩小丝袜在线观看 | 九九精品视频在线播放 | 1234无码在线观看 | 国产高清无码在线观看视频 | 色婷婷综合在线视频 |