Python讓蒙娜麗莎笑得更奔放

今天逛github的時候意外發(fā)現(xiàn)一個庫https://github.com/AliaksandrSiarohin/first-order-model，它訓(xùn)練了一些模型可以讓靜態(tài)圖根據(jù)一個動態(tài)視頻動起來，靜態(tài)圖成為Source Image，動態(tài)圖稱為Driving Window。

我們按照文章中的指示自己制作一個這樣的視頻。首先Clone這個倉庫到本地，安裝相關(guān)依賴。

pip install -r requirements.txt

自己錄制一段視頻，我這邊錄制了一個笑臉，使用的mp4格式，目前沒測試其他格式是否可行。將該視頻拷貝到倉庫目錄下。該倉庫提供了一個預(yù)處理文件用于處理視頻，首先需要在虛擬環(huán)境下安裝face-alignment。

git clone https://github.com/1adrianb/face-alignmentcd face-alignmentpip install -r requirements.txtpython setup.py install

然后安裝ffmpeg。

brew install ffmpeg

使用腳本對視頻進(jìn)行預(yù)處理。

python crop-video.py --inp video.mp4 --cpu

該命令并不會直接處理視頻，而是輸出一個ffmpeg命令，將該命令直接執(zhí)行即可處理視頻。

ffmpeg -i video.mp4 -ss 0.0 -t 9.1 -filter:v "crop=1023:943:238:0, scale=256:256" crop.mp4

下面，我們按照倉庫中的鏈接，下載模型至項目的checkpoints目錄下。

靜態(tài)圖片也放在倉庫目錄下。

?

最后運(yùn)行命令即可生成動態(tài)視頻，其中crop.mp4是上一步我們預(yù)處理的視頻，image.jpg是我們的靜態(tài)圖片，我這邊使用的模型是vox-cpk，你也可以嘗試使用別的模型。

python demo.py  --config config/vox-256.yaml --driving_video crop.mp4 --source_image image.jpg --checkpoint checkpoints/vox-cpk.pth.tar --relative --adapt_scale --cpu

最后效果如下：

果然還是微笑比較好。。。

推薦：
一天star量破千，300行代碼，特斯拉AI總監(jiān)Karpathy寫了個GPT的Pytorch訓(xùn)練庫
七夕，程序員的表白代碼
墻裂安利幾個珍藏已久的工具