大片既視感！快速生成好萊塢特效視頻的開源庫

【導(dǎo)語】：SkyAR 是一種基于視覺的視頻天空置換和協(xié)調(diào)方法，將某個視頻中的真實(shí)天空背景，通過 AI 替換成類似科幻片中的電影場景，效果非常震撼。

簡介

SkyAR 是一種基于視覺的視頻天空置換和協(xié)調(diào)方法,可以在可控風(fēng)格的視頻中自動生成逼真和生動的天空背景，作者是Zhengxiao?Zou。該方法是完全基于視覺的，可以處理非靜態(tài)圖像，而且對拍攝設(shè)備沒有任何要求，也沒有用戶交互，可以很好地處理在線或離線視頻。這個算法的處理過程主要包括天空渲染、運(yùn)動估計(jì)和圖像混合。

項(xiàng)目地址

https://github.com/jiupinjia/SkyAR

下載安裝

1.安裝以下依賴庫

?

2.下載項(xiàng)目源碼

git?clone?https://github.com/jiupinjia/SkyAR.git?cd SkyAR

3．下載預(yù)訓(xùn)練模型并解壓（國內(nèi)需要木弟子）

https://drive.google.com/file/d/1COMROzwR4R_7mym6DL9LXhHQlJmJaV0J/view?usp=sharingunzip checkpoints_G_coord_resnet50.zip

簡單使用

我們直接使用項(xiàng)目提供的視頻和天空模板進(jìn)行體驗(yàn)：

1. 使用影片《第九區(qū)》中的飛船做天空背景模板

python skymagic.py --path ./config/config-canyon-district9ship.json

效果如下：

2.使用超級月亮做天空背景模板

python skymagic.py --path ./config/config-annarbor-supermoon.json

效果如下：

修改配置使用自定義視頻和天空模板

在config目錄下，有一些json格式的配置文件，我們可以根據(jù)自己的情況更改視頻和天空模版，以修改 config-canyon-galaxy.json 為例：

{??"net_G":?"coord_resnet50",??"ckptdir":?"./checkpoints_G_coord_resnet50",??"input_mode":?"video",??"datadir":?"./test_videos/annarbor.mp4",??"skybox":?"floatingcastle.jpg",??"in_size_w":?384,??"in_size_h":?384,??"out_size_w":?845,??"out_size_h":?480,??"skybox_center_crop":?0.5,??"auto_light_matching":?false,??"relighting_factor":?0.8,??"recoloring_factor":?0.5,??"halo_effect":?true,??"output_dir":?"./eval_output",??"save_jpgs":?false}

ckptdir 為預(yù)訓(xùn)練模型文件解壓后的目錄，datadir 為輸入視頻的目錄，skybox 為使用的天空模版，生成效果視頻保存到 output_dir 目錄中。

修改好配置文件，使用以下命令直接運(yùn)行：

python skymagic.py --path .\config\config-canyon-galaxy.json

使用浮動的城堡為天空背景，效果如下：

?

最后附上官方的效果視頻供大家欣賞一下：

-?EOF -?

更多優(yōu)秀開源項(xiàng)目（點(diǎn)擊下方圖片可跳轉(zhuǎn)）

如果覺得本文介紹的開源項(xiàng)目不錯，歡迎轉(zhuǎn)發(fā)推薦給更多人。

分享、點(diǎn)贊和在看

支持我們分享更多優(yōu)秀開源項(xiàng)目，謝謝！