亚洲无码视频在线看,久久久久久久国产精品亚洲,亚训Av无码专区在,日中文字幕,欧美一级黄色网,欧洲精品一区二区三区,骚逼成人网,日韩在线国产

來源 |?Jack?Cui

前言

剛剛過去的 2020 年 ECCV，有一項 AI“隱身”技術引人矚目。

正在坐秋千的小孩，突然只剩下秋千架。

讓漫步的行人消失，讓奔馳的汽車消失。

這么好玩的 AI 算法，你想學嗎？

老規(guī)矩，今天，繼續(xù)手把手教學。

算法原理、環(huán)境搭建、效果實現(xiàn)，一條龍服務，盡在下文！

FGVC

FGVC 的作者是一位 90 后北京小伙，目前在弗吉尼亞理工大學計算機工程專業(yè)就讀博士三年級，師從華人教授 Jia-Bin Huang。

FGVC 算法本質上是一個基于光流法的視頻修復算法。

光流法是視域中物體運動檢測的概念，其用于描述運動所造成的觀測目標、表面或邊緣的運動，主要應用于計算機視覺和影像處理等。

使用光流法，可尋到不同幀之間的關系，并通過在不同幀之間傳播信息來補全視頻。

FGVC 主要包含三個步驟：Flow completion、Temporal propagation、Fusion。

Flow completion：具體操作時，要計算相鄰幀之間的正向光流和反向光流、以及一組非相鄰幀 (Non-local) 的正向光流和反向光流。

Temporal propagation：按照光流的軌跡，為每個丟失的像素找到一組候選像素，對于每個候選幀，都要估計一個置信分數(shù)以及一個二進制有效性指標。

Fusion：使用置信加權平均值，將每個缺失像素的候選像素與至少一個有效候選像素融合。對于沒有候選像素，則使用一個關鍵幀，并使用單個圖像補全技術來填充它。

更具體的原理，比如邊緣引導的光流補充等，可以去「啃下」論文，學習一下。

Paper 地址：

https://arxiv.org/abs/2009.01835

環(huán)境配置

想要測試算法效果，先要部署下開發(fā)環(huán)境。

Github 開源項目地址：

https://github.com/vt-vl-lab/FGVC

Github 下載慢的，可以下載我已經(jīng)打包的代碼（提取碼：4lgs）：

https://pan.baidu.com/s/1rh1I2B4ssjiNdydUc_DflA?

這里推薦使用 Anaconda 完成部署。

FGVC 算法依賴于另外兩個算法 DeepFill 和 RAFT。

所以，可以創(chuàng)建兩個虛擬環(huán)境 FGVC 和 raft。

FGVC 環(huán)境使用 PyTorch 0.4.0，并配置算法 DeepFill 的環(huán)境。

DeepFill 環(huán)境配置方法：

https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements

直接使用指令安裝依賴庫：

pip install -r requirements.txt

raft 環(huán)境使用 PyTorch 1.6.0，并配置算法 RAFT 的環(huán)境。

RAFT 環(huán)境配置方法：

https://github.com/princeton-vl/RAFT#requirements

這里比較簡單，使用 conda 安裝需要的庫即可。

都配置完畢，就可以測試算法效果了！

效果測試

先激活 raft 虛擬環(huán)境，直到運行結果出現(xiàn)提示：

「Please switch to Pytorch 0.4.0」

然后切換到 FGVC 虛擬環(huán)境，然后再運行一次代碼。

Object removal：

cd toolpython video_completion.py \       --mode object_removal \       --path ../data/tennis \       --path_mask ../data/tennis_mask \       --outroot ../result/tennis_removal \       --seamless

FOV extrapolation：

cd toolpython video_completion.py \       --mode video_extrapolation \       --path ../data/tennis \       --outroot ../result/tennis_extrapolation \       --H_scale 2 \       --W_scale 2 \       --seamless

想要計算速度更快些，可以去掉 seamless 參數(shù)。

算法需要 rgb 圖片和 mask 圖片，這些數(shù)據(jù)是已知的，想要去除什么物體，給個物體的 mask 即可。

運行效果示意圖：

感興趣的同學可以到GitHub下載源碼試試

源碼：https://github.com/vt-vl-lab/FGVC

AI 隱身術，能讓物體在視頻中消失的魔法。