久久AV影院,一级黄色绿相,8x8x国产一区二区三区精品痛苦 ,久久综合se婷婷,日韩日韩日韩日韩AV,看av网站,亚洲无码男人的天堂,国产精品一极二极

點擊上方“Jack Cui”，選擇“加為星標(biāo)”

第一時間關(guān)注技術(shù)干貨！

前言

剛剛過去的 2020 年 ECCV，有一項 AI“隱身”技術(shù)引人矚目。

正在坐秋千的小孩，突然只剩下秋千架。

讓漫步的行人消失，讓奔馳的汽車消失。

這么好玩的 AI 算法，你想學(xué)嗎？

老規(guī)矩，今天，繼續(xù)手把手教學(xué)。

算法原理、環(huán)境搭建、效果實現(xiàn)，一條龍服務(wù)，盡在下文！

FGVC

FGVC 的作者是一位 90 后北京小伙，目前在弗吉尼亞理工大學(xué)計算機(jī)工程專業(yè)就讀博士三年級，師從華人教授 Jia-Bin Huang。

FGVC 算法本質(zhì)上是一個基于光流法的視頻修復(fù)算法。

光流法是視域中物體運動檢測的概念，其用于描述運動所造成的觀測目標(biāo)、表面或邊緣的運動，主要應(yīng)用于計算機(jī)視覺和影像處理等。

使用光流法，可尋到不同幀之間的關(guān)系，并通過在不同幀之間傳播信息來補全視頻。

FGVC 主要包含三個步驟：Flow completion、Temporal propagation、Fusion。

Flow completion：具體操作時，要計算相鄰幀之間的正向光流和反向光流、以及一組非相鄰幀 (Non-local) 的正向光流和反向光流。

Temporal propagation：按照光流的軌跡，為每個丟失的像素找到一組候選像素，對于每個候選幀，都要估計一個置信分?jǐn)?shù)以及一個二進(jìn)制有效性指標(biāo)。

Fusion：使用置信加權(quán)平均值，將每個缺失像素的候選像素與至少一個有效候選像素融合。對于沒有候選像素，則使用一個關(guān)鍵幀，并使用單個圖像補全技術(shù)來填充它。

更具體的原理，比如邊緣引導(dǎo)的光流補充等，可以去「啃下」論文，學(xué)習(xí)一下。

Paper 地址：

https://arxiv.org/abs/2009.01835

環(huán)境配置

想要測試算法效果，先要部署下開發(fā)環(huán)境。

Github 開源項目地址：

https://github.com/vt-vl-lab/FGVC

Github 下載慢的，可以下載我已經(jīng)打包的代碼（提取碼：jack）：

https://pan.baidu.com/s/1t_EDDDgMCHBS83QFywuFdg

這里推薦使用 Anaconda 完成部署，不知道 conda 用法的，可以看下我寫過的另一篇基礎(chǔ)教程：

《別再折騰開發(fā)環(huán)境了，一勞永逸的搭建方法》

FGVC 算法依賴于另外兩個算法 DeepFill 和 RAFT。

所以，可以創(chuàng)建兩個虛擬環(huán)境 FGVC 和 raft。

FGVC 環(huán)境使用 PyTorch 0.4.0，并配置算法 DeepFill 的環(huán)境。

DeepFill 環(huán)境配置方法：

https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements

直接使用指令安裝依賴庫：

pip install -r requirements.txt

raft 環(huán)境使用 PyTorch 1.6.0，并配置算法 RAFT 的環(huán)境。

RAFT 環(huán)境配置方法：

https://github.com/princeton-vl/RAFT#requirements

這里比較簡單，使用 conda 安裝需要的庫即可。

都配置完畢，就可以測試算法效果了！

效果測試

先激活 raft 虛擬環(huán)境，直到運行結(jié)果出現(xiàn)提示：

「Please switch to Pytorch 0.4.0」

然后切換到 FGVC 虛擬環(huán)境，然后再運行一次代碼。

Object removal：

cd toolpython video_completion.py \       --mode object_removal \       --path ../data/tennis \       --path_mask ../data/tennis_mask \       --outroot ../result/tennis_removal \       --seamless

FOV extrapolation：

cd toolpython video_completion.py \       --mode video_extrapolation \       --path ../data/tennis \       --outroot ../result/tennis_extrapolation \       --H_scale 2 \       --W_scale 2 \       --seamless

想要計算速度更快些，可以去掉 seamless 參數(shù)。

算法需要 rgb 圖片和 mask 圖片，這些數(shù)據(jù)是已知的，想要去除什么物體，給個物體的 mask 即可。

運行效果示意圖：

最后

關(guān)注我?guī)阃孓D(zhuǎn)各種好玩的 AI 算法，我是 Jack Cui，我們下期見！

推薦閱讀

我是如何成為算法工程師的，超詳細(xì)的學(xué)習(xí)路線
這些 AI 算法太強(qiáng)了，我有個大膽的想法！
成功上岸阿里，深度學(xué)習(xí)知識考點總結(jié)
百年老照片修復(fù)算法，那些高顏值的父母！

AI 隱身術(shù)，能讓物體在視頻中消失的魔法。

AI 隱身術(shù)，能讓物體在視頻中消失的魔法。