<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          AI 隱身術,能讓物體在視頻中消失的魔法。

          共 2049字,需瀏覽 5分鐘

           ·

          2020-10-25 02:53

          來源 |?Jack?Cui

          1


          前言

          剛剛過去的 2020 年 ECCV,有一項 AI“隱身”技術引人矚目。

          正在坐秋千的小孩,突然只剩下秋千架。


          讓漫步的行人消失,讓奔馳的汽車消失。


          這么好玩的 AI 算法,你想學嗎?

          老規(guī)矩,今天,繼續(xù)手把手教學。

          算法原理、環(huán)境搭建、效果實現(xiàn),一條龍服務,盡在下文!

          2


          FGVC

          FGVC 的作者是一位 90 后北京小伙,目前在弗吉尼亞理工大學計算機工程專業(yè)就讀博士三年級,師從華人教授 Jia-Bin Huang。


          FGVC 算法本質上是一個基于光流法的視頻修復算法。

          光流法是視域中物體運動檢測的概念,其用于描述運動所造成的觀測目標、表面或邊緣的運動,主要應用于計算機視覺和影像處理等。

          使用光流法,可尋到不同幀之間的關系,并通過在不同幀之間傳播信息來補全視頻。

          FGVC 主要包含三個步驟:Flow completion、Temporal propagation、Fusion。

          Flow completion:具體操作時,要計算相鄰幀之間的正向光流和反向光流、以及一組非相鄰幀 (Non-local) 的正向光流和反向光流。

          Temporal propagation:按照光流的軌跡,為每個丟失的像素找到一組候選像素,對于每個候選幀,都要估計一個置信分數(shù)以及一個二進制有效性指標。

          Fusion:使用置信加權平均值,將每個缺失像素的候選像素與至少一個有效候選像素融合。對于沒有候選像素,則使用一個關鍵幀,并使用單個圖像補全技術來填充它。

          更具體的原理,比如邊緣引導的光流補充等,可以去「啃下」論文,學習一下。

          Paper 地址:
          https://arxiv.org/abs/2009.01835

          3


          環(huán)境配置

          想要測試算法效果,先要部署下開發(fā)環(huán)境。

          Github 開源項目地址:
          https://github.com/vt-vl-lab/FGVC

          Github 下載慢的,可以下載我已經(jīng)打包的代碼(提取碼:4lgs):
          https://pan.baidu.com/s/1rh1I2B4ssjiNdydUc_DflA?

          這里推薦使用 Anaconda 完成部署。

          FGVC 算法依賴于另外兩個算法 DeepFill 和 RAFT。

          所以,可以創(chuàng)建兩個虛擬環(huán)境 FGVC 和 raft。

          FGVC 環(huán)境使用 PyTorch 0.4.0,并配置算法 DeepFill 的環(huán)境。

          DeepFill 環(huán)境配置方法:
          https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements

          直接使用指令安裝依賴庫:

          pip install -r requirements.txt

          raft 環(huán)境使用 PyTorch 1.6.0,并配置算法 RAFT 的環(huán)境。

          RAFT 環(huán)境配置方法:
          https://github.com/princeton-vl/RAFT#requirements

          這里比較簡單,使用 conda 安裝需要的庫即可。

          都配置完畢,就可以測試算法效果了!

          4


          效果測試

          先激活 raft 虛擬環(huán)境,直到運行結果出現(xiàn)提示:

          「Please switch to Pytorch 0.4.0」

          然后切換到 FGVC 虛擬環(huán)境,然后再運行一次代碼。

          Object removal:

          cd toolpython video_completion.py \       --mode object_removal \       --path ../data/tennis \       --path_mask ../data/tennis_mask \       --outroot ../result/tennis_removal \       --seamless

          FOV extrapolation:

          cd toolpython video_completion.py \       --mode video_extrapolation \       --path ../data/tennis \       --outroot ../result/tennis_extrapolation \       --H_scale 2 \       --W_scale 2 \       --seamless

          想要計算速度更快些,可以去掉 seamless 參數(shù)。

          算法需要 rgb 圖片和 mask 圖片,這些數(shù)據(jù)是已知的,想要去除什么物體,給個物體的 mask 即可。


          運行效果示意圖


          感興趣的同學可以到GitHub下載源碼試試
          源碼:https://github.com/vt-vl-lab/FGVC
          瀏覽 68
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  99久久99久久兔费精桃 | 色五月久久婷婷综合片丁香花 | 日韩操逼逼| 欧美福利视频导航 | 99re6热在线精品视频播放 |