<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          AI 隱身術(shù),能讓物體在視頻中消失的魔法。

          共 2185字,需瀏覽 5分鐘

           ·

          2020-10-24 04:19

          點擊上方“Jack Cui”,選擇“加為星標(biāo)

          第一時間關(guān)注技術(shù)干貨!

          1


          前言

          剛剛過去的 2020 年 ECCV,有一項 AI“隱身”技術(shù)引人矚目。

          正在坐秋千的小孩,突然只剩下秋千架。


          讓漫步的行人消失,讓奔馳的汽車消失。


          這么好玩的 AI 算法,你想學(xué)嗎?

          老規(guī)矩,今天,繼續(xù)手把手教學(xué)。

          算法原理、環(huán)境搭建、效果實現(xiàn),一條龍服務(wù),盡在下文!

          2


          FGVC

          FGVC 的作者是一位 90 后北京小伙,目前在弗吉尼亞理工大學(xué)計算機(jī)工程專業(yè)就讀博士三年級,師從華人教授 Jia-Bin Huang。


          FGVC 算法本質(zhì)上是一個基于光流法的視頻修復(fù)算法。

          光流法是視域中物體運動檢測的概念,其用于描述運動所造成的觀測目標(biāo)、表面或邊緣的運動,主要應(yīng)用于計算機(jī)視覺和影像處理等。

          使用光流法,可尋到不同幀之間的關(guān)系,并通過在不同幀之間傳播信息來補全視頻。

          FGVC 主要包含三個步驟:Flow completion、Temporal propagation、Fusion。

          Flow completion:具體操作時,要計算相鄰幀之間的正向光流和反向光流、以及一組非相鄰幀 (Non-local) 的正向光流和反向光流。

          Temporal propagation:按照光流的軌跡,為每個丟失的像素找到一組候選像素,對于每個候選幀,都要估計一個置信分?jǐn)?shù)以及一個二進(jìn)制有效性指標(biāo)。

          Fusion:使用置信加權(quán)平均值,將每個缺失像素的候選像素與至少一個有效候選像素融合。對于沒有候選像素,則使用一個關(guān)鍵幀,并使用單個圖像補全技術(shù)來填充它。

          更具體的原理,比如邊緣引導(dǎo)的光流補充等,可以去「啃下」論文,學(xué)習(xí)一下。

          Paper 地址:
          https://arxiv.org/abs/2009.01835

          3


          環(huán)境配置

          想要測試算法效果,先要部署下開發(fā)環(huán)境。

          Github 開源項目地址:
          https://github.com/vt-vl-lab/FGVC

          Github 下載慢的,可以下載我已經(jīng)打包的代碼(提取碼:jack):
          https://pan.baidu.com/s/1t_EDDDgMCHBS83QFywuFdg

          這里推薦使用 Anaconda 完成部署,不知道 conda 用法的,可以看下我寫過的另一篇基礎(chǔ)教程:

          《別再折騰開發(fā)環(huán)境了,一勞永逸的搭建方法

          FGVC 算法依賴于另外兩個算法 DeepFill 和 RAFT。

          所以,可以創(chuàng)建兩個虛擬環(huán)境 FGVC 和 raft。

          FGVC 環(huán)境使用 PyTorch 0.4.0,并配置算法 DeepFill 的環(huán)境。

          DeepFill 環(huán)境配置方法:
          https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements

          直接使用指令安裝依賴庫:

          pip install -r requirements.txt

          raft 環(huán)境使用 PyTorch 1.6.0,并配置算法 RAFT 的環(huán)境。

          RAFT 環(huán)境配置方法:
          https://github.com/princeton-vl/RAFT#requirements

          這里比較簡單,使用 conda 安裝需要的庫即可。

          都配置完畢,就可以測試算法效果了!

          4


          效果測試

          先激活 raft 虛擬環(huán)境,直到運行結(jié)果出現(xiàn)提示:

          「Please switch to Pytorch 0.4.0」

          然后切換到 FGVC 虛擬環(huán)境,然后再運行一次代碼。

          Object removal:

          cd toolpython video_completion.py \       --mode object_removal \       --path ../data/tennis \       --path_mask ../data/tennis_mask \       --outroot ../result/tennis_removal \       --seamless

          FOV extrapolation:

          cd toolpython video_completion.py \       --mode video_extrapolation \       --path ../data/tennis \       --outroot ../result/tennis_extrapolation \       --H_scale 2 \       --W_scale 2 \       --seamless

          想要計算速度更快些,可以去掉 seamless 參數(shù)。

          算法需要 rgb 圖片和 mask 圖片,這些數(shù)據(jù)是已知的,想要去除什么物體,給個物體的 mask 即可。


          運行效果示意圖

          5


          最后

          關(guān)注我?guī)阃孓D(zhuǎn)各種好玩的 AI 算法,我是 Jack Cui,我們下期見!

          推薦閱讀


          我是如何成為算法工程師的,超詳細(xì)的學(xué)習(xí)路線

          這些 AI 算法太強(qiáng)了,我有個大膽的想法!

          成功上岸阿里,深度學(xué)習(xí)知識考點總結(jié)

          百年老照片修復(fù)算法,那些高顏值的父母!

          瀏覽 83
          點贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  久久色在线视频 | 无码三级在线播放 | 在线免费观看成人网站 | 一级黄色免费观看 | 豆花视频免费版 |