<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          手殘黨摳圖有救了!

          共 1918字,需瀏覽 4分鐘

           ·

          2020-11-12 14:38

          點擊上方“Jack Cui”,選擇“為設(shè)為星標

          第一時間關(guān)注技術(shù)干貨!


          1


          前言

          摳圖是個體力活。

          摳圖最難的,就是處理毛發(fā)。

          想沒想過,有一天,算法直接幫你自動摳圖?細致到毛發(fā)的那種!


          毛發(fā)的分割都不是問題

          新鮮熱乎剛出爐的 Image Matting 算法,你值得擁有。

          老規(guī)矩,今天,繼續(xù)手把手教學。

          算法原理、環(huán)境搭建、效果實現(xiàn),一條龍服務(wù),盡在下文!

          2


          Animal Matting

          摳圖問題的核心是精確地將圖像或視頻中的前景估計出來,對圖像編輯,影片剪輯等都有很深的意義。

          最新發(fā)表的論文 End-to-end Animal Image Matting ,只需要一張圖,無需任何先驗知識,即可實現(xiàn)端到端的摳圖,效果非常驚艷

          論文提出了一個名為 GFM 的摳圖模型,該模型可同時生成全局語義分割和局部 alpha mask。

          同時,論文也開源了第一個自然動物圖像摳像數(shù)據(jù)集 AM-2k,并設(shè)計了基于高分辨率背景數(shù)據(jù)集 BG-20k 的 RSSN 合成數(shù)據(jù)方法。

          GFM 網(wǎng)絡(luò)結(jié)構(gòu)如下:



          網(wǎng)絡(luò)結(jié)構(gòu):是一個編碼解碼器的結(jié)構(gòu),編碼器由兩個平行的解碼器共享。

          被共享的編碼器:以在 ImageNet 上預訓練的 ResNet-34 或 DenseNet-121 作為編碼器。

          Glance Decoder(GD):用于學習高層語義信息。在編碼器的第四個模塊之后,加入金字塔池化模塊(PPM)輸出全局上下文,用于GD中。

          Focus Decoder (FD):用于在低結(jié)構(gòu)特征中提取細節(jié)。在編碼器的第四個模塊之后,加入橋聯(lián)模塊(BB)收斂不同域中的局部上下文。并結(jié)合U-net,將 FD 與編碼器的對應模塊進行跳躍連接,訓練 FD。

          最后,以不同的表征域,連接 GD 和 FD 的輸出結(jié)果。

          GFM-TT:以真實 alpha 掩摸膨脹和腐蝕的 3 類 trimap T 作為 GD 監(jiān)督信號、以未知過渡域的 alpha 掩摸作為 FD 監(jiān)督信號。

          GFM-FT:以 2 類前景分割 mask 作為 GD 的監(jiān)督信號、以未知過渡域的 alpha 掩膜作為 FD 監(jiān)督信號。

          GFM-BT:以 2 類背景分割 mask 作為 GD 的監(jiān)督信號、以未知過渡域的 alpha 掩膜作為 FD 監(jiān)督信號。

          最后,通過協(xié)同合作摳圖(CM),將上述三個不同的表征域的結(jié)果,進行合并,獲得最終的 alpha 預測。

          更詳細的內(nèi)容,可以直接看 paper:
          https://arxiv.org/pdf/2010.16188.pdf

          3


          效果測試

          Github 項目地址:
          https://github.com/JizhiziLi/animal-matting

          第一步:搭建測試環(huán)境。

          根據(jù) Requirements.txt 安裝依賴庫即可,很簡單。


          第二步:下載訓練好的模型權(quán)重文件。

          下載地址(需翻墻):
          https://drive.google.com/u/0/uc?export=download&confirm=mOG3&id=1Y8dgOprcPWdUgHUPSdue0lkFAUVvW10Q

          第三步:在工程目錄,運行程序。

          python ./core/test_samples.py --cuda --arch="e2e_resnet34_2b_gfm_tt" --model_path="models/model_r34_2b_gfm_tt.pth" --pred_choice=3 --hybrid

          samples 目錄下的 original 目錄保存原始圖片;


          samples 目錄下的 result_alpha 目錄保存分割 mask ;


          samples 目錄下的 result_color 目錄保存提取結(jié)果。


          我將程序和權(quán)重文件都進行了打包,嫌麻煩,可以下載直接使用。

          下載地址(提取碼:jack):
          https://pan.baidu.com/s/1en7EXJGpMGDNkebGKM5C3A

          運行效果:


          運行速度很快,運行效果展示:


          4


          最后

          算法只針對動物,想對人進行摳圖,需要自己制作數(shù)據(jù)集以及訓練模型。

          想看更多更有趣的算法,三連走一波,我是 Jack Cui,我們下期見!


          ·················END·················

          推薦閱讀

          1

          AI 隱身術(shù),能讓物體在視頻中消失的魔法。

          2

          偷天換日,逼真的天空置換算法

          3

          個人網(wǎng)站沒落了?

          4

          打工人的薪資倒掛

          瀏覽 36
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  黄色在线观看视频 | 人妻黄色一级 | 性欧美xxxx | 日韩做爱 | 天堂网天堂网 |