SwiftNet：實(shí)時(shí)視頻對(duì)象分割

點(diǎn)擊下面卡片關(guān)注“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

摘要

在這項(xiàng)工作中，作者提出了用于實(shí)時(shí)視頻對(duì)象分割(VOS)的SwiftNet，它報(bào)告了77.8%的J &F和70 FPS的DAVIS 2017 test-dev數(shù)據(jù)集，在所有現(xiàn)有解決方案的整體精度和速度性能中都非常出色。作者通過(guò)像素自適應(yīng)記憶(PAM)在基于匹配的VOS中精心壓縮時(shí)空冗余來(lái)實(shí)現(xiàn)這一目標(biāo)。暫時(shí)地，PAM自適應(yīng)地只在對(duì)象顯示顯著變化的幀上觸發(fā)更新。在空間上，PAM只在臨時(shí)變化的像素上執(zhí)行內(nèi)存更新和匹配，顯著減少了在分割無(wú)關(guān)像素上浪費(fèi)的計(jì)算量。此外，SwiftNet引入了一個(gè)光聚合編碼器，通過(guò)簡(jiǎn)化參考編碼來(lái)加速分割。該代碼將被公開(kāi)，作者希望SwiftNet可以作為有效的視頻對(duì)象分割的強(qiáng)大基線(xiàn)，并促進(jìn)視頻對(duì)象分割在移動(dòng)視覺(jué)中的應(yīng)用。

總之，本文突出了三個(gè)主要貢獻(xiàn):

• 作者建議SwiftNet在整體分割精度和速度方面創(chuàng)造新的記錄，從而為公開(kāi)源代碼的實(shí)時(shí)VOS提供一個(gè)強(qiáng)大的基線(xiàn)。

• 作者指出時(shí)空冗余是實(shí)時(shí)VOS的致命弱點(diǎn)，并利用像素自適應(yīng)記憶(PAM)組合變化感知觸發(fā)器和像素更新匹配來(lái)解決該問(wèn)題。還引入了光聚合編碼器(LAE)，以實(shí)現(xiàn)高效和全面的參考編碼。

• 作者在DAVIS 2016和2017以及YouTube-VOS數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，以77.8%的J & f和70 FPS的速度達(dá)到最佳的整體分割精度和速度性能。

框架結(jié)構(gòu)

SwiftNet方法的說(shuō)明。先執(zhí)行實(shí)黑線(xiàn)表示的操作生成分割掩碼，然后用虛線(xiàn)進(jìn)行內(nèi)存更新。

這是一個(gè)壓縮的非局部計(jì)算的示例，為了簡(jiǎn)單起見(jiàn)，省略了下標(biāo)t。

通過(guò)卷積生成圖像特征圖，計(jì)算含亞像素的掩模特征圖。

在DAVIS17驗(yàn)證集上顯示SwiftNet (ResNet-50)定量結(jié)果。

在DAVIS 2017驗(yàn)證集上的定量結(jié)果。在下面的所有表中，OL表示在線(xiàn)學(xué)習(xí)，實(shí)時(shí)方法位于水平線(xiàn)以下。

結(jié)論

作者提出了一種名為SwiftNet的實(shí)時(shí)半監(jiān)督視頻對(duì)象分割(VOS)解決方案，它提供了最佳的整體精度和速度性能。SwiftNet通過(guò)使用像素自適應(yīng)內(nèi)存(PAM)明確壓縮基于匹配的VOS的時(shí)空冗余來(lái)實(shí)現(xiàn)實(shí)時(shí)分割。在PAM中，使用變化感知觸發(fā)器減少了時(shí)間冗余，該觸發(fā)器自適應(yīng)地選擇增量幀進(jìn)行內(nèi)存更新，同時(shí)忽略靜態(tài)幀?？臻g冗余通過(guò)像素級(jí)內(nèi)存更新和匹配模塊消除，該模塊放棄全幀操作，只漸進(jìn)地處理暫時(shí)變化的像素。此外，光聚合編碼器的設(shè)計(jì)有利于全面和加快參考幀編碼。總的來(lái)說(shuō)，SwiftNet是非常高效和兼容的，通過(guò)發(fā)布源代碼，作者希望它能夠?yàn)楦鄬?shí)時(shí)VOS解決方案的到來(lái)奠定堅(jiān)實(shí)的基礎(chǔ)。

     

      個(gè)人微信（如果沒(méi)有備注不拉群！）
     
     

      請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱(chēng)
     
     

      

     


下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


   

    

   

   

    下載3 CVPR2021
   
   

    

   
   

    在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文