怕怕怕怕免费视频,在线国产福利视频,影音先锋麻豆视频,国产精品久久久久久久久久久久久久久久久久 ,亚洲丁香五月激情,精品国产精品一区二区金廿莲,日日日日女人,91久久精品日日躁夜夜躁欧美

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

本文轉(zhuǎn)載自：機(jī)器之心??|??編輯：魔王

作者：Jizhizi Li、Dacheng Tao等??

相比于人像摳圖，長(zhǎng)相各異、渾身毛茸茸的動(dòng)物似乎難度更大。IEEE 會(huì)士 Jizhizi Li、陶大程等人開發(fā)了一個(gè)專門處理動(dòng)物摳圖的端到端摳圖技術(shù) GFM。

演示Demo如下：

在這個(gè)圖像和視頻逐漸成為主流媒介的時(shí)代，大家早已對(duì)「摳圖」習(xí)以為常，說(shuō)不定還看過(guò)幾部通過(guò)「摳圖」拍攝的電視劇呢。然而，相比于人像摳圖，長(zhǎng)相各異、渾身毛茸茸的動(dòng)物似乎難度更大。

那么，是否有專用于動(dòng)物的摳圖技術(shù)呢？IEEE 會(huì)士 Jizhizi Li、陶大程等人就開發(fā)了一個(gè)專門處理動(dòng)物摳圖的端到端摳圖技術(shù)。

動(dòng)物的外觀和毛皮特征給現(xiàn)有的方法帶來(lái)了挑戰(zhàn)，這些方法通常要求額外的用戶輸入（如 trimap）。

為了解決這些問(wèn)題，陶大程等人研究了語(yǔ)義和摳圖細(xì)節(jié)，將任務(wù)分解為兩個(gè)并行的子任務(wù)：高級(jí)語(yǔ)義分割和低級(jí)細(xì)節(jié)摳圖。具體而言，該研究提出了新型方法——Glance and Focus Matting network (GFM)，使用共享編碼器和兩個(gè)單獨(dú)的解碼器以協(xié)作的方式學(xué)習(xí)兩項(xiàng)子任務(wù)，完成端到端動(dòng)物圖像摳圖。

研究人員還創(chuàng)建了一個(gè)新型動(dòng)物摳圖數(shù)據(jù)集 AM-2k，它包含 20 個(gè)類別的 2000 張高分辨率自然動(dòng)物圖像，并且具備手動(dòng)標(biāo)注的前景蒙版。

此外，該研究通過(guò)對(duì)前景和背景圖像之間的不同差異進(jìn)行綜合分析，來(lái)研究合成圖像和自然圖像之間的領(lǐng)域差距（domain gap）問(wèn)題。研究人員發(fā)現(xiàn)，其精心設(shè)計(jì)的合成流程 RSSN 能夠降低差異，帶來(lái)更好的、泛化能力更強(qiáng)的模型。在 AM-2k 數(shù)據(jù)集上的實(shí)驗(yàn)表明，GFM 超過(guò)當(dāng)前最優(yōu)方法，并且有效降低了泛化誤差。

動(dòng)物圖像摳圖方法 GFM

在給動(dòng)物圖像摳圖時(shí)，人類首先會(huì)瀏覽一下圖像，快速識(shí)別出大致的前景或背景區(qū)域，然后聚焦于過(guò)渡區(qū)域，將動(dòng)物細(xì)節(jié)與背景區(qū)分開來(lái)。這可以大致形式化為分割階段和摳圖階段。注意，這兩個(gè)階段可能會(huì)出現(xiàn)交叉，因?yàn)榈诙A段的反饋信息可以糾正第一階段錯(cuò)誤的決策。

為了模仿人類經(jīng)驗(yàn)，使摳圖模型具備處理這兩個(gè)階段的能力，有必要將其合并進(jìn)一個(gè)模型，并顯式地建模二者之間的協(xié)作。因此，研究者提出了新型 GFM 網(wǎng)絡(luò)，進(jìn)行端到端的自然動(dòng)物圖像摳圖，模型架構(gòu)參見(jiàn)下圖：

圖 2：GFM 網(wǎng)絡(luò)架構(gòu)圖示。它包含一個(gè)共享編碼器和兩個(gè)單獨(dú)的解碼器，解碼器分別負(fù)責(zé)圖像分割和細(xì)節(jié)摳圖。

新型圖像合成流程 RSSN

為自然圖像標(biāo)注前景蒙版費(fèi)時(shí)費(fèi)力且成本高昂，常見(jiàn)的操作是基于一些前景圖像和成對(duì)前景蒙版生成大規(guī)模合成圖像。

目前常見(jiàn)的蒙版合成流程是通過(guò)蒙版混合（alpha blending）將一個(gè)前景粘貼至不同的背景。但由于前景圖像和背景圖像通常采樣自不同的分布，合成圖像會(huì)出現(xiàn)大量合成偽影，從而導(dǎo)致合成圖像和自然圖像之間出現(xiàn)較大的領(lǐng)域差距。合成偽影可能會(huì)被模型誤以為是 cheap feature，從而導(dǎo)致在合成圖像上過(guò)擬合，在自然圖上出現(xiàn)較大的泛化誤差。

該研究系統(tǒng)地分析了引起合成偽影的因素：分辨率差異、語(yǔ)義模糊、銳度差異和噪聲差異，并提出了解決方案——一套新的合成流程 RSSN 和大規(guī)模高分辨率背景數(shù)據(jù)集 BG-20k。

RSSN 的整體流程如下所示：

下圖對(duì)比了不同合成圖像方法，其中 c 和 d 使用的背景圖像來(lái)自 BG-20k 數(shù)據(jù)集：

BG-20k 數(shù)據(jù)集具備以下特征：

動(dòng)物圖像摳圖數(shù)據(jù)集 AM-2K

AM-2k 數(shù)據(jù)集包含 20 個(gè)類別的 2000 張高分辨率自然動(dòng)物圖像，并且具備手動(dòng)標(biāo)注的前景蒙版。研究者將該數(shù)據(jù)集分割為訓(xùn)練集和驗(yàn)證集，并設(shè)置了兩個(gè)評(píng)估 track：ORI-Track (Original Images Based Track) 和 COMP-Track (Composite Images Based Track)。

下表展示了 AM-2k 數(shù)據(jù)集與現(xiàn)有摳圖數(shù)據(jù)集的對(duì)比情況：

該數(shù)據(jù)集中的示例參見(jiàn)下圖：

實(shí)驗(yàn)?

定量和主觀評(píng)估

下表 2 展示了多種 SOTA 方法在 AM-2k ORI-Track 上的結(jié)果：

與 SOTA 方法相比，GFM 在所有評(píng)估指標(biāo)上均超過(guò)它們，通過(guò)同時(shí)分割前景和背景圖像以及在過(guò)渡區(qū)域摳圖，取得了最優(yōu)性能。

下圖 6 展示了不同方法在 AM-2k ORI-Track 上的定性對(duì)比結(jié)果：

從圖中可以看出，SHM、LF 和 SSS 無(wú)法分割一些前景部分，因?yàn)槠浞侄问浇Y(jié)構(gòu)導(dǎo)致模型無(wú)法顯式地分辨前景 / 背景和過(guò)渡區(qū)域。語(yǔ)義分割和摳圖細(xì)節(jié)是很難平衡的，分別需要全局語(yǔ)義特征和局部結(jié)構(gòu)特征。HAtt 和 SHMC 無(wú)法獲得過(guò)渡區(qū)域的清晰細(xì)節(jié)，因?yàn)槿种敢兄谧R(shí)別語(yǔ)義區(qū)域，但對(duì)細(xì)節(jié)摳圖的用戶就沒(méi)那么大了。

相比而言，GFM 獲得了最優(yōu)結(jié)果，這得益于其統(tǒng)一模型，使用單獨(dú)的解碼器處理前景 / 背景和過(guò)渡區(qū)域，并以協(xié)作的方式進(jìn)行優(yōu)化。

模型集成和混合分辨率測(cè)試

如下表 3 所示，模型集成的結(jié)果優(yōu)于單個(gè)模型：

控制變量研究

控制變量研究結(jié)果如下表 4 所示：

模型復(fù)雜度分析

如下表 5 所示，使用 DenseNet-121 或 ResNet34 作為主干網(wǎng)絡(luò)的 GFM 在運(yùn)行速度上超過(guò) SHM、LF、Hatt 和 SHMC，它們處理一張圖像分別只需大約 0.2085s 和 0.1734s。

論文地址：https://arxiv.org/pdf/2010.16188v1.pdf
GitHub 地址：https://github.com/JizhiziLi/animal-matting

人像摳圖已經(jīng)滿足不了研究者了，這個(gè)研究專門給動(dòng)物摳圖！

人像摳圖已經(jīng)滿足不了研究者了，這個(gè)研究專門給動(dòng)物摳圖！