亚洲高清视频在线播放,xxx在线视频,又黄又爽免费网站,亚洲精品一在线,天天摸天天插,女人18片毛片60分钟播放在线,色婷婷久久综合中文久久蜜桃Av ,久久er热

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

本文轉(zhuǎn)載自機(jī)器之心。

選自arXiv

作者：Haichao Yu等

機(jī)器之心編譯

編輯：魔王、小舟

很多深度學(xué)習(xí)方法實(shí)現(xiàn)了不錯(cuò)的摳圖效果，但它們無(wú)法很好地處理高分辨率圖像。而現(xiàn)實(shí)世界中需要使用摳圖技術(shù)的圖像通常是分辨率為 5000 × 5000 甚至更高的高分辨率圖像。如何突破硬件限制，將摳圖方法應(yīng)用于高分辨率圖像？來(lái)自 UIUC、Adobe 研究院和俄勒岡大學(xué)的研究者提出了一種新方法。

摳圖是圖像和視頻編輯與合成的關(guān)鍵技術(shù)。通常，深度學(xué)習(xí)方法會(huì)以整個(gè)輸入圖像和相關(guān)的 trimap 作為輸入，使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)推斷前景蒙版（alpha matte）。這種方法在圖像摳圖領(lǐng)域?qū)崿F(xiàn)了 SOTA 結(jié)果。但是，由于硬件限制，這些方法在實(shí)際的摳圖應(yīng)用中可能會(huì)失敗，因?yàn)楝F(xiàn)實(shí)世界中需要摳圖的輸入圖像大多具備很高的分辨率。

近日，來(lái)自伊利諾伊大學(xué)香檳分校（UIUC）、Adobe 研究院和俄勒岡大學(xué)的研究者提出了一種名為 HDMatt 的新方法，這是首個(gè)處理高分辨率輸入圖像的深度學(xué)習(xí)摳圖方法。

早在 2017 年，Adobe 等機(jī)構(gòu)就發(fā)表論文《Deep Image Matting》，采用大規(guī)模數(shù)據(jù)集與深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的自然結(jié)構(gòu)，進(jìn)一步分離圖像的前景與背景。而那篇論文的一作 Ning Xu 正是這篇論文的第二作者。只不過(guò)，研究者這次將矛頭對(duì)準(zhǔn)了高分辨率圖像。

論文地址：https://arxiv.org/pdf/2009.06613.pdf

具體來(lái)說(shuō)，HDMatt 方法使用新型模塊設(shè)計(jì)，以基于 patch 的剪裁 - 拼接方式（crop-and-stitch）為高分辨率輸入圖像進(jìn)行摳圖，進(jìn)而解決不同 patch 之間的語(yǔ)境依賴性和一致性問(wèn)題?；?patch 的原版推斷方法單獨(dú)計(jì)算每個(gè) patch，而該研究提出了新的模塊——CrossPatch Contextual module (CPC)，該模塊由給定的 trimap 指導(dǎo)，對(duì)跨 patch 語(yǔ)境依賴性進(jìn)行建模。

大量實(shí)驗(yàn)表明了該方法的有效性及其對(duì)于高分辨率輸入圖像的必要性。HDMatt 方法在 Adobe Image Matting 和 AlphaMatting 基準(zhǔn)上均實(shí)現(xiàn)了新的 SOTA 性能，并且在更真實(shí)的高分辨率圖像上獲得了優(yōu)秀的效果。

下圖展示了，在處理高分辨率圖像時(shí)，HDMatt 方法與之前最優(yōu)方法 ContextNet 的對(duì)比結(jié)果：

ContextNet 分別應(yīng)用了下采樣 (DS) 和剪裁 (C) 策略。從圖中可以看出，DS 導(dǎo)致細(xì)節(jié)模糊，剪裁則導(dǎo)致跨 patch 不一致問(wèn)題。

而該研究提出的 HDMatt 方法解決了這兩個(gè)缺陷，摳圖效果與真值（上圖 c）最接近，這說(shuō)明該方法能夠擬合精細(xì)細(xì)節(jié)。

該研究的主要貢獻(xiàn)有：

這是首個(gè)基于深度學(xué)習(xí)的高分辨率圖像摳圖方法，在硬件資源限制下使現(xiàn)實(shí)世界中的高質(zhì)量 HR 摳圖成為現(xiàn)實(shí)。
提出一種新型模塊 CPC，用來(lái)捕獲 patch 之間的長(zhǎng)程語(yǔ)境依賴性。在 CPC 內(nèi)部，新提出的 Trimap-Guided Non-Local（TGNL）操作旨在高效傳播來(lái)自 reference patch 不同區(qū)域的信息。
在定量和定性實(shí)驗(yàn)方面，HDMatt 方法在 Adobe Image Matting (AIM)、AlphaMatting 基準(zhǔn)和真實(shí)高分辨率圖像數(shù)據(jù)集上均實(shí)現(xiàn)了新的 SOTA 性能。

HDMatt 方法

為了解決高分辨率圖像的摳圖問(wèn)題，該研究提出 HDMatt 方法，該方法首先將輸入圖像和 trimap 剪裁為 patch，然后估計(jì)每個(gè) patch 的 alpha 值。僅使用一個(gè) patch 的信息會(huì)導(dǎo)致信息損失以及不同 patch 之間的預(yù)測(cè)不一致問(wèn)題。因此，該研究提出新型 Cross-Patch Context Module (CPC) 模塊，高效利用每個(gè) query patch 的跨 patch 信息。最后，將每個(gè) patch 的估計(jì) alpha 值連接，輸出整個(gè)圖像最終的前景蒙版。

下圖 2 展示了 HDMatt 方法的整體框架：

下圖 3 展示了 CPC 模塊的工作流程：

實(shí)驗(yàn)

Adobe Image Matting 基準(zhǔn)數(shù)據(jù)集

下表 1 展示了 HDMatt 方法與其他 SOTA 方法在 Adobe Image Matting 測(cè)試集上的性能對(duì)比結(jié)果。HDMatt 方法在所有評(píng)估度量指標(biāo)上均優(yōu)于其他方法。

研究人員還對(duì)這些方法（包括 IndexNet 和 ContextNet）的實(shí)際效果進(jìn)行了對(duì)比，如下圖 4 所示：

從中可以看出，HDMatt 方法能夠更好地處理大型未知區(qū)域（即極少前景或背景信息的區(qū)域）。

AlphaMatting 基準(zhǔn)數(shù)據(jù)集

表 2 列出了在 AlphaMatting 基準(zhǔn)數(shù)據(jù)集上 SAD 指標(biāo)表現(xiàn)最優(yōu)的四個(gè)方法，HDMatt 方法在具備較大或用戶 trimap 的圖像上表現(xiàn)優(yōu)異。這進(jìn)一步證實(shí)了，當(dāng) trimap 中存在大量未知區(qū)域時(shí)，HDMatt 方法可以有效捕獲長(zhǎng)程語(yǔ)境依賴性。

下圖展示了不同方法在 AlphaMatting 測(cè)試集上的摳圖結(jié)果，自左向右分別是輸入圖像、Trimap、AdaMatting [1]、SampleNet [35]、GCA Matting [24] 和 HDMatt。從圖中可以看出，最右一列 HDMatt 方法的摳圖效果最精細(xì)。

真實(shí)圖像

除了這些數(shù)據(jù)集以外，研究人員還在網(wǎng)上收集了一些分辨率最高可達(dá) 6000 × 6000 的高分辨率圖像，并在這些真實(shí)圖像上進(jìn)行測(cè)試。

下圖 5 展示了將整張圖像作為輸入時(shí)，IndexNet、ContextNet 和 HDMatt 方法的性能。從結(jié)果中可以看到，HDMatt 方法能夠提取更精細(xì)精確的細(xì)節(jié)，同時(shí)推斷速度也更快。不過(guò)，該方法仍丟失了一些最精微的細(xì)節(jié)。

基于 Context Patch 的注意力可視化

下圖 7 展示了在給定 query patch 上基于選定 context patch 的注意力圖：

控制變量研究

下表展示了控制變量研究的結(jié)果：

摳圖只精細(xì)到頭發(fā)絲還不夠，Adobe新方法能處理6000×6000的高分辨率圖像

摳圖只精細(xì)到頭發(fā)絲還不夠，Adobe新方法能處理6000×6000的高分辨率圖像