啊啊嗯嗯视频,黄色一级片免费播放,日本无码在线视频,国产特级AV,99超碰在线网,一区二区三区四区久久,精品无码一区二区三区狠狠,天堂中文在线a

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達(dá)

轉(zhuǎn)自 |?機(jī)器之心

深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛用于顯著目標(biāo)檢測，并獲得了 SOTA 的性能。在 CVPR 2019 的一篇論文中，來自加拿大阿爾伯塔大學(xué)的研究者曾提出了邊界感知顯著目標(biāo)檢測網(wǎng)絡(luò) BASNet，并衍生出了一系列流行的工具。今年，該團(tuán)隊(duì)又提出了一種用于肖像畫生成的深度網(wǎng)絡(luò)架構(gòu) U^2-Net，不僅所需的計(jì)算開銷較少，而且生成肖像畫具有豐富的細(xì)節(jié)。該論文被 ICPR 2020 會議接收。

從人臉圖片生成藝術(shù)肖像畫的 AI 應(yīng)用不在少數(shù)，但效果驚艷的不多。上面這張圖片中的輸入 - 輸出結(jié)果，來源于一個 GitHub 熱門項(xiàng)目 U^2-Net (U square net)，開源至今已經(jīng)獲得了 1.7K 的 star 量。

這項(xiàng)研究來自阿爾伯塔大學(xué)的一個團(tuán)隊(duì)，論文此前已被國際模式識別大會 ICPR 2020 會議接收。

論文鏈接：https://arxiv.org/pdf/2005.09007.pdf
項(xiàng)目地址：https://github.com/NathanUA/U-2-Net

最近，研究者又將其應(yīng)用于人臉肖像畫的生成中，并基于 APDrawingGAN 數(shù)據(jù)集為此類任務(wù)訓(xùn)練了新的模型。不管是兒童肖像還是成年男性、成年女性，都能獲得相當(dāng)細(xì)致的生成結(jié)果：

近年來，顯著性目標(biāo)檢測廣泛應(yīng)用于視覺跟蹤和圖像分割等領(lǐng)域。隨著深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的發(fā)展，尤其是全卷積網(wǎng)絡(luò)（FCN）在圖像分割領(lǐng)域的興起，顯著性目標(biāo)檢測技術(shù)得到了明顯的改善。

大多數(shù) SOD 網(wǎng)絡(luò)的設(shè)計(jì)都有一個共同的模式，也就是說，它們專注于充分利用現(xiàn)有的基礎(chǔ)網(wǎng)絡(luò)提取的深度特征，例如 Alexnet、VGG、ResNet、ResNeXt、DenseNet 等。但這些主干網(wǎng)絡(luò)最初都是為圖像分類任務(wù)設(shè)計(jì)的。它們提取代表語義含義的特征，而不是代表局部性細(xì)節(jié)或全局對照信息，這對于顯著性目標(biāo)檢測至關(guān)重要。并且這些網(wǎng)絡(luò)通常需要在 ImageNet 數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，效率比較低。

為了解決這個問題，阿爾伯塔大學(xué)的研究者提出了 U^2-Net。研究團(tuán)隊(duì)在論文中介紹，U^2-Net 是一個簡單而強(qiáng)大的深度網(wǎng)絡(luò)架構(gòu)，其架構(gòu)是兩層嵌套的 U 形結(jié)構(gòu)。該研究提出的 ReSidual U-block（RSU）中混合了不同大小的接收域，因此它能夠從不同尺度中捕獲更多的語境信息。此外，RSU 中使用了池化操作，因此在不顯著增加計(jì)算成本的情況下，也能夠增加整個架構(gòu)的深度。

方法

在方法部分，研究者不僅詳細(xì)闡釋了其提出的殘差 U-block 以及利用該 U-block 構(gòu)建的嵌套 U 形架構(gòu)，而且還描述了該網(wǎng)絡(luò)的監(jiān)督策略和訓(xùn)練損失。

殘差 U-block

受到 U-Net 網(wǎng)絡(luò)的啟發(fā)，研究者提出了新型殘差 U-block（ReSidual U-block, RSU），以捕獲階段內(nèi)的多尺度特征。RSU-L (C_in, M, C_out)的結(jié)構(gòu)如下圖 2 (e)所示，其中 L 表示編碼器中的層數(shù)，C_in、C_out 分別表示輸入和輸出通道，M 表示 RSU 內(nèi)層通道數(shù)。

本研究提出的 RSU 與現(xiàn)有其他卷積塊的結(jié)構(gòu)對比

具體而言，RSU 主要有三個組成部件，分別是一個輸入卷積層、一個高度為 L 的類 U-Net 對稱編碼器 - 解碼器結(jié)構(gòu)以及一個通過求和來融合局部和多尺度特征的殘差連接。

為了更好地理解設(shè)計(jì)理念，研究者在下圖 3 中對 RSU 與原始?xì)埐顗K進(jìn)行了比較。結(jié)果顯示，RSU 與原始?xì)埐顗K的最大區(qū)別在于 RSU 通過一個類 U-Net 的結(jié)構(gòu)替換普通單流卷積，并且通過一個由權(quán)重層轉(zhuǎn)換的局部特征替換原始特征。

更值得注意的是，得益于 U 形結(jié)構(gòu)，RSU 的計(jì)算開銷相對較少，因?yàn)榇蠖鄶?shù)運(yùn)算在下采樣特征圖中應(yīng)用。下圖 4 展示了 RSU 與其他特征提取模塊的計(jì)算成本曲線圖：

U^2-Net 架構(gòu)

研究者提出了一種用于顯著目標(biāo)檢測的新型堆疊 U 形結(jié)構(gòu) U^n-Net。從理論上講，n 可以設(shè)置成任意正整數(shù)，以構(gòu)建單級或多級嵌套 U 形結(jié)構(gòu)。研究者將 n 設(shè)置為 2 以構(gòu)建二級嵌套 U 型結(jié)構(gòu) U^2-Net，具體如下圖所示：

具體而言，U^2-Net 主要由三部分組成：（1）6 階段編碼器；（2）5 階段解碼器；（3）與解碼器階段和最后編碼器階段相連接的顯著圖融合模塊。

總的來說，U^2-Net 的設(shè)計(jì)構(gòu)建了具有豐富多尺度特征以及較低計(jì)算和內(nèi)存成本的深度架構(gòu)。此外，由于 U^2-Net 架構(gòu)僅在 RSU 塊上構(gòu)建，并且沒有使用任何經(jīng)過圖像分類處理的預(yù)訓(xùn)練主干網(wǎng)絡(luò)，所以在性能損失不大的情況下 U^2-Net 可以靈活且方便地適應(yīng)不同的工作環(huán)境。

監(jiān)督

在訓(xùn)練過程中，研究者使用了類似于整體嵌套邊緣檢測（Holistically-nested edge detection, HED）的深度監(jiān)督算法。訓(xùn)練過程定義如下：

訓(xùn)練過程努力將上述公式 (1) 的整體損失最小化。在測試過程中，研究者選擇將融合輸出 l_fuse 作為最終顯著圖。

實(shí)驗(yàn)

研究者在 DUTS-TR 上訓(xùn)練了 U^2-Net 網(wǎng)絡(luò)，該數(shù)據(jù)集包含 10553 張圖片，是目前最大和最常用的顯著目標(biāo)檢測數(shù)據(jù)集。研究者對數(shù)據(jù)進(jìn)行了水平翻轉(zhuǎn)，總共獲得了 21106 張訓(xùn)練圖像。在評估階段，研究者使用了 DUTOMRON、DUTS-TE、HKU-IS、ECSSD、PASCAL-S、SOD 六個常用的基準(zhǔn)數(shù)據(jù)集來評估方法。

控制變量研究

實(shí)驗(yàn)從三個方面來驗(yàn)證 U^2 -Net 的效果：基本塊、架構(gòu)和主干網(wǎng)絡(luò)。