盤點(diǎn) | 2020年5篇圖像分割算法最佳綜述

綜述一

【1】使用深度學(xué)習(xí)進(jìn)行圖像分割：綜述

標(biāo)題：Image Segmentation Using Deep Learning: A Survey
作者：Shervin Minaee, Demetri Terzopoulos
鏈接：https://arxiv.org/abs/2001.05566

本文梳理了172篇相關(guān)文獻(xiàn)。

最近，由于深度學(xué)習(xí)模型在各種視覺應(yīng)用中的成功，已經(jīng)有大量旨在利用深度學(xué)習(xí)模型開發(fā)圖像分割方法的工作。本文提供了對(duì)文獻(xiàn)的全面回顧，涵蓋了語義和實(shí)例級(jí)分割的眾多開創(chuàng)性作品，包括全卷積像素標(biāo)記網(wǎng)絡(luò)，編碼器-解碼器體系結(jié)構(gòu)，多尺度以及基于金字塔的方法，遞歸網(wǎng)絡(luò)，視覺注意模型和對(duì)抗環(huán)境中的生成模型。本文研究了這些深度學(xué)習(xí)模型的相似性，優(yōu)勢(shì)和挑戰(zhàn)，研究了使用最廣泛的數(shù)據(jù)集，報(bào)告了性能，并討論了該領(lǐng)域有希望的未來研究方向。

2014年至2020年基于DL的2D圖像分割算法的時(shí)間軸。橙色，綠色和黃色塊分別表示語義，實(shí)例和全景分割算法。

DeepLabV3在樣本圖像上的分割結(jié)果。

U-net模型。藍(lán)色框表示具有其指定形狀的要素地圖塊。

DeepLabv3 +模型。

以mIoU和平均準(zhǔn)確度（mAcc）表示，NYUD-v2和SUN-RGBD數(shù)據(jù)集上的分割模型的性能。

綜述二

【2】 A Survey on Deep Learning Methods for Semantic Image Segmentation in Real-Time

標(biāo)題：深度學(xué)習(xí)實(shí)時(shí)語義圖像分割方法綜述
作者：Georgios Takos
鏈接：https://arxiv.org/abs/2009.12942

本文共梳理了9篇相關(guān)文獻(xiàn)。

語義圖像分割是計(jì)算機(jī)視覺中增長最快的領(lǐng)域之一，具有多種應(yīng)用程序。在許多領(lǐng)域，例如機(jī)器人技術(shù)和自動(dòng)駕駛汽車，語義圖像分割至關(guān)重要，因?yàn)檎Z義分割為基于像素級(jí)別的場(chǎng)景理解提供了采取動(dòng)作所需的必要上下文。此外，醫(yī)學(xué)診斷和治療的成功取決于對(duì)所考慮數(shù)據(jù)的極其準(zhǔn)確的理解，并且語義圖像分割是許多情況下的重要工具之一。深度學(xué)習(xí)的最新發(fā)展提供了許多工具來有效地解決這一問題，并且提高了準(zhǔn)確性。這項(xiàng)工作對(duì)圖像分割中的最新深度學(xué)習(xí)體系結(jié)構(gòu)進(jìn)行了全面分析，更重要的是，它提供了廣泛的技術(shù)列表以實(shí)現(xiàn)快速推理和計(jì)算效率。

完全卷積網(wǎng)絡(luò)架構(gòu)：

DeconvNet體系結(jié)構(gòu)：

比例感知語義圖像分割架構(gòu)：

Cityscapes像素級(jí)語義標(biāo)簽任務(wù)最佳表現(xiàn)模型：

綜述三

【3】Unsupervised Domain Adaptation in Semantic Segmentation: a Review
標(biāo)題：語義分割中的無監(jiān)督自適應(yīng)研究進(jìn)展
作者：Marco Toldo, ?Pietro Zanuttigh
鏈接：https://arxiv.org/abs/2005.10876

本文共梳理了120篇相關(guān)文獻(xiàn)。

本文的目的是概述用于語義分割的深度網(wǎng)絡(luò)的無監(jiān)督域自適應(yīng)（UDA）的最新進(jìn)展。這項(xiàng)任務(wù)引起了廣泛的興趣，因?yàn)檎Z義分割模型需要大量的標(biāo)記數(shù)據(jù)，而缺乏適合特定要求的數(shù)據(jù)是部署這些技術(shù)的主要限制。

最受歡迎的用于語義分割的UDA策略的維恩圖。每種方法都屬于代表使用的自適應(yīng)技術(shù)的集合。

從分類（稀疏任務(wù)）到語義分割（密集任務(wù)）的一些樣本圖像上一些可能的視覺任務(wù)的概述。

可以在不同的空間執(zhí)行域移位自適應(yīng)：輸入級(jí)別，功能級(jí)別和輸出級(jí)別。

綜述四

【4】A survey of loss functions for semantic segmentation
標(biāo)題：語義分割損失函數(shù)綜述
作者：Shruti Jadon
鏈接：https://arxiv.org/abs/2006.14822

本文共梳理了23篇相關(guān)文獻(xiàn)。

本文總結(jié)了一些眾所周知的損失函數(shù)，這些函數(shù)廣泛用于圖像分割，并列出了使用它們可以幫助快速，更好地收斂模型的情況。此外，本文還引入了新的log-cosh骰子損失函數(shù)，并將其在NBFS頭骨分割開源數(shù)據(jù)集上的性能與廣泛使用的損失函數(shù)進(jìn)行了比較。?本文還展示了某些損失函數(shù)在所有數(shù)據(jù)集上都能很好地發(fā)揮作用，并且在未知的數(shù)據(jù)分發(fā)方案中可以被視為很好的基準(zhǔn)選擇。

語義分割損失函數(shù)的類型

二元交叉熵?fù)p失函數(shù)圖。在這里，熵在Y軸上定義，事件的概率在X軸上。

語義分割損失函數(shù)的附表。

綜述五

【5】A Survey on Instance Segmentation: State of the art
標(biāo)題：實(shí)例分割技術(shù)綜述
作者：Abdul Mueed Hafiz, Ghulam Mohiuddin Bhat
鏈接：https://arxiv.org/abs/2007.00047

本文共梳理143篇相關(guān)文章，由克什米爾大學(xué)的學(xué)者發(fā)布。

目標(biāo)檢測(cè)或定位是從粗略到精細(xì)的數(shù)字圖像推斷的增量步驟。它不僅提供圖像對(duì)象的類別，而且還提供已分類圖像對(duì)象的位置。該位置以邊界框或質(zhì)心的形式給出。語義分割可通過預(yù)測(cè)輸入圖像中每個(gè)像素的標(biāo)簽來進(jìn)行精細(xì)推斷。每個(gè)像素根據(jù)其所在的對(duì)象類別進(jìn)行標(biāo)記。為進(jìn)一步發(fā)展，實(shí)例分割為屬于同一類的對(duì)象的單獨(dú)實(shí)例提供了不同的標(biāo)簽。因此，實(shí)例分割可以被定義為同時(shí)解決對(duì)象檢測(cè)和語義分割問題的技術(shù)。在這份關(guān)于實(shí)例分割的調(diào)查論文中，討論了實(shí)例分割的背景，問題，技術(shù)，演變，流行的數(shù)據(jù)集，相關(guān)技術(shù)以及最新范圍。本文為那些希望在實(shí)例分割領(lǐng)域進(jìn)行研究的人提供了寶貴的信息。

對(duì)象識(shí)別的演變：從粗略推斷到細(xì)粒度推斷：（a）圖像分類，（b）對(duì)象檢測(cè)或定位，（c）實(shí)例分割，（d）語義分割。

實(shí)例分割中重要技術(shù)的時(shí)間表

下圖為PANet框架。（a）FPN主干。（b）自下而上的路徑擴(kuò)充。（c）自適應(yīng)功能池。（d）盒支。（e）全連接融合。

Microsoft COCO數(shù)據(jù)集上值得注意的實(shí)例分割工作