超像素、語(yǔ)義分割、實(shí)例分割、全景分割 傻傻分不清？

在計(jì)算機(jī)視覺(jué)中，圖像分割是個(gè)非常重要且基礎(chǔ)的研究方向。簡(jiǎn)單來(lái)說(shuō)，圖像分割（image segmentation）就是根據(jù)某些規(guī)則把圖片中的像素分成不同的部分（加不同的標(biāo)簽）。

圖像分割中的一些常見的術(shù)語(yǔ)有：superpixels（超像素）、Semantic Segmentation（語(yǔ)義分割）、Instance Segmentation（實(shí)例分割）、Panoptic Segmentation（全景分割）。他們之間到底有什么區(qū)別呢？如果你對(duì)這幾個(gè)術(shù)語(yǔ)非常了解了，那么恭喜你！可以直接把文章拖到結(jié)尾，順手點(diǎn)個(gè)廣告，就可以返回了（笑）。

不過(guò)很多剛接觸這個(gè)領(lǐng)域的同學(xué)有點(diǎn)搞不太清楚上面的區(qū)別，那么跟我一起來(lái)學(xué)習(xí)一下吧！

第一次聽說(shuō)這個(gè)超像素很容易理解錯(cuò)誤，以為是在普通的像素基礎(chǔ)上繼續(xù)像微觀細(xì)分，如果這樣理解就恰好理解反了，其實(shí)超像素是一系列像素的集合，這些像素具有類似的顏色、紋理等特征，距離也比較近。用超像素對(duì)一張圖片進(jìn)行分割的結(jié)果見下圖，其中每個(gè)白色線條區(qū)域內(nèi)的像素集合就是一個(gè)超像素。需要注意的是，超像素很可能把同一個(gè)物體的不同部分分成多個(gè)超像素。

超像素最早的定義來(lái)自2003年 Xiaofeng Ren等人的一篇論文《Learning a Classification Model for Segmentation》。

其中超像素中比較常用的一種方法是SLIC（simple linear iterative clustering），是Achanta 等人2010年提出的一種思想簡(jiǎn)單、實(shí)現(xiàn)方便的算法，將彩色圖像轉(zhuǎn)化為CIELAB顏色空間和XY坐標(biāo)下的5維特征向量，然后對(duì)5維特征向量構(gòu)造距離度量標(biāo)準(zhǔn)，對(duì)圖像像素進(jìn)行局部聚類的過(guò)程。SLIC算法能生成緊湊、近似均勻的超像素，在運(yùn)算速度，物體輪廓保持、超像素形狀方面具有較高的綜合評(píng)價(jià)，比較符合人們期望的分割效果。

語(yǔ)義分割還是比較常見的，就是把圖像中每個(gè)像素賦予一個(gè)類別標(biāo)簽（比如汽車、建筑、地面、天空等），比如下圖就把圖像分為了草地（淺綠）、人（紅色）、樹木（深綠）、天空（藍(lán)色）等標(biāo)簽，用不同的顏色來(lái)表示。

不過(guò)這種分割方式存在一些問(wèn)題，比如如果一個(gè)像素被標(biāo)記為紅色，那就代表這個(gè)像素所在的位置是一個(gè)人，但是如果有兩個(gè)都是紅色的像素，這種方式無(wú)法判斷它們是屬于同一個(gè)人還是不同的人。也就是說(shuō)語(yǔ)義分割只能判斷類別，無(wú)法區(qū)分個(gè)體。

但很多時(shí)候我們更需要個(gè)體信息，想要區(qū)分出個(gè)體怎么辦呢？

實(shí)例分割方式有點(diǎn)類似于物體檢測(cè)，不過(guò)物體檢測(cè)一般輸出的是 bounding box，實(shí)例分割輸出的是一個(gè)mask。

實(shí)例分割和上面的語(yǔ)義分割也不同，它不需要對(duì)每個(gè)像素進(jìn)行標(biāo)記，它只需要找到感興趣物體的邊緣輪廓就行，比如下圖中的人就是感興趣的物體。該圖的分割方法采用了一種稱為Mask R-CNN的方法。我們可以看到每個(gè)人都是不同的顏色的輪廓，因此我們可以區(qū)分出單個(gè)個(gè)體。

最后說(shuō)說(shuō)全景分割，它是語(yǔ)義分割和實(shí)例分割的結(jié)合。如下圖所示，每個(gè)像素都被分為一類，如果一種類別里有多個(gè)實(shí)例，會(huì)用不同的顏色進(jìn)行區(qū)分，我們可以知道哪個(gè)像素屬于哪個(gè)類中的哪個(gè)實(shí)例。比如下圖中黃色和紅色都屬于人這一個(gè)類別里，但是分別屬于不同的實(shí)例（人），因此我們可以通過(guò)mask的顏色很容易分辨出不同的實(shí)例。

現(xiàn)在是不是對(duì)這幾個(gè)術(shù)語(yǔ)了然于胸了呢！