語(yǔ)義分割和目標(biāo)檢測(cè)是什么關(guān)系？
首先，讓我們看一下語(yǔ)義分割和目標(biāo)檢測(cè)的目標(biāo)分別是什么？
語(yǔ)義分割的目標(biāo)
語(yǔ)義分割的任務(wù)是對(duì)輸入的圖像進(jìn)行逐像素的分類(lèi)，標(biāo)記出像素級(jí)別的物體。
如上圖，圖1中把貓、天空、樹(shù)、草地進(jìn)行了逐像素的分類(lèi)；圖2中把牛、天空、樹(shù)、草地進(jìn)行了逐像素的分類(lèi)。
目標(biāo)檢測(cè)的目標(biāo)
目標(biāo)檢測(cè)的任務(wù)是對(duì)輸入的圖像進(jìn)行物體檢測(cè)，標(biāo)注物體在圖像上的位置，以及該位置上物體屬于哪個(gè)分類(lèi)。
如上圖，模型把圖中的人、狗、馬分別進(jìn)行了位置標(biāo)注，并且也給出了對(duì)應(yīng)的分類(lèi)類(lèi)別。
兩種任務(wù)的異同之處：
一、從大方向的任務(wù)特點(diǎn)上來(lái)說(shuō)
從大方向的任務(wù)特點(diǎn)來(lái)說(shuō)，語(yǔ)義分割和目標(biāo)檢測(cè)任務(wù)目標(biāo)都在意兩個(gè)關(guān)鍵信息：
1）物體的位置
待檢測(cè)的物體，它在圖像中位于什么位置。
對(duì)于語(yǔ)義分割來(lái)說(shuō)，這個(gè)信息需求的精準(zhǔn)度在像素級(jí)別的。概括地說(shuō)，我們需要把物體的輪廓描繪出來(lái)，以此來(lái)體現(xiàn)它的位置信息。
對(duì)于目標(biāo)檢測(cè)來(lái)說(shuō)，這個(gè)信息需求的精準(zhǔn)度僅在標(biāo)注其外切矩形。換句話來(lái)說(shuō)，把物體框出來(lái)，以此來(lái)體現(xiàn)它的位置信息。
2）物體的分類(lèi)
有了位置信息之后，語(yǔ)義分割和目標(biāo)檢測(cè)都存在對(duì)物體的分類(lèi)。不同的是：
對(duì)于語(yǔ)義分割來(lái)說(shuō)，它提供的信息中位置信息和分類(lèi)信息是有重疊的，即通過(guò)標(biāo)記每個(gè)像素的分類(lèi)，同時(shí)也達(dá)到提供位置信息。
對(duì)于目標(biāo)檢測(cè)來(lái)說(shuō)，分類(lèi)信息是針對(duì)每個(gè)標(biāo)注的框的，每一個(gè)框?qū)?yīng)著自己的分類(lèi)。
二、從數(shù)據(jù)格式來(lái)說(shuō)
正如前文所說(shuō)，由于在任務(wù)的目標(biāo)上存在著一些區(qū)別，這就使得它們需要不同的數(shù)據(jù)格式進(jìn)行標(biāo)注。
1）語(yǔ)音分割的數(shù)據(jù)格式
如上圖，這張圖中先驗(yàn)是5個(gè)類(lèi)別。在分類(lèi)中，會(huì)有5個(gè)channel，每個(gè)channel負(fù)責(zé)一個(gè)類(lèi)別的概率預(yù)測(cè)。最后，每個(gè)像素上，以5個(gè)channel中的最大值作為最終分類(lèi)，以此完成圖像語(yǔ)義分割的標(biāo)注工作。
2）目標(biāo)檢測(cè)的數(shù)據(jù)格式
從上圖中我們可以看到，對(duì)于目標(biāo)檢測(cè)的數(shù)據(jù)格式分為了兩個(gè)部分，分類(lèi)和框的坐標(biāo)。具體體現(xiàn)為：
分類(lèi)最終體現(xiàn)在對(duì)每個(gè)潛在框分類(lèi)的1*1*channel上，每個(gè)channel代表一個(gè)分類(lèi)，取值最大的channel作為最終分類(lèi)；位置信息會(huì)用4個(gè)值來(lái)保存：被分類(lèi)的物體中它的框的坐標(biāo)則為左上角的x和y坐標(biāo)，以及寬和高的尺寸。
共享上游的特征提取網(wǎng)絡(luò)
無(wú)論是語(yǔ)義分割和目標(biāo)檢測(cè)任務(wù)，它們都有一個(gè)特征提取的backbone。它們通常是從圖像分類(lèi)網(wǎng)絡(luò)中進(jìn)行嫁接的。當(dāng)我們發(fā)現(xiàn)有性能更佳的分類(lèi)網(wǎng)絡(luò)時(shí)，把它嫁接到語(yǔ)義分割或目標(biāo)檢測(cè)上，通常也能帶動(dòng)下游任務(wù)性能的提升。
如上圖，在Mask RCNN中，它同時(shí)處理了語(yǔ)義分割和目標(biāo)檢測(cè)的任務(wù)，在此網(wǎng)絡(luò)的上游階段，它們共享著ResNet的backbone網(wǎng)絡(luò)。
小結(jié)
語(yǔ)義分割和目標(biāo)檢測(cè)，它們有著類(lèi)似的任務(wù)目標(biāo)，把物體標(biāo)注出來(lái)，并且標(biāo)記物體的具體分類(lèi)信息。不同的是，語(yǔ)義分割所標(biāo)記的物體是像素級(jí)別的顆粒度的，而目標(biāo)檢測(cè)標(biāo)記的物體是其外切框。
不過(guò)，雖然存在著不同的任務(wù)細(xì)節(jié)特點(diǎn)，但是它們?cè)诰W(wǎng)絡(luò)上游上具有相同的特征提取的需求，于是，它們可以共享以圖像分類(lèi)為backbone的特征提取網(wǎng)絡(luò)。
往期精彩回顧