【論文解讀】小樣本分割 | FSS1000 | CVPR2020

• 論文名稱：“FSS-1000: A 1000-Class Dataset for Few-Shot Segmentation”
• 筆記作者：煉丹兄（已授權(quán)）
• 聯(lián)系方式：微信cyx645016617 （歡迎交流，共同進(jìn)步）

【預(yù)告】：近期會(huì)更新5篇CVPR2020到2021的小樣本分割的文章心得

綜述

文章貢獻(xiàn)主要是兩個(gè)：

• 提出了FSS-1000的小樣本分割數(shù)據(jù)集；
• 并且用一個(gè)不是很創(chuàng)新的小樣本框架來(lái)證明，在這個(gè)數(shù)據(jù)集上預(yù)訓(xùn)練的模型其實(shí)在各種小樣本分割任務(wù)中都有不錯(cuò)的提升。

這里關(guān)于小樣本任務(wù)的定義就不介紹啦。

FSS1000介紹

• 全程：Few-Shot Segmentation 1000

和COCO，imageNET的等數(shù)據(jù)集比較，這個(gè)FSS1000數(shù)據(jù)集包含1000個(gè)類別，每個(gè)類別包含10張帶有標(biāo)注的圖像。1000個(gè)類別涵蓋日常用到的類別，包含卡通、微小部件等。我甚至在里面發(fā)現(xiàn)了這個(gè)類別（顏色是BGR反序的）：

數(shù)據(jù)集中的每張圖像都是224x224x3的尺寸，每個(gè)圖像中也只有單一的分割物體，就是說(shuō)是對(duì)于單張圖像是二分類，只有背景和前景的區(qū)別。

論文提出者把數(shù)據(jù)集分成了train和val，其中760類為train，240類為test。作者是使用240的test的每類的5個(gè)圖片作為小樣本的support set，也就是5-shot。

模型架構(gòu)

模型的結(jié)構(gòu)符合常識(shí)。

小樣本分割模型時(shí)要在760類物體上進(jìn)行訓(xùn)練。而后再來(lái)一個(gè)新的物體，給你五張標(biāo)注，你要能識(shí)別出來(lái)。這五張test數(shù)據(jù)集中的標(biāo)注數(shù)據(jù)，是不能加入到模型的訓(xùn)練當(dāng)中的。就是說(shuō)，關(guān)鍵就是模型在訓(xùn)練的時(shí)候，就要學(xué)會(huì)比對(duì)mask，這樣在test的時(shí)候，把有標(biāo)注和沒(méi)有標(biāo)注的數(shù)據(jù)同時(shí)輸入。模型自行從有標(biāo)注的圖像和mask中學(xué)習(xí)這次他要識(shí)別出來(lái)的物體，然后再?zèng)]有標(biāo)注的數(shù)據(jù)中展現(xiàn)。

【個(gè)人理解】：一般的分割任務(wù)是學(xué)習(xí)要分割對(duì)象的特性；小樣本分割任務(wù)是要模型學(xué)習(xí)一種“照貓畫(huà)虎”的能力。

模型結(jié)構(gòu)包含三個(gè)部分：編碼器Ｅ,相關(guān)模塊Ｒ，解碼器Ｄ。

• 輸入的圖像有標(biāo)注的X1和無(wú)標(biāo)住的圖像X2經(jīng)過(guò)編碼器E，得到E(X1),E(X2);
• 對(duì)于K-shot的任務(wù)，就是有5個(gè)標(biāo)注的圖像的話，那五個(gè)圖像都經(jīng)過(guò)E，得到的結(jié)果進(jìn)行平均。這樣的話，不管是幾shot，都可以得到一樣的尺寸；
• 然后E(X1),E(X2)在R模塊進(jìn)行相關(guān)性考慮。其實(shí)作者采用的就是channel-wise的拼接；
• 之后這種粗糙的低分辨率的特征圖，被放到decoder中還原到原圖大小即可。
• 損失函數(shù)采用最簡(jiǎn)單的BCE二值交叉熵。

這就是整個(gè)流程了。模型結(jié)構(gòu)合情合理，作為小樣本分割的入門(mén)架構(gòu)再合適不過(guò)了