通過對比對象掩碼建議的無監(jiān)督語義分割

重磅干貨，第一時(shí)間送達(dá)

能夠在沒有監(jiān)督的情況下學(xué)習(xí)密集的圖像語義表示是計(jì)算機(jī)視覺中的一個(gè)重要問題。然而，盡管意義重大，這個(gè)問題仍然沒有得到充分的探討，除了一些例外，即考慮在具有狹窄視覺域的小尺度數(shù)據(jù)集上進(jìn)行無監(jiān)督語義分割。在本文中，作者首次嘗試解決傳統(tǒng)上用于有監(jiān)督情況的數(shù)據(jù)集上的問題。為了實(shí)現(xiàn)這一目標(biāo)，作者引入了一個(gè)新的兩步學(xué)習(xí)框架，該框架采用了一個(gè)預(yù)先確定的對比優(yōu)化目標(biāo)來學(xué)習(xí)像素嵌入。這標(biāo)志著與依賴代理任務(wù)或端到端集群的現(xiàn)有工作有很大的不同。此外，作者討論了擁有一個(gè)包含對象或其部分信息的先驗(yàn)的重要性，并討論了以無監(jiān)督方式獲得這樣一個(gè)先驗(yàn)的幾種可能性。大量的實(shí)驗(yàn)評價(jià)表明，所提出的方法比現(xiàn)有的方法具有關(guān)鍵的優(yōu)勢。首先，學(xué)習(xí)到的像素嵌入可以使用K-Means直接聚類到語義組中。其次，該方法可以作為一種有效的無監(jiān)督的語義分割任務(wù)前訓(xùn)練。特別是，當(dāng)使用PASCAL上1%的標(biāo)記示例來優(yōu)化學(xué)習(xí)到的表示時(shí)，作者比監(jiān)督ImageNet預(yù)訓(xùn)練的性能高出7.1% mIoU

代碼鏈接：https://github.com/wvangansbeke/Unsupervised-Semantic-Segmentation

作者的貢獻(xiàn)有:

(1)作者提出了一個(gè)兩步的無監(jiān)督語義分割框架，這標(biāo)志著與最近依賴代理任務(wù)或端到端聚類的工作有很大的偏差。

(2)在PASCAL上，作者學(xué)習(xí)到的像素嵌入可以使用K-Means直接聚類到語義組中。請注意，這是一個(gè)非常具有挑戰(zhàn)性的場景，在之前的作品中從未被探索過。

(3)最后，當(dāng)對學(xué)習(xí)到的表示進(jìn)行微調(diào)時(shí)，作者在ImageNet上報(bào)告了經(jīng)過監(jiān)督的預(yù)訓(xùn)練后的更好性能。這些結(jié)果表明，就學(xué)前訓(xùn)練而言，關(guān)注密集表征的學(xué)習(xí)是一個(gè)值得關(guān)注的研究方向。這與主流的基于圖像級特征學(xué)習(xí)的預(yù)訓(xùn)練策略相反。

作者分別在DUTS和MSRA數(shù)據(jù)集上訓(xùn)練有監(jiān)督(中間)和無監(jiān)督(底部)顯著性估計(jì)量。作者對帕斯卡進(jìn)行預(yù)測。

在PASCAL上使用1%的標(biāo)記數(shù)據(jù)進(jìn)行微調(diào)后的定性比較。作者在ImageNet(中間)或作者的方法(底部)上使用監(jiān)督前訓(xùn)練來在微調(diào)之前初始化權(quán)重。

作者提出了一個(gè)一般的兩步框架來處理無監(jiān)督語義分割。此外，作者還討論了擁有表達(dá)物體或其部分信息的先驗(yàn)的重要性。實(shí)驗(yàn)結(jié)果表明，獲得的像素嵌入具有幾個(gè)有趣的特性，即直接聚類、半監(jiān)督微調(diào)和遷移學(xué)習(xí)能力。最后，作者的框架允許幾個(gè)可能的擴(kuò)展:

1.可選擇的物體掩模建議方法，以解決與使用顯著物體掩模相關(guān)的限制。更具體地說，它將有助于提取更細(xì)粒度的圖像區(qū)域的共享像素所有權(quán)優(yōu)先適用。這可以在幾個(gè)方面對結(jié)果有好處，例如，作者可以增加掩模建議的數(shù)量，識別物體的部分和學(xué)習(xí)非顯著物體的表示。

2.該方法可以推廣到其他密集預(yù)測任務(wù)，如語義實(shí)例分割。例如，像素嵌入可以與對象掩碼提議機(jī)制相結(jié)合來預(yù)測語義實(shí)例。

3.一種層次策略可以被探索來建模像素關(guān)系在多個(gè)尺度。

鑒于作者框架的可行性，作者相信這些是有希望的研究方向。

論文鏈接：https://arxiv.org/pdf/2102.06191.pdf

每日堅(jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END -

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~