AAAI 2022 | 字節(jié)跳動(dòng) 顯著提升 圖像級弱監(jiān)督語義分割性能

機(jī)器之心專欄??字節(jié)跳動(dòng) - 智能創(chuàng)作團(tuán)隊(duì)

論文提出了一種面向圖像級標(biāo)簽的弱監(jiān)督語義分割的激活值調(diào)制和重校準(zhǔn)方案。該方法利用注意力調(diào)制模塊挖掘面向分割任務(wù)的目標(biāo)區(qū)域，通過補(bǔ)償分支產(chǎn)生的CAM圖校準(zhǔn)基準(zhǔn)的響應(yīng)圖，得到圖像的偽標(biāo)簽，該方法在PASCAL VOC2012數(shù)據(jù)集上獲得了SOTA性能。

圖像級弱監(jiān)督語義分割（WSSS）是一項(xiàng)基本但極具挑戰(zhàn)性的計(jì)算機(jī)視覺任務(wù)，該任務(wù)有助于促進(jìn)場景理解和自動(dòng)駕駛領(lǐng)域的發(fā)展?，F(xiàn)有的技術(shù)大多采用基于分類的類激活圖（CAM）作為初始的偽標(biāo)簽，這些偽標(biāo)簽往往集中在有判別性的圖像區(qū)域，缺乏針對于分割任務(wù)的定制化特征。?

為了解決上述問題，字節(jié)跳動(dòng) - 智能創(chuàng)作團(tuán)隊(duì)提出了一種即插即用的激活值調(diào)制和重校準(zhǔn)（Activation Modulation and Recalibration 簡稱 AMR）模塊來生成面向分割任務(wù)的 CAM，大量的實(shí)驗(yàn)表明，AMR 不僅在 PASCAL VOC 2012 數(shù)據(jù)集上獲得最先進(jìn)的性能。實(shí)驗(yàn)表明，AMR 是即插即用的，可以作為其他先進(jìn)方法的子模塊來提高性能。論文已入選機(jī)器學(xué)習(xí)頂級論文 AAAI2022，相關(guān)代碼即將開源。

• 論文鏈接：https://arxiv.org/abs/2112.08996

• GitHub 鏈接：https://github.com/jieqin-ai/AMR

引言

論文提出了一種新穎的激活調(diào)制和重校準(zhǔn)（AMR）方案，該方案利用聚光燈分支和補(bǔ)償分支獲得加權(quán) CAM，從而提供重校準(zhǔn)的監(jiān)督信號(hào)。注意力調(diào)制模塊（AMM）按照通道 - 空間的順序重新學(xué)習(xí)特征重要性的分布，這有助于顯式地建模通道相關(guān)性和空間編碼，以自適應(yīng)地調(diào)制面向分割任務(wù)的激活響應(yīng)。此外，研究者還針對雙分支引入了一種交叉?zhèn)伪O(jiān)督機(jī)制，它可以被視為一種語義相似的正則化機(jī)制來相互細(xì)化兩個(gè)分支。實(shí)驗(yàn)結(jié)果表明，該方法可以通過學(xué)習(xí)大量粗粒度的標(biāo)注獲得良好的分割結(jié)果，這對實(shí)際應(yīng)用非常有益。

方法

1、激活調(diào)制和重新校準(zhǔn)方案 AMR

AMR 是由一個(gè)聚光燈分支和一個(gè)補(bǔ)償分支組成的互補(bǔ)的雙分支網(wǎng)絡(luò)結(jié)構(gòu)。具體來說，聚光燈分支用于生成基礎(chǔ)的判別性強(qiáng)區(qū)域的 CAM，補(bǔ)償分支用于生成面向分割任務(wù)的 CAM，為聚光燈的 CAM 提供互補(bǔ)的監(jiān)督信號(hào)。補(bǔ)償分支能夠挖掘重要卻容易被聚光燈分支忽視的區(qū)域，生成的補(bǔ)償 CAM 通過重新校準(zhǔn)聚光燈 CAM 來生成最終的加權(quán) CAM：

2、注意力調(diào)制模塊 AMM

論文提出了注意調(diào)制模塊（AMM）從通道 - 空間順序的角度重新排序特征重要性的分布，這有助于顯式地建模通道間的相互依賴性和空間編碼，以自適應(yīng)地調(diào)節(jié)面向分割的激活響應(yīng)值。AMM 包括通道注意調(diào)制和空間注意調(diào)制。研究者首先將輸入到通道 AMM，通過平均池化和卷積層顯式地建模通道的相互依賴性。為了進(jìn)一步在空間維度上建模內(nèi)部空間的關(guān)系，研究者還引入了一個(gè)空間 AMM 來級聯(lián)通道 AMM。研究者利用高斯調(diào)制函數(shù)來增強(qiáng)次要特征并抑制最敏感和最不敏感的特征，該函數(shù)強(qiáng)調(diào)通過次重要的區(qū)域來直接提取容易忽略的區(qū)域，這對于分割任務(wù)至關(guān)重要。

3、交叉?zhèn)伪O(jiān)督損失 CPS

為了充分利用其他分支提供的互補(bǔ) CAM，研究者在聚光燈 CAM 和補(bǔ)償 CAM 之間增加一個(gè)交叉?zhèn)伪O(jiān)督損失函數(shù)，起到語義相似性正則的作用：

交叉?zhèn)伪O(jiān)督損失不僅正則化了補(bǔ)償分支，還將判別性區(qū)域和容易忽略的區(qū)域彼此拉近。因此可以獲得兩個(gè)互補(bǔ)區(qū)域來重新校準(zhǔn)初始 CAM。綜上所述，AMR 采用最終下述損失函數(shù)進(jìn)行優(yōu)化：

實(shí)驗(yàn)

在 PASCAL VOC2012 數(shù)據(jù)集上，一方面，AMR 超過了當(dāng)前圖像級弱監(jiān)督方法，取得了最佳的分割性能。另一方面，AMR 甚至比一些具有更細(xì)粒度監(jiān)督（如顯著性監(jiān)督）的算法獲得更好的效果。

可視化結(jié)果如下圖所示，從結(jié)果可以看出兩個(gè)互補(bǔ)的分支能夠關(guān)注到不同的響應(yīng)區(qū)域，最終的加權(quán)結(jié)果能挖掘出更多屬于目標(biāo)對象的區(qū)域，從而獲得更好的分割性能。

??THE END?

轉(zhuǎn)載請聯(lián)系機(jī)器之心獲得授權(quán)

猜您喜歡：

超110篇！CVPR 2021最全GAN論文匯總梳理！

超100篇！CVPR 2020最全GAN論文梳理匯總！

拆解組新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多樣性圖像生成

附下載 |?《可解釋的機(jī)器學(xué)習(xí)》中文版

附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》

附下載 |《計(jì)算機(jī)視覺中的數(shù)學(xué)方法》分享

《基于深度學(xué)習(xí)的表面缺陷檢測方法綜述》

《零樣本圖像分類綜述: 十年進(jìn)展》

《基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述》