ECCV2020 | EfficientFCN：語義分割中的整體引導解碼器，巧妙捕獲上下文信息

點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

語義分割（Semantic segmentation）或場景解析（Scene parsing）是將預先定義的類標簽之一分配給輸入圖像的每個像素的任務。在計算機視覺中，這是一項基礎而又艱巨的任務。全卷積網絡(FCN)，如圖1(a)所示，首次展示了在語義分割中利用完全卷積網絡的成功,它采用DCNN作為特征編碼器(即ResNet)來提取高級語義特征圖，然后應用卷積層來生成密集的預測。對于語義分割來說，高分辨率的特征圖對于實現準確的分割性能是至關重要的，因為它們包含了精細的結構信息，可以劃分出各種前景區(qū)域的詳細邊界。 此外，由于缺乏大規(guī)模的語義分割訓練數據，將預先訓練好的權重轉移到ImageNet上可以大大提高分割性能。因此，大多數最先進的語義分割方法采用分類網絡作為骨干，以充分發(fā)揮ImageNet預訓練的優(yōu)勢。通過連續(xù)的池化和分步卷積操作來學習高層次的特征表示，從而降低原始分類模型中特征圖的分辨率。最終特征圖的輸出步長為32（OS=32），其中細粒度的結構信息被丟棄。這種低分辨率的特征圖不能完全滿足需要詳細空間信息的語義分割的要求。為了解決這個問題，許多工作利用空洞卷積(artrous convolution)來擴大感受野(RF)，同時保持高層特征圖的分辨率。最先進的基于空洞卷積的FCN的方法(如圖1(b)所示)已經證明，去掉下采樣操作并在后面的卷積塊中用稀釋卷積替換普通卷積可以獲得更優(yōu)的性能，最終得到輸出步長8(OS=8)的特征圖。盡管空洞卷積具有優(yōu)越的性能，且沒有引入額外的參數，但高分辨率的特征表示需要較高的計算復雜性和內存消耗。例如，對于一個512×512的輸入圖像，以ResNet101為骨干編碼器，當采用空洞卷積，步長2和4進入最后兩個階段的卷積塊時，編碼器的計算復雜度從44.6 GFlops增加到223.6 GFlops。

圖1：用于語義分割的不同架構。（a）輸出步幅（OS）= 32的原始FCN。（b）基于DilatedFCN的方法犧牲了效率，并在最后兩個階段利用步幅為2和4的擴張卷積來生成高分辨率特征圖。（c）編碼器-解碼器方法采用U-Net結構來恢復高分辨率特征圖。（d）本文提出的帶有codebook生成和codeword assembingly的EfficientFCN，用于高分辨率特征上采樣語義分割。

類似的，如圖1（c）所示，基于編碼器-解碼器的方法（例如Unet）利用解碼器結構聚合來自骨干（或編碼器）的多層特征圖來逐步上采樣并生成高分辨率特征圖。這些基于編碼器-解碼器的方法可以有效地獲得高分辨率特征表示。但是，一方面，細粒度的結構細節(jié)已經在OS = 32的最高層特征圖中丟失了。即使使用跳躍連接，較低層的高分辨率特征圖也無法提供足夠抽象的特征來實現高性能分割。另一方面，現有的解碼器主要利用雙線性上采樣或反卷積運算來提高高層級特征圖的分辨率，這些操作以局部方式進行，從有限的感受野中恢復上采樣特征圖每個位置的特征向量。因此，盡管編碼器-解碼器模型通常比基于空洞卷積的FCN模型的方法更快并且對存儲器更友好，但是它們的性能通常不能與空洞卷積的FCN模型的性能相抗衡。

為了解決這兩類模型的挑戰(zhàn)，本文提出了Efficien-FCN(如圖1(d)所示)與HGD(Holistically-guided Decoder)，以彌合基于空洞卷積的方法與基于編碼器-解碼器的方法之間的差距，本文的網絡可以采用任何廣泛使用的分類模型，而不采用空洞卷積作為編碼器(如ResNet模型)來生成低分辨率的高層特征圖(OS=8)。這樣的編碼器比DilatedFCN模型中的編碼器在計算上和內存上都要高效。考慮到編碼器最后三個卷積塊的多層特征圖，所提出的整體導引解碼器既利用高層次但低分辨率(OS=32)的優(yōu)勢，也利用中層次高分辨率特征圖(OS=8,OS=16)來實現語義豐富的高層次特征上采樣。?

直觀地講，高分辨率特征圖包含了更多的細粒度結構信息，有利于在空間上引導特征上采樣過程；低分辨率特征圖包含了更多的高層次語義信息，更適合于有效地編碼全局上下文。因此，本文的HGD從低分辨率特征圖(OS=32)中生成了一系列整體性的編碼詞(codebook)來總結輸入圖像的不同全局和高層次方面。這些編碼詞可以在高分辨率的網格中進行適當的組合，形成具有豐富語義信息的上采樣特征圖。遵循這一原理，HGD從高分辨率特征圖(OS=8，OS=16)中生成assembly系數，以指導每個高分辨率空間位置的整體codeword的線性assembly，實現特征上采樣。 本文提出的帶整體引導解碼器的EfficientFCN在三個流行的公共數據集上實現了較高的分割精度，證明了所提出的解碼器的效率和有效性。

1、網絡結構

圖2：提出的EfficientFCN模型的圖示。它由三個主要部分組成：多尺度特征融合模塊以融合OS = 8和OS = 32的多尺度特征圖。整體codebook生成模塊生成一系列整體codeword，概括了全局上下文的不同方面。高分辨率特征上采樣可以通過codeword匯編來實現。

在最先進的DCNN主干網絡中，早期階段的高分辨率低層特征圖可以更好地編碼細粒度結構，而后期階段的低分辨率高層特征通常對類別預測更具辨別力，它們是實現準確語義分割的必要和互補的信息源。為了結合這兩種特征的優(yōu)勢，作者利用了編碼器-解碼器結構，以從多尺度特征圖中重建具有豐富語義信息的高分辨率特征圖。具體地，將OS8、OS16、OS32三個不同分辨率大小的特征圖通過upsampling+skip操作，上采樣后的特征圖在一定程度上包含了中層和高層信息，可以用來生成分割mask。然而，經典解碼器中的雙線性上采樣和反卷積層都是局部操作，感受野有限，因此它們無法探索輸入圖像的重要全局背景，而這對于實現精確分割至關重要。在此基礎上，作者提出了一個新的策略，即利用全局上下文來重新權重特征圖中不同通道的貢獻或上采樣特征圖中的貢獻，這種策略只對每個特征通道進行了調整，但保持了原有的空間大小和結構。因此，它無法生成高分辨率的富含語義的特征圖以提高細粒度結構的恢復能力。為了解決這一缺點，提出了一種新型的整體性引導解碼器(HGD)，它將特征上采樣任務分解為從高級特征圖中生成一系列holistic編碼詞以捕獲全局上下文，并在每個空間位置線性地組裝編碼詞以進行富含語義的特征上采樣。這種解碼器可以利用全局上下文信息來有效地指導特征上采樣過程，并且能夠恢復精細的細節(jié)。基于所提出的HGD，本文提出了EfficientFCN(如圖1(d)所示)，其高效編碼器不需要稀釋卷積，可以實現高效的語義分割。

2、Holistically-guided Decoder for Semantic-rich FeatureUpsampling

為了利用尺寸為OS=32的低分辨率高層特征圖和尺寸為OS=8和OS=16的高分辨率中層特征圖的優(yōu)勢，由于高層特征圖已經失去了大部分的結構細節(jié)，但語義豐富，可以對分類信息進行編碼，作者認為從它們中恢復詳細的細節(jié)信息結構是相當具有挑戰(zhàn)性的，也是不必要的。在此基礎上，提出了從高層特征圖中生成一系列沒有任何空間順序的整體編碼詞，以捕獲全局環(huán)境的不同方面。 另一方面，中層的高分辨率特征圖已經保持了豐富的圖像結構信息。但它們來自相對較低的圖層，不能為最終的掩模預測編碼足夠準確的分類特征。然而，它們仍然會有足夠的代表性，用于指導高分辨率特征上采樣的語義豐富的編碼詞的線性組裝。因此，提出的整體導引解碼器包含三個主要部分：多尺度特征融合、整體編碼本生成和用于高分辨率特征上采樣的編碼詞組裝。

具體步驟首先融合多尺度特征，然后進行Holistic codebook generation。雖然多尺度融合特征圖是為了整合高層和中層特征而創(chuàng)建的，但由于其分辨率較小，使得它們失去了許多場景的結構細節(jié)。另一方面，由于融合后的特征圖是從最深層編碼的，因此能夠對圖像的分類表示進行編碼。因此，作者提出要從融合后的特征圖中生成一系列無序的整體性編碼詞，以隱含地模擬全局背景的不同方面。 為了生成n個整體性編碼詞，首先通過兩個獨立的1×1卷積從融合的多尺度特征圖中計算出編碼base map和n個空間加權圖。對于base map，表示為位置(x，y)的1024-d特征向量；為了保證加權圖A被正確歸一化，采用softmax函數對每個通道i的所有空間位置進行歸一化:

同時，每個空間加權圖都會將所有空間位置的所有密碼基B(x，y)線性組合起來，形成一個單一的密碼，它可以捕捉全局上下文的某些方面。然后，加權圖最終會產生n個整體編碼詞來編碼高層次的全局特征。

之后，是用于高分辨率特征上采樣的codeword編碼過程。整體編碼詞可以捕捉到輸入圖像的各種全局上下文，它們是重建高分辨率語義豐富的特征圖的完美成分，因為它們是由高級特征編碼而成的。在此基礎上,采用OS=8的多義詞編碼方法對圖像進行編碼，并將其作為重建高分辨率語義豐富的特征圖的完美材料。然而，由于編碼過程中大部分結構信息已經被刪除，轉而使用OS=8的多尺度融合特征來預測每個空間位置的編碼詞的線性編碼系數，以創(chuàng)建高分辨率的特征圖。最后，進行合并成OS8的特征圖并進行上采樣，得到最終的預測分割圖。