【論文介紹】：用雙注意力模塊來(lái)做語(yǔ)義分割

論文鏈接：https://arxiv.org/abs/1809.02983

本文認(rèn)為，盡管編碼器-解碼器結(jié)構(gòu)是一種標(biāo)準(zhǔn)的語(yǔ)義分割方法，近年來(lái)取得了很大的進(jìn)展，但它嚴(yán)重依賴(lài)于局部信息，可能會(huì)帶來(lái)一些偏見(jiàn)，因?yàn)闊o(wú)法看到全局信息。本文基于自注意機(jī)制，通過(guò)捕獲豐富的上下文依賴(lài)關(guān)系來(lái)解決這一問(wèn)題。

本文提出了雙注意網(wǎng)絡(luò)(DANet)，該網(wǎng)絡(luò)在擴(kuò)展的FCN基礎(chǔ)上附加兩個(gè)注意力模塊(位置注意力模塊和通道力注意模塊)，分別在空間維度和通道維度上建模語(yǔ)義相關(guān)性。位置注意力模塊選擇性地聚合所有位置的特征。相似的特征是相互關(guān)聯(lián)的，無(wú)論它們的距離如何。同時(shí)，通道注意力模塊選擇性地強(qiáng)調(diào)相互依賴(lài)的通道圖。該網(wǎng)絡(luò)將兩個(gè)注意模塊的輸出相加，進(jìn)一步改進(jìn)特征表示，從而提高語(yǔ)義分割的準(zhǔn)確性。

下文概述了下列情況：

• 雙注意力網(wǎng)絡(luò)
• 位置注意力模塊
• 通道注意力模塊
• 實(shí)驗(yàn)結(jié)果

圖1表示了圖像通過(guò)一個(gè)帶膨脹的殘差塊的整體網(wǎng)絡(luò)。然后將擴(kuò)展后的網(wǎng)狀區(qū)域的局部特征輸入兩個(gè)并行卷積層，分別傳遞到位置注意力塊和通道注意力塊。兩個(gè)注意力模塊的輸出通過(guò)另一個(gè)卷積層進(jìn)行變換，計(jì)算元素和完成特征融合。最后通過(guò)卷積層生成最終的預(yù)測(cè)圖。

為了在局部特征上模擬豐富的上下文關(guān)系，引入了位置注意力模塊。位置注意力模塊將范圍更廣的上下文信息編碼為局部特征，從而增強(qiáng)了局部特征的表示能力。

在位置注意力模塊中，給定一個(gè)局部特征a∈R (C×H×W)，首先將其輸入一個(gè)卷積層，分別生成兩個(gè)新的特征圖B和C，其中{B, C}∈R (C×H×W)。然后這些特征圖reshape為R (C×N)，其中N = H×W是像素的數(shù)量。然后在C與B的轉(zhuǎn)置之間進(jìn)行矩陣乘法，應(yīng)用softmax層計(jì)算空間注意力圖S∈R(N×N)。兩個(gè)位置的特征表示越相似，它們之間的相關(guān)性就越大。同時(shí)，將特征圖A送入卷積層，生成新的特征圖D∈R(C×H×W)，并將其reshape為R(C×N)。然后在D和S的轉(zhuǎn)置之間進(jìn)行矩陣乘法，并將結(jié)果reshape為R (C×H×W)。最后，將其與尺度參數(shù)α相乘，并與特征圖A進(jìn)行元素求和運(yùn)算，得到最終輸出E∈R (C×H×W)。將尺度參數(shù)α初始化為0，逐步學(xué)習(xí)權(quán)值。

每個(gè)高級(jí)特征的通道圖都可以看作是一個(gè)類(lèi)特有的響應(yīng)，不同的語(yǔ)義響應(yīng)之間相互關(guān)聯(lián)。通過(guò)利用通道圖之間的相互依賴(lài)性，可以強(qiáng)調(diào)相互依賴(lài)的特征圖，并改進(jìn)特定語(yǔ)義的特征表示。因此，提出了一個(gè)通道注意例模塊來(lái)顯式地建模通道間的相互依賴(lài)性。

在通道注意力模塊中，通道注意力圖X∈R (C×C)是從原始特征圖A∈R (C×H×W)中直接計(jì)算出來(lái)的。具體來(lái)說(shuō)，將A reshape 成R(C×N)，然后將A與A的轉(zhuǎn)置進(jìn)行矩陣乘法，最后應(yīng)用softmax層得到通道注意力圖X∈R(C×C)。此外，在X和A的轉(zhuǎn)置之間進(jìn)行矩陣乘法，其結(jié)果被reshape為R (C×H×W)。然后將結(jié)果與尺度參數(shù)β相乘，并與A進(jìn)行元素求和運(yùn)算，得到最終輸出E∈R (C×H×W)。參數(shù)β從0逐步學(xué)習(xí)權(quán)值。

注意，注意力模塊很簡(jiǎn)單，可以直接插入到現(xiàn)有的FCN管道中。

本文分別對(duì)有注意模力塊和沒(méi)有注意力模塊時(shí)的結(jié)果進(jìn)行了詳細(xì)的比較。本文進(jìn)行了一項(xiàng)全面的消融研究，將結(jié)果與其他最先進(jìn)的語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行比較。

消融實(shí)驗(yàn)表明，雙注意力模塊能有效地捕獲長(zhǎng)距離上下文信息，并給出更精確的分割結(jié)果。注意力網(wǎng)絡(luò)在4個(gè)場(chǎng)景分割數(shù)據(jù)集上均取得了優(yōu)異的性能。