用于語義分割的特征共享協(xié)作網絡

點擊上方“AI算法與圖像處理”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

近年來，深度神經網絡在圖像識別領域取得了較高的精度。在借鑒人類學習方法的基礎上，提出了一種基于協(xié)作學習的語義分割方法。我們使用兩個相同的網絡和路徑在兩個網絡之間發(fā)送特征映射。同時訓練兩個網絡。通過共享特征映射，兩個網絡中的一個可以獲得單個網絡無法獲得的信息。此外，為了提高合作程度，我們提出了只連接同一層和多層的兩種方法。我們在兩種網絡上評估了我們提出的想法。一個是雙注意網絡(DANet)，另一個是DeepLabv3+。與傳統(tǒng)的單一網絡和集成網絡相比，該方法具有更好的分割精度。

我們準備兩個網絡，并引入兩個網絡之間的連接，從頂部網絡獲得的特征映射可以發(fā)送到底部網絡，并將兩個特征映射連接起來。由于這兩個網絡都訓練來解決分割問題，為任務尋址好的信息被發(fā)送到底層網絡。因此，底層網絡可以利用從頂層網絡獲得的好的特征映射來解決任務，而底層網絡則專注于頂層網絡無法解決的問題。由于底層網絡將上層網絡獲得的特征圖進行拼接，拼接后的特征圖中濾波器的數(shù)量比原網絡多出兩倍。這就是我們在本文中提出的合作學習。

在我們的方法中，我們采用了以下?lián)p失，因為我們的方法同時分別訓練兩個cnn。我們使用Softmax交叉熵來計算損失（Loss = Loss1 + Loss2）其中Loss1為CNN1的Loss, Loss2為CNN2的Loss。兩種損耗同時得到優(yōu)化。在這種網絡結構中，我們可以訓練兩個網絡，同時共享單個網絡無法獲得的特征映射。合作學習有幾個優(yōu)點。首先，我們可以通過使用兩個網絡之間的特征映射來增加有用信息的數(shù)量。由于第一個網絡解決了分割任務，因此已經獲得了解決該任務的特征。因此，第二網絡可以學習任務使用信息從第一個網絡作為參考。基于以上原因，我們認為合作學習對于提高準確性是有效的。

在本文中，我們提出了兩種合作學習的連接方法。第一種連接方法是在相同的層之間。第二種連接方法是多層之間的連接。下面的小節(jié)將解釋這兩種方法。通過與集成網絡的比較，驗證了協(xié)同連接的有效性。集成網絡使用兩個相同的cnn。集成網絡與我們方法的區(qū)別如圖2 (a)所示。

圖1合作網絡的結構

圖2集成網絡(a)和提出的協(xié)作網絡(b)(c)結構

城市景觀數(shù)據(jù)集上的分割結果(val)。baseline是DANet。

城市景觀數(shù)據(jù)集上的分割結果(val)。baseline為Deeplabv3+

通過以上實驗，我們證實了無論使用哪種基線網絡，合作學習都能提高準確率。對于DANet而言，采用同一層連接的合作學習比采用不同層連接的合作學習具有更高的準確率。另一方面，DeepLabv3+的多層連接精度更高。從這些結果來看，最優(yōu)的連接方法依賴于基線CNN。DANet使用注意模塊對feature map進行增強。因此，同一層連接可以使用對應層的重要特征。另一方面，不同的層連接不能在不同的層上很好地使用這些特性。

在DeepLabv3+的情況下，使用一種編碼解碼器結構來聚合多尺度信息。多層連接可以從多層中提供有效的信息。因此，DeepLabv3+結構的多層連接獲得了較高的精度，因為來自不同層次的許多信息可以幫助DeepLabv3+結構獲得有效的信息。我們認為采用一種簡單的編譯碼結構網絡是有效的不同層連接。如果我們在圖4中使用注意模塊。城市景觀數(shù)據(jù)集上的分割結果(val)。基線是由Deeplabv3+增強特征映射，同層連接的合作學習是有效的。

在實驗中，我們將圖2(a)所示的網絡集成與提出的協(xié)作網絡進行了比較。所提出的兩種連接方法比兩種網絡集成的方法更精確。通過兩種實驗驗證了該協(xié)作網絡的有效性。

論文鏈接：https://arxiv.org/pdf/2101.07905.pdf

每日堅持論文分享不易，如果喜歡我們的內容，希望可以推薦或者轉發(fā)給周圍的同學。

- END -