DeepLabv3：語義圖像分割

點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達

使用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）分割圖像中的對象的挑戰(zhàn)之一是，隨著輸入特征圖遍歷網(wǎng)絡(luò)變得越來越小，有關(guān)小范圍對象的信息可能會丟失。

公式1.輸出特征圖y中位置i的公式，換句話說，圖2中綠色矩陣中的正方形之一。x是輸入信號，r是原子率，w是濾波器，k是內(nèi)核

圖2.使用3核的粗體二維卷積，粗率為2，沒有填充。

作者調(diào)整一個名為output_stride的值，該值是輸入圖像分辨率與輸出分辨率之間的比率。比較并結(jié)合了三種方法以創(chuàng)建最終方法：Atrous空間金字塔池（ASPP）。第一個是級聯(lián)卷積，它只是相互進行的卷積。當這些卷積的r = 1時（即開箱即用的卷積），將抽取詳細信息，從而使分割變得困難。作者發(fā)現(xiàn)，通過允許在DCNN的更深層塊中捕獲遠程信息，使用原子卷積可以改善這種情況。圖3展示了“原始” DCNN與級聯(lián)DCNN的比較，其中r>1無規(guī)卷積。

圖3.頂部（a）是規(guī)則的CNN，第二個（a）是級聯(lián)的r> 1的atrous卷積，output_stride為16

圖4.多網(wǎng)格CNN架構(gòu)

作者的主要貢獻是修改了[5]中的Atrous空間金字塔池化（ASPP），該方法在空間“金字塔”池化方法中使用了atrous卷積，以包括批量歸一化和圖像級特征。他們通過在最后一個特征圖上應用全局平均池來實現(xiàn)此目的，如圖5（b）所示。然后他們將結(jié)果饋送給具有256個濾波器的1x1卷積。最后，他們將特征雙線性升采樣到所需的空間尺寸。圖5中的示例提供了兩個輸出。輸出（a）是3x3卷積，多重網(wǎng)格速率=（6，12，18）。然后，網(wǎng)絡(luò)將這些輸出連接起來，并在生成logit類輸出的最終1x1卷積之前通過1x1卷積傳遞。

圖5.具有無窮卷積的并行模塊

為了給這種方法提供支持，他們將級聯(lián)和多網(wǎng)格ResNet與ASPP進行了比較。結(jié)果是：

• 輸出步幅：他們發(fā)現(xiàn)，較大的分辨率或較小的output_stride的性能要明顯好于無異常卷積或較大的output_stride。他們還發(fā)現(xiàn)，在比較output_stride為8（分辨率更高）和output_stride為16的驗證集上測試這些網(wǎng)絡(luò)時，output_stride為8時性能更好。

• 級聯(lián)：與常規(guī)卷積相比，級聯(lián)無窮卷積的結(jié)果提高了性能。但是，他們發(fā)現(xiàn)添加的塊越多，改進的余地就越小。

• 多網(wǎng)格：他們對多網(wǎng)格體系結(jié)構(gòu)的結(jié)果相對于“香草”網(wǎng)絡(luò)確實有所改善，并且在塊7處的（r1，r2，r3）=（1、2、1）時表現(xiàn)最佳。

• ASPP +多重網(wǎng)格+圖像池：隨著在多重網(wǎng)格率（R 1，R ?，- [R ?）=（1，2，4），使得ASPP（6，12，18）中的模型在77.21米歐表現(xiàn)最佳。在具有多尺度輸入的COCO數(shù)據(jù)集上的output_stride = 8時，該模型在82.70進行了測試，通過將output_stride從16更改為8，可以顯示出進一步的改進。

作者提出了一種方法，該方法通過向空間“金字塔”池中的無規(guī)卷積層添加批處理規(guī)范和圖像特征來更新DeepLab的先前版本。結(jié)果是網(wǎng)絡(luò)可以提取密集的特征圖以捕獲遠程上下文，從而提高分割任務的性能。他們提出的模型的結(jié)果優(yōu)于PASCAL VOC 2012語義圖像分割基準測試中的最新模型。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~