【NLP】博士筆記 | 深入理解深度學(xué)習(xí)語(yǔ)義分割
作者：王博Kings、Sophia
本文內(nèi)容概述王博Kings最近的語(yǔ)義分割學(xué)習(xí)筆記總結(jié)
引言：最近自動(dòng)駕駛項(xiàng)目需要學(xué)習(xí)一些語(yǔ)義分割的內(nèi)容，所以看了看論文和視頻做了一個(gè)簡(jiǎn)單的總結(jié)。筆記思路是：機(jī)器學(xué)習(xí)-->>深度學(xué)習(xí)-->>語(yǔ)義分割
目錄：
機(jī)器學(xué)習(xí)回顧
深度學(xué)習(xí)回顧
語(yǔ)義分割簡(jiǎn)介
語(yǔ)義分割代表算法
一、回顧機(jī)器學(xué)習(xí)
二、深度學(xué)習(xí)回顧
激活函數(shù)
這些卷積是語(yǔ)義分割的一個(gè)核心內(nèi)容！
三、語(yǔ)義分割簡(jiǎn)介
什么是語(yǔ)義分割？
ü語(yǔ)義分割（semantic segmentation）：按照“語(yǔ)義”給圖像上目標(biāo)類別的每一個(gè)點(diǎn)打一個(gè)標(biāo)簽，使得不同種類的東西在圖像上區(qū)分開(kāi)，可以理解為像素級(jí)別的分類任務(wù)。
語(yǔ)義分割有哪些評(píng)價(jià)指標(biāo)？
ü1.像素精度（pixel accuracy ）：每一類像素正確分類的個(gè)數(shù)/ 每一類像素的實(shí)際個(gè)數(shù)。
ü2.均像素精度（mean pixel accuracy ）：每一類像素的精度的平均值。
ü3.平均交并比（Mean Intersection over Union）：求出每一類的IOU取平均值。IOU指的是兩塊區(qū)域相交的部分/兩個(gè)部分的并集，如figure2中 綠色部分/總面積。
ü4.權(quán)頻交并比（Frequency Weight Intersectionover Union）：每一類出現(xiàn)的頻率作為權(quán)重
四、語(yǔ)義分割代表算法
全卷積網(wǎng)絡(luò) FullyConvolutional Networks
2015年《Fully Convolutional Networks for SemanticSegmentation》
通常CNN網(wǎng)絡(luò)在卷積層之后會(huì)接上若干個(gè)全連接層, 將卷積層產(chǎn)生的特征圖(feature map)映射成一個(gè)固定長(zhǎng)度的特征向量。
輸入AlexNet, 得到一個(gè)長(zhǎng)為1000的輸出向量, 表示輸入圖像屬于每一類的概率, 其中在“tabby cat”這一類統(tǒng)計(jì)概率最高。
與經(jīng)典的CNN在卷積層之后使用全連接層得到固定長(zhǎng)度的特征向量進(jìn)行分類（全聯(lián)接層＋softmax輸出）不同，F(xiàn)CN可以接受任意尺寸的輸入圖像，采用反卷積層對(duì)最后一個(gè)卷積層的feature map進(jìn)行上采樣, 使它恢復(fù)到輸入圖像相同的尺寸，從而可以對(duì)每個(gè)像素都產(chǎn)生了一個(gè)預(yù)測(cè), 同時(shí)保留了原始輸入圖像中的空間信息, 最后在上采樣的特征圖上進(jìn)行逐像素分類。
簡(jiǎn)單的來(lái)說(shuō)，F(xiàn)CN與CNN的區(qū)域在把于CNN最后的全連接層換成卷積層，輸出的是一張已經(jīng)Label好的圖片。
有沒(méi)有缺點(diǎn)？
是得到的結(jié)果還是不夠精細(xì)。進(jìn)行8倍上采樣雖然比32倍的效果好了很多，但是上采樣的結(jié)果還是比較模糊和平滑，對(duì)圖像中的細(xì)節(jié)不敏感。
是對(duì)各個(gè)像素進(jìn)行分類，沒(méi)有充分考慮像素與像素之間的關(guān)系。忽略了在通常的基于像素分類的分割方法中使用的空間規(guī)整（spatialregularization）步驟，缺乏空間一致性。
對(duì)于任何的分類神經(jīng)網(wǎng)絡(luò)我們都可以用卷積層替換FC層，只是換了一種信息的分布式表示。如果我們直接把Heatmap上采樣，就得到FCN-32s。
三種模型FCN-32S,FCN-16S, FCN-8S
主要貢獻(xiàn)：
ü不含全連接層(fc)的全卷積(fully conv)網(wǎng)絡(luò)。可適應(yīng)任意尺寸輸入。
ü增大數(shù)據(jù)尺寸的反卷積(deconv)層。能夠輸出精細(xì)的結(jié)果。?
ü結(jié)合不同深度層結(jié)果的跳級(jí)(skip)結(jié)構(gòu)。同時(shí)確保魯棒性和精確性。
缺點(diǎn)：
?得到的結(jié)果還是不夠精細(xì)。進(jìn)行8倍上采樣雖然比32倍的效果好了很多，但是上采樣的結(jié)果還是比較模糊和平滑，對(duì)圖像中的細(xì)節(jié)不敏感。
?是對(duì)各個(gè)像素進(jìn)行分類，沒(méi)有充分考慮像素與像素之間的關(guān)系。忽略了在通常的基于像素分類的分割方法中使用的空間規(guī)整（spatial regularization）步驟，缺乏空間一致性。
SegNet
2015年《SegNet: A DeepConvolutionalEncoder-Decoder Architecture for Image Segmentation》
最大池化：反卷積
與FCN對(duì)比，SegNet的差別就在于上采樣反卷積
U-Net
2015年《U-Net:Convolutional Networks for Biomedical ImageSegmentation》
網(wǎng)絡(luò)的左側(cè)（紅色虛線）是由卷積和Max Pooling構(gòu)成的一系列降采樣操作，論文中將這一部分叫做壓縮路徑（contracting path）。壓縮路徑由4個(gè)block組成，每個(gè)block使用了3個(gè)有效卷積和1個(gè)Max Pooling降采樣，每次降采樣之后Feature Map的個(gè)數(shù)乘2，因此有了圖中所示的Feature Map尺寸變化。最終得到了尺寸為? 的Feature Map。
網(wǎng)絡(luò)的右側(cè)部分(綠色虛線)在論文中叫做擴(kuò)展路徑（expansive path）。同樣由4個(gè)block組成，每個(gè)block開(kāi)始之前通過(guò)反卷積將Feature Map的尺寸乘2，同時(shí)將其個(gè)數(shù)減半（最后一層略有不同），然后和左側(cè)對(duì)稱的壓縮路徑的Feature Map合并，由于左側(cè)壓縮路徑和右側(cè)擴(kuò)展路徑的Feature Map的尺寸不一樣，U-Net是通過(guò)將壓縮路徑的Feature Map裁剪到和擴(kuò)展路徑相同尺寸的Feature Map進(jìn)行歸一化的（即圖1中左側(cè)虛線部分）。擴(kuò)展路徑的卷積操作依舊使用的是有效卷積操作，最終得到的Feature Map的尺寸是? 。由于該任務(wù)是一個(gè)二分類任務(wù)，所以網(wǎng)絡(luò)有兩個(gè)輸出Feature Map。
U-Net沒(méi)有利用池化位置索引信息，而是將編碼階段的整個(gè)特征圖傳輸?shù)较鄳?yīng)的解碼器（以犧牲更多內(nèi)存為代價(jià)），并將其連接，再進(jìn)行上采樣（通過(guò)反卷積），從而得到解碼器特征圖。
DeepLabV1
2015年《Semantic image segmentation withdeep convolutional nets and fully connected CRFs》
感受野變大
DeepLabV2
2015年《DeepLab-v2: Semantic ImageSegmentation?》
ASPP，空洞卷積池化金字塔；VGG改為ResNet
DeepLabv2是采用全連接的CRF來(lái)增強(qiáng)模型捕捉細(xì)節(jié)的能力。
DeepLabv2在最后幾個(gè)最大池化層中去除了下采樣的層，取而代之的是使用空洞卷積
DeepLabV3
2017年《Rethinking Atrous Convolution for Semantic ImageSegmentation》
DeepLabV3+
2018年《Encoder-Decoder with Atrous Separable Convolution for SemanticImage Segmentation》
使用了兩種類型的神經(jīng)網(wǎng)絡(luò)，使用空間金字塔模塊和encoder-decoder結(jié)構(gòu)做語(yǔ)義分割。
ü空間金字塔：通過(guò)在不同分辨率上以池化操作捕獲豐富的上下文信息
üencoder-decoder架構(gòu):逐漸的獲得清晰的物體邊界
Encoder
Encoder就是原來(lái)的DeepLabv3，注意點(diǎn)有2點(diǎn)：
輸入尺寸與輸出尺寸比（outputstride = 16），最后一個(gè)stage的膨脹率rate為2
AtrousSpatial Pyramid Pooling module（ASPP）有四個(gè)不同的rate，額外一個(gè)全局平均池化
Decoder
明顯看到先把encoder的結(jié)果上采樣4倍，然后與resnet中下采樣前的Conv2特征concat一起，再進(jìn)行3x3的卷積，最后上采樣4倍得到最終結(jié)果
需要注意點(diǎn)：
融合低層次信息前，先進(jìn)行1x1的卷積，目的是降通道（例如有512個(gè)通道，而encoder結(jié)果只有256個(gè)通道）
紅色部分為修改
（1）更多層：重復(fù)8次改為16次（基于MSRA目標(biāo)檢測(cè)的工作）。
（2）將原來(lái)簡(jiǎn)單的pool層改成了stride為2的deepwishseperable convolution。?
（3）額外的RELU層和歸一化操作添加在每個(gè) 3 × 3 depthwise convolution之后（原來(lái)只在1*1卷積之后）
DeepLabv1：https://arxiv.org/pdf/1412.7062v3.pdf
DeepLabv2：https://arxiv.org/pdf/1606.00915.pdf
DeepLabv3：https://arxiv.org/pdf/1706.05587.pdf
DeepLabv3+：https://arxiv.org/pdf/1802.02611.pdf
代碼：https://github.com/tensorflow/models/tree/master/research/deeplab
還有一個(gè)Transformer學(xué)習(xí)筆記總結(jié)：
end
往期精彩回顧
獲取本站知識(shí)星球優(yōu)惠券，復(fù)制鏈接直接打開(kāi)：
https://t.zsxq.com/qFiUFMV
本站qq群704220115。
加入微信群請(qǐng)掃碼：