CV崗位面試題：FCN與CNN最大的區(qū)別？

解析：

FCN中用卷積層替換了CNN中的全連接層

1、FCN概述

CNN做圖像分類甚至做目標檢測的效果已經(jīng)被證明并廣泛應(yīng)用，圖像語義分割本質(zhì)上也可以認為是稠密的目標識別（需要預(yù)測每個像素點的類別）。

傳統(tǒng)的基于CNN的語義分割方法是：將像素周圍一個小區(qū)域（如25*25）作為CNN輸入，做訓(xùn)練和預(yù)測。這樣做有3個問題： 
        - 像素區(qū)域的大小如何確定 ；
        - 存儲及計算量非常大 ；
        - 像素區(qū)域的大小限制了感受野的大小，從而只能提取一些局部特征；

2、FCN原理及網(wǎng)絡(luò)結(jié)構(gòu)

一句話概括原理：FCN將傳統(tǒng)卷積網(wǎng)絡(luò)后面的全連接層換成了卷積層，這樣網(wǎng)絡(luò)輸出不再是類別而是 heatmap；同時為了解決因為卷積和池化對圖像尺寸的影響，提出使用上采樣的方式恢復(fù)。核心思想：
        - 不含全連接層(fc)的全卷積(fully conv)網(wǎng)絡(luò)，可適應(yīng)任意尺寸輸入。 
        - 增大數(shù)據(jù)尺寸的反卷積(deconv)層，能夠輸出精細的結(jié)果。 
        - 結(jié)合不同深度層結(jié)果的跳級(skip)結(jié)構(gòu)，同時確保魯棒性和精確性。

網(wǎng)絡(luò)結(jié)構(gòu)示意圖：
                                    

網(wǎng)絡(luò)結(jié)構(gòu)詳圖：輸入可為任意尺寸圖像彩色圖像；輸出與輸入尺寸相同，深度為：20類目標+背景=21類。
  

3 CNN 與 FCN

CNN

通常CNN網(wǎng)絡(luò)在卷積層之后會接上若干個全連接層, 將卷積層產(chǎn)生的特征圖(feature map)映射成一個固定長度的特征向量。以AlexNet為代表的經(jīng)典CNN結(jié)構(gòu)適合于圖像級的分類和回歸任務(wù)，因為它們最后都期望得到整個輸入圖像的一個數(shù)值描述（概率），比如AlexNet的ImageNet模型輸出一個1000維的向量表示輸入圖像屬于每一類的概率(softmax歸一化)。
比如：下圖中的貓, 輸入AlexNet, 得到一個長為1000的輸出向量, 表示輸入圖像屬于每一類的概率, 其中在“tabby cat”這一類統(tǒng)計概率最高。
                       
FCN

FCN對圖像進行像素級的分類，從而解決了語義級別的圖像分割（semantic segmentation）問題。與經(jīng)典的CNN在卷積層之后使用全連接層得到固定長度的特征向量進行分類（全聯(lián)接層＋softmax輸出）不同，F(xiàn)CN可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷積層的feature map進行上采樣, 使它恢復(fù)到輸入圖像相同的尺寸，從而可以對每個像素都產(chǎn)生了一個預(yù)測, 同時保留了原始輸入圖像中的空間信息, 然后在上采樣的特征圖上進行逐像素分類。

最后逐個像素計算softmax分類的損失, 相當于每一個像素對應(yīng)一個訓(xùn)練樣本。下圖是Longjon用于語義分割所采用的全卷積網(wǎng)絡(luò)(FCN)的結(jié)構(gòu)示意圖：

                        
簡單的來說，F(xiàn)CN與CNN的區(qū)域在把于CNN最后的全連接層換成卷積層，輸出的是一張已經(jīng)Label好的圖片：

這些抽象的特征對分類很有幫助，可以很好地判斷出一幅圖像中包含什么類別的物體，但是因為丟失了一些物體的細節(jié)，不能很好地給出物體的具體輪廓、指出每個像素具體屬于哪個物體，因此做到精確的分割就很有難度。

基于CNN的分割方法與FCN的比較

傳統(tǒng)的基于CNN的分割方法：為了對一個像素分類，使用該像素周圍的一個圖像塊作為CNN的輸入用于訓(xùn)練和預(yù)測。這種方法有幾個缺點：

1、存儲開銷很大。例如對每個像素使用的圖像塊的大小為15x15，然后不斷滑動窗口，每次滑動的窗口給CNN進行判別分類，因此則所需的存儲空間根據(jù)滑動窗口的次數(shù)和大小急劇上升。

2、計算效率低下。相鄰的像素塊基本上是重復(fù)的，針對每個像素塊逐個計算卷積，這種計算也有很大程度上的重復(fù)。

3、像素塊大小的限制了感知區(qū)域的大小。通常像素塊的大小比整幅圖像的大小小很多，只能提取一些局部的特征，從而導(dǎo)致分類的性能受到限制。

而全卷積網(wǎng)絡(luò)(FCN)則是從抽象的特征中恢復(fù)出每個像素所屬的類別。即從圖像級別的分類進一步延伸到像素級別的分類。