卷積神經(jīng)網(wǎng)絡(luò)（CNN）綜述
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
1. 卷積神經(jīng)網(wǎng)絡(luò)概念
2. 卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)
? ?2.1 局部區(qū)域連接
? ?2.2 權(quán)值共享
? ?2.3 降采樣
3. 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
? ?3.1 卷積層
? ?3.2 池化層
4. 卷積神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展
1. 卷積神經(jīng)網(wǎng)絡(luò)概念
?
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）是一種模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和行為，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。ANN通過調(diào)整內(nèi)部神經(jīng)元與神經(jīng)元之間的權(quán)重關(guān)系，從而達(dá)到處理信息的目的。而卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它由若干卷積層和池化層組成，尤其在圖像處理方面CNN的表現(xiàn)十分出色。
?1962年，Hubel和Wiesel [1]通過對(duì)貓腦視覺皮層的研究，首次提出了一種新的概念“感受野”，這對(duì)后來人工神經(jīng)網(wǎng)絡(luò)的發(fā)展有重要的啟示作用。感受野（Receptive Field）是卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖（feature map）上的像素點(diǎn)在輸入圖片上映射的區(qū)域大小[2]。再通俗點(diǎn)的解釋是，特征圖上的一個(gè)點(diǎn)對(duì)應(yīng)輸入圖上的區(qū)域。1980年，F(xiàn)ukushima[3]基于生物神經(jīng)學(xué)的感受野理論提出了神經(jīng)認(rèn)知機(jī)和權(quán)重共享的卷積神經(jīng)層，這被視為卷積神經(jīng)網(wǎng)絡(luò)的雛形。1989年，LeCun[4]結(jié)合反向傳播算法與權(quán)值共享的卷積神經(jīng)層發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)，并首次將卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用到美國郵局的手寫字符識(shí)別系統(tǒng)中。1998年，LeCun[5]提出了卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典網(wǎng)絡(luò)模型LeNet-5，并再次提高手寫字符識(shí)別的正確率。
CNN的基本結(jié)構(gòu)由輸入層、卷積層（convolutional layer）、池化層（pooling layer，也稱為取樣層）、全連接層及輸出層構(gòu)成。卷積層和池化層一般會(huì)取若干個(gè)，采用卷積層和池化層交替設(shè)置，即一個(gè)卷積層連接一個(gè)池化層，池化層后再連接一個(gè)卷積層，依此類推。由于卷積層中輸出特征圖的每個(gè)神經(jīng)元與其輸入進(jìn)行局部連接，并通過對(duì)應(yīng)的連接權(quán)值與局部輸入進(jìn)行加權(quán)求和再加上偏置值，得到該神經(jīng)元輸入值，該過程等同于卷積過程，CNN也由此而得名[6]。
2. 卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)
卷積神經(jīng)網(wǎng)絡(luò)由多層感知機(jī)（MLP）演變而來，由于其具有局部區(qū)域連接、權(quán)值共享、降采樣的結(jié)構(gòu)特點(diǎn)，使得卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域表現(xiàn)出色。卷積神經(jīng)網(wǎng)絡(luò)相比于其他神經(jīng)網(wǎng)絡(luò)的特殊性主要在于權(quán)值共享與局部連接兩個(gè)方面。權(quán)值共享使得卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)更加類似于生物神經(jīng)網(wǎng)絡(luò)。局部連接不像傳統(tǒng)神經(jīng)網(wǎng)絡(luò)那樣，第n-1層的每一神經(jīng)元都與第n層的所有神經(jīng)元連接，而是第n-1層的神經(jīng)元與第n層的部分神經(jīng)元之間連接。這兩個(gè)特點(diǎn)的作用在于降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)目。
2.1 局部區(qū)域連接
1962年，Hubel和Wiesel[1]研究生物神經(jīng)學(xué)里面的視覺分層結(jié)構(gòu)而提出感受野的概念，大腦皮層的視覺神經(jīng)元就是基于局部區(qū)域刺激來感知信息的。局部區(qū)域連接的思想就是受啟發(fā)于視覺神經(jīng)元的結(jié)構(gòu)。
在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，神經(jīng)元之間的連接是全連接的，即n-1層的神經(jīng)元與n層的所有神經(jīng)元全部連接。但是在卷積神經(jīng)網(wǎng)絡(luò)中，n-1層與n 層的部分神經(jīng)元連接。圖1展示了全連接與局部連接的區(qū)別之處，左圖為全連接示意圖，由圖可以看出前一層到后一層神經(jīng)元之間都有邊存在，每條邊都有參數(shù)，由此可見全連接的參數(shù)很多。右邊為局部連接，由圖中可以看出僅存在少量的邊，可見參數(shù)減少了很多。對(duì)比左右兩圖可以明顯看出連接數(shù)成倍的減少，相應(yīng)的參數(shù)也會(huì)減少。
圖1：全連接（左圖）與局部連接（右圖）的對(duì)比示意圖
2.2 權(quán)值共享
1998年，LeCun[5]發(fā)布了LeNet-5網(wǎng)絡(luò)架構(gòu)，權(quán)值共享這個(gè)詞最開始是由LeNet-5模型提出來的。雖然現(xiàn)在大多數(shù)人認(rèn)為，2012年的AlexNet網(wǎng)絡(luò)[7]是深度學(xué)習(xí)的開端，但是CNN的開端可以追溯到LeNet-5模型。LeNet-5模型的幾個(gè)特性在2010年初的卷積神經(jīng)網(wǎng)絡(luò)研究中被廣泛的使用-其中一個(gè)就是權(quán)值共享。
在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層中的卷積核（或稱之為濾波器）類似于一個(gè)滑動(dòng)窗口，在整個(gè)輸入圖像中以特定的步長來回滑動(dòng)，經(jīng)過卷積運(yùn)算之后，從而得到輸入圖像的特征圖，這個(gè)特征圖就是卷積層提取出來的局部特征，而這個(gè)卷積核是共享參數(shù)的。在整個(gè)網(wǎng)絡(luò)的訓(xùn)練過程中，包含權(quán)值的卷積核也會(huì)隨之更新，直到訓(xùn)練完成。
那到底什么是權(quán)值共享呢？
其實(shí)權(quán)值共享就是整張圖片在使用同一個(gè)卷積核內(nèi)的參數(shù)。比如一個(gè)3*3*1的卷積核，這個(gè)卷積核內(nèi)9個(gè)的參數(shù)被整張圖片共享，而不會(huì)因?yàn)閳D像內(nèi)位置的不同而改變卷積核內(nèi)的權(quán)系數(shù)。說的再通俗一點(diǎn)，就是用一個(gè)卷積核不改變其內(nèi)權(quán)系數(shù)的情況下卷積處理整張圖片。當(dāng)然，CNN中每一個(gè)卷積層不會(huì)只有一個(gè)卷積核的，這樣說只是為了方便解釋。
權(quán)值共享的優(yōu)點(diǎn)是什么呢？
一是，權(quán)值共享的卷積操作保證了每一個(gè)像素都有一個(gè)權(quán)系數(shù)，只是這些系數(shù)被整個(gè)圖片共享，因此大大減少了卷積核中參數(shù)量，降低了網(wǎng)絡(luò)的復(fù)雜度。二是，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方法需要對(duì)圖像進(jìn)行復(fù)雜的預(yù)處理提取特征，將得到特征再輸入到神經(jīng)網(wǎng)絡(luò)中。而加入卷積操作就可以利用圖片空間上的局部相關(guān)性，自動(dòng)的提取特征。
那為什么卷積層會(huì)有多個(gè)卷積核呢？
因?yàn)闄?quán)值共享意味著每一個(gè)卷積核只能提取到一種特征，為了增加CNN的表達(dá)能力，需要設(shè)置多個(gè)卷積核。但是，每個(gè)卷積層中卷積核的個(gè)數(shù)是一個(gè)超參數(shù)。
2.3 降采樣
降采樣是卷積神經(jīng)網(wǎng)絡(luò)的另一重要概念，通常也稱之為池化（Pooling）。最常見的方式有最大值（Max）池化、最小值（Min）池化、平均值（Average）池化。池化的好處是降低了圖像的分辨率，整個(gè)網(wǎng)絡(luò)也不容易過擬合。最大值池化如圖2所示。
圖2：最大池化過程
在圖2是最大池化過程中，輸入圖像大小為4*4，在每2*2的區(qū)域中計(jì)算最大值。例如：
。由于步長為2，因此每2*2的區(qū)域互不重疊，最后輸出的池化特征大小為2*2，這個(gè)過程中分辨率變?yōu)樵瓉淼囊话搿?/p>
3. 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)結(jié)論
在圖像處理中，卷積神經(jīng)網(wǎng)絡(luò)提取的特征比之前的手工特征效果更好，這是由于CNN特殊的組織結(jié)構(gòu)來決定的，卷積層和池化層的共同作用使得CNN能提取出圖像中較好的特征。卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)模型多種多樣，但一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型一般由若干個(gè)卷積層、池化層和全連接層組成。卷積層的作用是提取圖像的特征；池化層的作用是對(duì)特征進(jìn)行抽樣，可以使用較少訓(xùn)練參數(shù)，同時(shí)還可以減輕網(wǎng)絡(luò)模型的過擬合程度。卷積層和池化層一般交替出現(xiàn)在網(wǎng)絡(luò)中，稱一個(gè)卷積層加一個(gè)池化層為一個(gè)特征提取過程，但是并不是每個(gè)卷積層后都會(huì)跟池化層，大部分網(wǎng)絡(luò)只有三層池化層。網(wǎng)絡(luò)的最后一般為1~2層全連接層，全連接層負(fù)責(zé)把提取的特征圖連接起來，最后通過分類器得到最終的分類結(jié)果。
圖3：AlexNet網(wǎng)絡(luò)架構(gòu)圖
圖3所示的是，2012年Krizhevsky等人[7]提出的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該模型是雙GPU并行結(jié)構(gòu)，在每個(gè)GPU中放置一半的神經(jīng)元，GPU之間的通信只在某些層進(jìn)行。AlexNet網(wǎng)絡(luò)主要由5層卷積層、3層池化層和2層全連接層組成。
3.1 卷積層
在卷積層中，通常包含多個(gè)可學(xué)習(xí)的卷積核，上一層輸出的特征圖與卷積核進(jìn)行卷積操作，即輸入項(xiàng)與卷積核之間進(jìn)行點(diǎn)積運(yùn)算，然后將結(jié)果送入激活函數(shù)，就可以得到輸出特征圖。每一個(gè)輸出特征圖可能是組合卷積多個(gè)輸入特征圖的值。卷積層l的第j單元的輸出值
的計(jì)算為公式(1)，其中
表示選擇的輸入特征圖的集合，k表示可學(xué)習(xí)的卷積核。圖4展示了卷積層的具體操作過程。
圖4：卷積操作示意圖
圖4為二維卷積層示例，通常把卷積核k看作一個(gè)滑動(dòng)窗口，這個(gè)滑動(dòng)窗口以設(shè)定的步長向前滑動(dòng)。這里輸入圖像的大小是4*4即M=4，卷積核大小為2*2即k=2，步長為1即s=1，根據(jù)卷積層輸出計(jì)算公式(2)可以計(jì)算輸出圖像的大小N=3。
圖4的卷積過程是：4*4輸入圖像與3*3卷積核進(jìn)行卷積，得到3*3的輸出圖像。這樣的卷積存在兩個(gè)缺點(diǎn)：（1）每次卷積都會(huì)導(dǎo)致圖像尺寸的變小，如果圖像很小、進(jìn)行卷積的次數(shù)很多，最后可能只會(huì)剩下一個(gè)像素。（2）輸入圖像的矩陣邊緣像素只被計(jì)算過一次，而中間像素被卷積計(jì)算多次，這就意味著丟失圖像邊緣信息。為了解決這兩個(gè)問題，就需要對(duì)輸入圖像進(jìn)行填充（Padding）。
圖5：對(duì)輸入圖像進(jìn)行Padding
圖5是將圖4中輸入圖像矩陣周圍填充一層像素，通常填充的元素為0，填充的像素?cái)?shù)為1即P=1。根據(jù)卷積層輸出計(jì)算公式(3)可以計(jì)算輸出圖像的大小N=5。
圖5中的紅色像素在圖4中是中間像素，被卷積計(jì)算多次，圖5中綠色像素在圖4中是邊緣像素，只能被計(jì)算一次，可以明顯看到在卷積過程中丟失了圖像的邊緣信息。但是在圖5中綠色像素被填充后，不再是邊緣像素，可以被計(jì)算多次。輸出圖像中黑色邊框的邊緣像素是受輸入圖像中黑色邊框的像素值的影響，削弱了邊緣信息丟失的缺點(diǎn)。另外，根據(jù)公式(3)輸出卷積特征圖變?yōu)?*5，解決了卷積會(huì)使圖像變小的缺點(diǎn)。
常見的填充方式有Valid和Same填充：
Valid：不使用填充，即使用M*M的圖像與k*k的卷積核相卷積。
Same：通過填充使得輸出的卷積特征圖尺寸與輸入圖像尺寸相等，此時(shí)填充寬度P=(k-1)/2。
在計(jì)算機(jī)視覺領(lǐng)域，k通常是奇數(shù)，一方面可以保證使用 Same 填充時(shí)填充像素?cái)?shù)P是整數(shù)，對(duì)原圖片的填充是對(duì)稱的；另一方面奇數(shù)寬度的卷積核具有一個(gè)中心像素點(diǎn)，可以表示卷積核的位置。在我的例子中卷積核的寬度是2為偶數(shù)，所以填充后再卷積沒有達(dá)到和原始圖像一樣的大小。
3.2 池化層
池化層通常出現(xiàn)在卷積層之后，二者相互交替出現(xiàn)，并且每個(gè)卷積層都與一個(gè)池化層一一對(duì)應(yīng)。池化層l中激活值的計(jì)算為公式(4)：
其中，down(.)表示池化函數(shù)，常用的池化函數(shù)有Mean-Pooling（均值池化）、Max-Pooling（最大值池化）、Min-Pooling（最小值池化）、Stochastic-Pooling（隨機(jī)池化）等，
為偏置，
為乘數(shù)殘差，
表示第l層所采用的池化框大小為
。對(duì)于最大值池化來說，是選取輸入圖像中大小為的非重疊滑動(dòng)框內(nèi)所有像素的最大值，顯然，對(duì)于非重疊池化來說，輸出的特征圖在像素上縮小了倍。池化層比卷積層更大幅度的減少了連接個(gè)數(shù)，也就是說降低了特征的維度，從而避免過擬合，同時(shí)還使得池化輸出的特征具有平移不變性。圖6展示了三種池化方式的運(yùn)算過程。
圖6：三種池化方式的計(jì)算過程
三種池化方式各有優(yōu)缺點(diǎn)，均值池化是對(duì)所有特征點(diǎn)求平均值，而最大值池化是對(duì)特征點(diǎn)的求最大值。而隨機(jī)池化則介于兩者之間，通過對(duì)像素點(diǎn)按數(shù)值大小賦予概率，再按照概率進(jìn)行亞采樣，在平均意義上，與均值采樣近似，在局部意義上，則服從最大值采樣的準(zhǔn)則。根據(jù)Boureau理論[9]可以得出結(jié)論，在進(jìn)行特征提取的過程中，均值池化可以減少鄰域大小受限造成的估計(jì)值方差，但更多保留的是圖像背景信息；而最大值池化能減少卷積層參數(shù)誤差造成估計(jì)均值誤差的偏移，能更多的保留紋理信息。隨機(jī)池化雖然可以保留均值池化的信息，但是隨機(jī)概率值確是人為添加的，隨機(jī)概率的設(shè)置對(duì)結(jié)果影響較大，不可估計(jì)。
4. 卷積神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展
早在2006年以前，已有人提出一種學(xué)習(xí)效率很高的深度學(xué)習(xí)模型-CNN。在20世紀(jì)80年代和90年代，一些研究者發(fā)表了CNN的相關(guān)研究工作，且在幾個(gè)模式識(shí)別領(lǐng)域尤其是手寫數(shù)字識(shí)別中取得了良好的識(shí)別效果[10][11]。然而此時(shí)的CNN只適合做小圖片的識(shí)別，對(duì)于大規(guī)模數(shù)據(jù)，識(shí)別效果不佳。
2012年，Krizhevsky等人[12]使用擴(kuò)展了深度的CNN在ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)競(jìng)賽（ImageNet Large Scale Visual Recognition Challenge，LSVRC）中取得了當(dāng)時(shí)最佳的分類效果，使得CNN越來越受研究者們的重視。AlexNet在增加網(wǎng)絡(luò)深度的同時(shí)，采用了很多新技術(shù)：采用ReLU代替飽和非線性函數(shù)tanh函數(shù)，降低了模型的計(jì)算復(fù)雜度，模型的訓(xùn)練速度也提升了幾倍；通過Dropout技術(shù)在訓(xùn)練過程中將中間層的一些神經(jīng)元隨機(jī)置為0，使模型更具有魯棒性，也減少了全連接層的過擬合；而且還通過圖像平移、圖像水平鏡像變換、改變圖像灰度等方式來增加訓(xùn)練樣本，從而減少過擬合。
2014年，Szegedy等人[13]大大增加了CNN的深度，提出了一個(gè)超過20層的CNN結(jié)構(gòu)，稱為GoogleNet。在GoogleNet的結(jié)構(gòu)中采用了3種類型的卷積操作，分別是1*1、3*3、5*5，該結(jié)構(gòu)的主要特點(diǎn)是提升了計(jì)算機(jī)資源的利用率，它的參數(shù)比AlexNet少了12倍，而且GoogleNet的準(zhǔn)確率更高，在LSVRC-14中獲得了圖像分類“指定數(shù)據(jù)”組的第1名。
2014年，Simonyan等人[14]在其發(fā)表的文章中探討了“深度”對(duì)于CNN網(wǎng)絡(luò)的重要性，該文通過在現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)中不斷增加具有3*3卷積核的卷積層來增加網(wǎng)絡(luò)的深度，實(shí)驗(yàn)結(jié)果表明，當(dāng)權(quán)值層數(shù)達(dá)到16~19時(shí)，模型的性能能夠得到有效的提升，該文中的模型也被稱為VGG模型。VGG模型用具有小卷積核的多個(gè)卷積層替換一個(gè)具有較大卷積核的卷積層，如用大小均為3*3卷積核的3層卷積層代替一層具有7*7卷積核的卷積層，這種替換方式減少了參數(shù)的數(shù)量，而且也能夠使決策函數(shù)更具有判別性。VGG模型在LSVRC-14競(jìng)賽中，得到了圖像分類"指定數(shù)據(jù)"組的第2名，該模型證明了深度在視覺表示中的重要性。
在2014年有趣的是，GoogleNet和VGGNet兩種網(wǎng)絡(luò)架構(gòu)同時(shí)參加LSVRC的比賽，并分別取得了分類的第一名和第二名。但是由于VGG與GoogleNet的深度都比較深，所以網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，訓(xùn)練時(shí)間長，而且VGG還需要多次微調(diào)網(wǎng)絡(luò)的參數(shù)。
2015年，He等人[15]采用殘差網(wǎng)絡(luò)（Residual Networks，ResNet）來解決梯度消失的問題。ResNet的主要特點(diǎn)是跨層連接，它通過引入捷徑連接技術(shù)（shortcut connections）將輸入跨層傳遞并與卷積的結(jié)果相加。在ResNet中只有一個(gè)池化層，它連接在最后一個(gè)卷積層后面。ResNet使得底層的網(wǎng)絡(luò)能夠得到充分訓(xùn)練，準(zhǔn)確率也隨著深度的加深而得到顯著提升。將深度為152層的ResNet用于LSVRC-15的圖像分類比賽中，它獲得了第1名的成績(jī)。在該文獻(xiàn)中，還嘗試將ResNet的深度設(shè)置為1000，并在CIFAR-10圖像處理數(shù)據(jù)集中驗(yàn)證該模型。
近年來，CNN的局部連接、權(quán)值共享、池化操作及多層結(jié)構(gòu)等優(yōu)良特性使其受到了許多研究者的關(guān)注。CNN通過權(quán)值共享減少了需要訓(xùn)練的權(quán)值個(gè)數(shù)、降低了網(wǎng)絡(luò)的計(jì)算復(fù)雜度，同時(shí)通過池化操作使得網(wǎng)絡(luò)對(duì)輸入的局部變換具有一定的不變性如平移不變性、縮放不變性等，提升了網(wǎng)絡(luò)的泛化能力。CNN將原始數(shù)據(jù)直接輸入到網(wǎng)絡(luò)中，然后隱性地從訓(xùn)練數(shù)據(jù)中進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，避免了手工提取特征、從而導(dǎo)致誤差累積的缺點(diǎn)，其整個(gè)分類過程是自動(dòng)的。雖然CNN所具有的這些特點(diǎn)使其已被廣泛應(yīng)用于各種領(lǐng)域中，但其優(yōu)勢(shì)并不意味著目前存在的網(wǎng)絡(luò)沒有瑕疵。如何有效地訓(xùn)練層級(jí)很深的深度網(wǎng)絡(luò)模型仍舊是一個(gè)有待研究的問題。盡管圖像分類任務(wù)能夠受益于層級(jí)較深的卷積網(wǎng)絡(luò)，但一些方法還是不能很好地處理遮擋或者運(yùn)動(dòng)模糊等問題。
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~