理解CNN卷積層與池化層計算

點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達

概述

深度學(xué)習(xí)中CNN網(wǎng)絡(luò)是核心，對CNN網(wǎng)絡(luò)來說卷積層與池化層的計算至關(guān)重要，不同的步長、填充方式、卷積核大小、池化層策略等都會對最終輸出模型與參數(shù)、計算復(fù)雜度產(chǎn)生重要影響，本文將從卷積層與池化層計算這些相關(guān)參數(shù)出發(fā)，演示一下不同步長、填充方式、卷積核大小計算結(jié)果差異。

一：卷積層

卷積神經(jīng)網(wǎng)絡(luò)(CNN)第一次提出是在1997年，楊樂春（LeNet）大神的一篇關(guān)于數(shù)字OCR識別的論文，在2012年的ImageNet競賽中CNN網(wǎng)絡(luò)成功擊敗其它非DNN模型算法，從此獲得學(xué)術(shù)界的關(guān)注與工業(yè)界的興趣。毫無疑問學(xué)習(xí)深度學(xué)習(xí)必須要學(xué)習(xí)CNN網(wǎng)絡(luò)，學(xué)習(xí)CNN就必須明白卷積層，池化層等這些基礎(chǔ)各層，以及它們的參數(shù)意義，從本質(zhì)上來說，圖像卷積都是離散卷積，圖像數(shù)據(jù)一般都是多維度數(shù)據(jù)（至少兩維），離散卷積本質(zhì)上是線性變換、具有稀疏與參數(shù)重用特征即相同參數(shù)可以應(yīng)用輸入圖像的不同小分塊，假設(shè)有3x3離散卷積核如下：

假設(shè)有

• 5x5的圖像輸入塊

• 步長為1(strides=1)

• 填充方式為VALID(Padding=VALID)

• 卷積核大小filter size=3x3

則它們的計算過程與輸出如下

假設(shè)這個時候我們修改步長為2、填充方式為SAME，卷積核大小不變(strides=2 Padding=SAME filter size=3x3)，則計算過程與輸出變?yōu)槿缦拢?br>

最終輸出得到的結(jié)果我們可以稱為featuremap，CNN的深度多數(shù)時候是指featuremap的個數(shù)，對多維度的輸入圖像計算多個卷積核，得到多個featuremap輸出疊加，顯示如下：

上述輸入為5x5x2，使用卷積核3x3，輸出3x3x3，填充方式為VALID，計算如果填充方式改為SAME則輸出為5x5x3。可以看出填充方式對輸出結(jié)果的影響。

二：小卷積核VS大卷積核

在AlexNet中有有11x11的卷積核與5x5的卷積核，但是在VGG網(wǎng)絡(luò)中因為層數(shù)增加，卷積核都變成3x3與1x1的大小啦，這樣的好處是可以減少訓(xùn)練時候的計算量，有利于降低總的參數(shù)數(shù)目。關(guān)于如何把大卷積核替換為小卷積核，本質(zhì)上有兩種方法。

1.將二維卷積差分為兩個連續(xù)一維卷積

二維卷積都可以拆分為兩個一維的卷積，這個是有數(shù)學(xué)依據(jù)的，所以11x11的卷積可以轉(zhuǎn)換為1x11與11x1兩個連續(xù)的卷積核計算，總的運算次數(shù)：

11x11 = 121次
1x11 + 11x1 = 22次

2.將大二維卷積用多個連續(xù)小二維卷積替代

可見把大的二維卷積核在計算環(huán)節(jié)改成兩個連續(xù)的小卷積核可以極大降低計算次數(shù)、減少計算復(fù)雜度。同樣大的二維卷積核還可以通過幾個小的二維卷積核替代得到。比如：5x5的卷積，我們可以通過兩個連續(xù)的3x3的卷積替代，比較計算次數(shù)

5x5 = 25次
3x3 + 3x3 = 18次

三：池化層

在CNN網(wǎng)絡(luò)中卷積池之后會跟上一個池化層，池化層的作用是提取局部均值與最大值，根據(jù)計算出來的值不一樣就分為均值池化層與最大值池化層，一般常見的多為最大值池化層。池化的時候同樣需要提供filter的大小、步長、下面就是3x3步長為1的filter在5x5的輸入圖像上均值池化計算過程與輸出結(jié)果

改用最大值做池化的過程與結(jié)果如下：

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~