點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

什么是感受野

The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by).
—— A guide to receptive field arithmetic for Convolutional Neural Networks

感受野（Receptive Field），指的是神經(jīng)網(wǎng)絡(luò)中神經(jīng)元“看到的”輸入?yún)^(qū)域，在卷積神經(jīng)網(wǎng)絡(luò)中，feature map上某個(gè)元素的計(jì)算受輸入圖像上某個(gè)區(qū)域的影響，這個(gè)區(qū)域即該元素的感受野。

卷積神經(jīng)網(wǎng)絡(luò)中，越深層的神經(jīng)元看到的輸入?yún)^(qū)域越大，如下圖所示，kernel size 均為3×3，stride均為1，綠色標(biāo)記的是Layer2每個(gè)神經(jīng)元看到的區(qū)域，黃色標(biāo)記的是Layer3 看到的區(qū)域，具體地，Layer2每個(gè)神經(jīng)元可看到Layer1上3×3 大小的區(qū)域，Layer3 每個(gè)神經(jīng)元看到Layer2 上3×3 大小的區(qū)域，該區(qū)域可以又看到Layer1上5×5 大小的區(qū)域。

https://www.researchgate.net/publication/316950618_Maritime_Semantic_Labeling_of_Optical_Remote_Sens

所以，感受野是個(gè)相對(duì)概念，某層feature map上的元素看到前面不同層上的區(qū)域范圍是不同的，通常在不特殊指定的情況下，感受野指的是看到輸入圖像上的區(qū)域。

為了具體計(jì)算感受野，這里借鑒視覺(jué)系統(tǒng)中的概念：

receptive field=center+surround

準(zhǔn)確計(jì)算感受野，需要回答兩個(gè)子問(wèn)，即視野中心在哪和視野范圍多大。

只有看到”合適范圍的信息”才可能做出正確的判斷，否則就可能“盲人摸象”或者“一覽眾山小”；

目標(biāo)識(shí)別問(wèn)題中，我們需要知道神經(jīng)元看到是哪個(gè)區(qū)域，才能合理推斷物體在哪以及判斷是什么物體。

但是，網(wǎng)絡(luò)架構(gòu)多種多樣，每層的參數(shù)配置也不盡相同，感受野具體該怎么計(jì)算？

約定

在正式計(jì)算之前，先對(duì)數(shù)學(xué)符號(hào)做如下約定：

https://medium.com/mlreview/a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-e0f514068807

k：kernel size

p：padding size

s：stride size

Layer：用Layer表示feature map，特別地，Layer0為輸入圖像；

Conv：用Conv表示卷積，k、p、s為卷積層的超參數(shù)，Convl的輸入和輸出分別為L(zhǎng)ayerl?1和Layerl+1；

n：feature map size為n×n，這里假定height=width；

r：receptive field size為r×r，這里假定感受野為方形；

j：feature map上相鄰元素間的像素距離，即將feature map上的元素與輸入圖像Layer0 上感受野的中心對(duì)齊后，相鄰元素在輸入圖像上的像素距離，也可以理解為 feature map上前進(jìn)1步相當(dāng)于輸入圖像上前進(jìn)多少個(gè)像素，如下圖所示，feature map上前進(jìn)1步，相當(dāng)于輸入圖像上前進(jìn)2個(gè)像素，j=2；

https://github.com/vdumoulin/conv_arithmetic/blob/master/gif/padding_strides.gif

start：feature map左上角元素在輸入圖像上的感受野中心坐標(biāo)(start,start)，即視野中心的坐標(biāo)，在上圖中，左上角綠色塊感受野中心坐標(biāo)為(0.5,0.5)，即左上角藍(lán)色塊中心的坐標(biāo)，左上角白色虛線塊中心的坐標(biāo)為(?0.5,?0.5)；

l：l表示層，卷積層為Convl，其輸入feature map為L(zhǎng)ayerl?1，輸出為L(zhǎng)ayerl。

下面假定所有層均為卷積層。

感受野大小

感受野大小的計(jì)算是個(gè)遞推公式。

再看上面的動(dòng)圖，如果feature map 上的一個(gè)元素A看到feature map Layer1 上的范圍為3×3（圖中綠色塊），其大小等于kernel size k2，所以，A看到的感受野范圍r2等價(jià)于Layer1上3×3窗口看到的Layer0 范圍，據(jù)此可以建立起相鄰Layer感受野的關(guān)系，如下所示，其中rl為L(zhǎng)ayerl的感受野，rl?1為 Layerl?1 的感受野，

Layerl 一個(gè)元素的感受野rl等價(jià)于Layerl?1 上k×k個(gè)感受野的疊加；

Layerl?1 上一個(gè)元素的感受野為rl?1；

Layerl?1 上連續(xù)k個(gè)元素的感受野可以看成是，第1個(gè)元素看到的感受野加上剩余k?1步掃過(guò)的范圍，Layerl?1 上每前進(jìn)1個(gè)元素相當(dāng)于在輸入圖像上前進(jìn)jl?1個(gè)像素，結(jié)果等于rl?1+(k?1)×jl?1

可視化如下圖所示，

下面的問(wèn)題是，jin怎么求？

Layerl 上前進(jìn)1個(gè)元素相當(dāng)于Layerl?1上前進(jìn)sl個(gè)元素，轉(zhuǎn)換成像素單位為

其中，sl為Convl的kernel在 Layerl?1 上滑動(dòng)的步長(zhǎng)，輸入圖像的s0=1。

根據(jù)遞推公式可知，

Layerl上前進(jìn)1個(gè)元素，相當(dāng)于在輸入圖像前進(jìn)了

個(gè)像素，即前面所有層stride的連乘。

進(jìn)一步可得，Layerl的感受野大小為：

感受野中心

感受野中心的計(jì)算也是個(gè)遞推公式。

在上一節(jié)中計(jì)算得

，表示feature map Layerl上前進(jìn)1個(gè)元素相當(dāng)于在輸入圖像上前進(jìn)的像素?cái)?shù)目，如果將feature map上元素與感受野中心對(duì)齊，則jl為感受野中心之間的像素距離。如下圖所示，

其中，各層的kernel size、padding、stride超參數(shù)已在圖中標(biāo)出，右側(cè)圖為feature map和感受野中心對(duì)齊后的結(jié)果。

相鄰Layer間，感受野中心的關(guān)系為：

所有的start坐標(biāo)均相對(duì)于輸入圖像坐標(biāo)系。其中，start0=(0.5,0.5)，為輸入圖像左上角像素的中心坐標(biāo)，startl?1表示Layerl?1左上角元素的感受野中心坐標(biāo)，(2kl?1?pl)為L(zhǎng)ayerl與Layerl?1感受野中心相對(duì)于Layerl?1坐標(biāo)系的偏差，該偏差需折算到輸入圖像坐標(biāo)系，其值需要乘上jl?1，即Layerl?1相鄰元素間的像素距離，相乘的結(jié)果為(2kl?1?pl)?jl?1，即感受野中心間的像素距離——相對(duì)輸入圖像坐標(biāo)系。至此，相鄰Layer間感受野中心坐標(biāo)間的關(guān)系就不難得出了，這個(gè)過(guò)程可視化如下。

知道了Layerl左上角元素的感受野中心坐標(biāo)(startl,startl)，通過(guò)該層相鄰元素間的像素距離jl可以推算其他元素的感受野中心坐標(biāo)。

小結(jié)

將感受野的相關(guān)計(jì)算小結(jié)一下：

由上面的遞推公式，就可以從前向后逐層計(jì)算感受野了，代碼可參見(jiàn)computeReceptiveField.py，在線可視化計(jì)算可參見(jiàn)Receptive Field Calculator。

最后，還有幾點(diǎn)需要注意：

Layerl的感受野大小與sl、pl無(wú)關(guān)，即當(dāng)前feature map元素的感受野大小與該層相鄰元素間的像素距離無(wú)關(guān)；

為了簡(jiǎn)化，通常將padding size設(shè)置為kernel的半徑，即p=2k?1，可得startl=startl?1，使得feature map Layerl 上(x,y)位置的元素，其感受野中心坐標(biāo)為(xjl,yjl)；

對(duì)于空洞卷積dilated convolution，相當(dāng)于改變了卷積核的尺寸，若含有 dilation rate參數(shù)，只需將kl替換為dilation rate?(kl?1)+1 ，dilation rate=1時(shí)為正常卷積；

對(duì)于pooling層，可將其當(dāng)成特殊的卷積層，同樣存在kernel size、padding、stride參數(shù)；

非線性激活層為逐元素操作，不改變感受野。

以上。

參考資料

wiki-Receptive field

wiki-Receptive Field Calculator

arXiv-Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

medium-A guide to receptive field arithmetic for Convolutional Neural Networks

medium-Topic DL03: Receptive Field in CNN and the Math behind it

ppt-Convolutional Feature Maps: Elements of Efficient (and Accurate) CNN-based Object Detection

SIGAI-關(guān)于感受野的總結(jié)

Calculating Receptive Field of CNN

好消息！ 
小白學(xué)視覺(jué)知識(shí)星球
開(kāi)始面向外開(kāi)放啦??????



下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講
在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車(chē)道線檢測(cè)、車(chē)輛計(jì)數(shù)、添加眼線、車(chē)牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~

收藏 |徹底搞懂感受野的含義與計(jì)算