來源：信息網(wǎng)絡(luò)工程研究中心

本文約7500字，建議閱讀10+分鐘 
本文從四個切入點(diǎn)為你介紹Faster R-CNN網(wǎng)絡(luò)。

經(jīng)過R-CNN和Fast RCNN的積淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在結(jié)構(gòu)上，F(xiàn)aster RCNN已經(jīng)將特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一個網(wǎng)絡(luò)中，使得綜合性能有較大提高，在檢測速度方面尤為明顯。

1 Conv layers
2 Region Proposal Networks(RPN)
- 2.1 多通道圖像卷積基礎(chǔ)知識介紹
- 2.2 anchors
- 2.3 softmax判定positive與negative
- 2.4 bounding box regression原理
- 2.5 對proposals進(jìn)行bounding box regression
- 2.6 Proposal Layer
3 RoI pooling
- 3.1 為何需要RoI Pooling
- 3.2 RoI Pooling原理
4 Classification
5 Faster RCNN訓(xùn)練
- 5.1 訓(xùn)練RPN網(wǎng)絡(luò)
- 5.2 通過訓(xùn)練好的RPN網(wǎng)絡(luò)收集proposals
- 5.3 訓(xùn)練Faster RCNN網(wǎng)絡(luò)
Questions and Answer

圖1 Faster RCNN基本結(jié)構(gòu)（來自原論文）

1. Conv layers。作為一種CNN網(wǎng)絡(luò)目標(biāo)檢測方法，F(xiàn)aster RCNN首先使用一組基礎(chǔ)的conv+relu+pooling層提取image的feature maps。該feature maps被共享用于后續(xù)RPN層和全連接層。
2. Region Proposal Networks。RPN網(wǎng)絡(luò)用于生成region proposals。該層通過softmax判斷anchors屬于positive或者negative，再利用bounding box regression修正anchors獲得精確的proposals。
3. Roi Pooling。該層收集輸入的feature maps和proposals，綜合這些信息后提取proposal feature maps，送入后續(xù)全連接層判定目標(biāo)類別。
4. Classification。利用proposal feature maps計算proposal的類別，同時再次bounding box regression獲得檢測框最終的精確位置。

• 首先縮放至固定大小MxN，然后將MxN圖像送入網(wǎng)絡(luò)；
• 而Conv layers中包含了13個conv層+13個relu層+4個pooling層；
• RPN網(wǎng)絡(luò)首先經(jīng)過3x3卷積，再分別生成positive anchors和對應(yīng)bounding box regression偏移量，然后計算出proposals；
• 而Roi Pooling層則利用proposals從feature maps中提取proposal feature送入后續(xù)全連接和softmax網(wǎng)絡(luò)作classification（即分類proposal到底是什么object）。

圖2 faster_rcnn_test.pt網(wǎng)絡(luò)結(jié)構(gòu) （pascal_voc/VGG16/faster_rcnn_alt_opt/faster_rcnn_test.pt）

新出爐的pytorch官方Faster RCNN代碼導(dǎo)讀：

捋一捋pytorch官方FasterRCNN代碼

https://zhuanlan.zhihu.com/p/31426458

1 Conv layers

1. 所有的conv層都是：kernel_size=3，pad=1，stride=1
2. 所有的pooling層都是：kernel_size=2，pad=0，stride=2

圖3 卷積示意圖

2 Region Proposal Networks(RPN)

圖4 RPN網(wǎng)絡(luò)結(jié)構(gòu)

2.1 多通道圖像卷積基礎(chǔ)知識介紹

1. 對于單通道圖像+單卷積核做卷積，第一章中的圖3已經(jīng)展示了；
2. 對于多通道圖像+多卷積核做卷積，計算方式如下：

圖5 多通道卷積計算方式

2.2 anchors

[[ -84.  -40.   99.   55.] [-176.  -88.  191.  103.] [-360. -184.  375.  199.] [ -56.  -56.   71.   71.] [-120. -120.  135.  135.] [-248. -248.  263.  263.] [ -36.  -80.   51.   95.] [ -80. -168.   95.  183.] [-168. -344.  183.  359.]]

其中每行的4個值 表矩形左上和右下角點(diǎn)坐標(biāo)。9個矩形共有3種形狀，長寬比為大約為 三種，如圖6。實際上通過anchors就引入了檢測中常用到的多尺度方法。

圖6 anchors示意圖

圖7

1. 在原文中使用的是ZF model中，其Conv Layers中最后的conv5層num_output=256，對應(yīng)生成256張?zhí)卣鲌D，所以相當(dāng)于feature map每個點(diǎn)都是256-dimensions
2. 在conv5之后，做了rpn_conv/3x3卷積且num_output=256，相當(dāng)于每個點(diǎn)又融合了周圍3x3的空間信息（猜測這樣做也許更魯棒？反正我沒測試），同時256-d不變（如圖4和圖7中的紅框）
3. 假設(shè)在conv5 feature map中每個點(diǎn)上有k個anchor（默認(rèn)k=9），而每個anhcor要分positive和negative，所以每個點(diǎn)由256d feature轉(zhuǎn)化為cls=2?k scores；而每個anchor都有(x, y, w, h)對應(yīng)4個偏移量，所以reg=4?k coordinates
4. 補(bǔ)充一點(diǎn)，全部anchors拿去訓(xùn)練太多了，訓(xùn)練程序會在合適的anchors中隨機(jī)選取128個postive anchors+128個negative anchors進(jìn)行訓(xùn)練（什么是合適的anchors下文5.1有解釋）

圖8 Gernerate Anchors

2.3 softmax判定positive與negative

圖9 RPN中判定positive/negative網(wǎng)絡(luò)結(jié)構(gòu)

layer {  name: "rpn_cls_score"  type: "Convolution"  bottom: "rpn/output"  top: "rpn_cls_score"  convolution_param {    num_output: 18   # 2(positive/negative) * 9(anchors)    kernel_size: 1 pad: 0 stride: 1  }}

blob=[batch_size, channel，height，width]

對應(yīng)至上面的保存positive/negative anchors的矩陣，其在caffe blob中的存儲形式為[1, 2x9, H, W]。而在softmax分類時需要進(jìn)行positive/negative二分類，所以reshape layer會將其變?yōu)閇1, 2, 9xH, W]大小，即單獨(dú)“騰空”出來一個維度以便softmax分類，之后再reshape回復(fù)原狀。貼一段caffe softmax_loss_layer.cpp的reshape函數(shù)的解釋，非常精辟：

"Number of labels must match number of predictions; ""e.g., if softmax axis == 1 and prediction shape is (N, C, H, W), ""label count (number of labels) must be N*H*W, ""with integer values in {0, 1, ..., C-1}.";

2.4 bounding box regression原理

圖10

對于窗口一般使用四維向量 表示，分別表示窗口的中心點(diǎn)坐標(biāo)和寬高。對于圖 11，紅色的框A代表原始的positive Anchors，綠色的框G代表目標(biāo)的GT，我們的目標(biāo)是尋找一種關(guān)系，使得輸入原始的anchor A經(jīng)過映射得到一個跟真實窗口G更接近的回歸窗口G'，即：

• 給定anchor ；
• 尋找一種變換F，使得：，其中。

• 先做平移：

• 再做縮放：

觀察上面4個公式發(fā)現(xiàn)，需要學(xué)習(xí)的是這四個變換。當(dāng)輸入的anchor A與GT相差較小時，可以認(rèn)為這種變換是一種線性變換， 那么就可以用線性回歸來建模對窗口進(jìn)行微調(diào)（注意，只有當(dāng)anchors A和GT比較接近時，才能使用線性回歸模型，否則就是復(fù)雜的非線性問題了）。

接下來的問題就是如何通過線性回歸獲得 了。線性回歸就是給定輸入的特征向量X, 學(xué)習(xí)一組參數(shù)W, 使得經(jīng)過線性回歸后的值跟真實值Y非常接近，即Y=WX。對于該問題，輸入X是cnn feature map，定義為Φ；同時還有訓(xùn)練傳入A與GT之間的變換量，即。輸出是四個變換。那么目標(biāo)函數(shù)可以表示為：

其中是對應(yīng)anchor的feature map組成的特征向量， 是需要學(xué)習(xí)的參數(shù)，是得到的預(yù)測值（*表示 x，y，w，h，也就是每一個變換對應(yīng)一個上述目標(biāo)函數(shù)）。為了讓預(yù)測值與真實值差距最小，設(shè)計L1損失函數(shù)：

說完原理，對應(yīng)于Faster RCNN原文，positive anchor與ground truth之間的平移量  與尺度因子 如下：

對于訓(xùn)練bouding box regression網(wǎng)絡(luò)回歸分支，輸入是cnn feature Φ，監(jiān)督信號是Anchor與GT的差距 ，即訓(xùn)練目標(biāo)是：輸入 Φ的情況下使網(wǎng)絡(luò)輸出與監(jiān)督信號盡可能接近。那么當(dāng)bouding box regression工作時，再輸入Φ時，回歸網(wǎng)絡(luò)分支的輸出就是每個Anchor的平移量和變換尺度，顯然即可用來修正Anchor位置了。

2.5 對proposals進(jìn)行bounding box regression

圖12 RPN中的bbox reg

layer {  name: "rpn_bbox_pred"  type: "Convolution"  bottom: "rpn/output"  top: "rpn_bbox_pred"  convolution_param {    num_output: 36   # 4 * 9(anchors)    kernel_size: 1 pad: 0 stride: 1  }}

可以看到其 num_output=36，即經(jīng)過該卷積輸出圖像為WxHx36，在caffe blob存儲為[1, 4x9, H, W]，這里相當(dāng)于feature maps每個點(diǎn)都有9個anchors，每個anchors又都有4個用于回歸的變換量。

1. 大小為50*38*2k 的positive/negative softmax分類特征矩陣；
2. 大小為 50*38*4k 的regression坐標(biāo)回歸特征矩陣。

2.6 Proposal Layer

Proposal Layer負(fù)責(zé)綜合所有  變換量和positive anchors，計算出精準(zhǔn)的proposal，送入后續(xù)RoI Pooling Layer。還是先來看看Proposal Layer的caffe prototxt定義：

layer {  name: 'proposal'  type: 'Python'  bottom: 'rpn_cls_prob_reshape'  bottom: 'rpn_bbox_pred'  bottom: 'im_info'  top: 'rois'  python_param {    module: 'rpn.proposal_layer'    layer: 'ProposalLayer'    param_str: "'feat_stride': 16"  }}

Proposal Layer有3個輸入：positive vs negative anchors分類器結(jié)果rpn_cls_prob_reshape，對應(yīng)的bbox reg的 變換量rpn_bbox_pred，以及im_info；另外還有參數(shù)feat_stride=16，這和圖4是對應(yīng)的。

圖13

1. 生成anchors，利用對所有的anchors做bbox regression回歸（這里的anchors生成和訓(xùn)練時完全一致）；
2. 按照輸入的positive softmax scores由大到小排序anchors，提取前pre_nms_topN(e.g. 6000)個anchors，即提取修正位置后的positive anchors；
3. 限定超出圖像邊界的positive anchors為圖像邊界，防止后續(xù)roi pooling時proposal超出圖像邊界（見文章底部QA部分圖21）；
4. 剔除尺寸非常小的positive anchors；
5. 對剩余的positive anchors進(jìn)行NMS（nonmaximum suppression）
6. Proposal Layer有3個輸入：positive和negative anchors分類器結(jié)果rpn_cls_prob_reshape，對應(yīng)的bbox reg的(e.g. 300)結(jié)果作為proposal輸出。

3 RoI pooling

1. 原始的feature maps
2. RPN輸出的proposal boxes（大小各不相同）

3.1 為何需要RoI Pooling

1. 從圖像中crop一部分傳入網(wǎng)絡(luò)；
2. 將圖像warp成需要的大小后傳入網(wǎng)絡(luò)。

圖14 crop與warp破壞圖像原有結(jié)構(gòu)信息

3.2 RoI Pooling原理

layer {  name: "roi_pool5"  type: "ROIPooling"  bottom: "conv5_3"  bottom: "rois"  top: "pool5"  roi_pooling_param {    pooled_w: 7    pooled_h: 7    spatial_scale: 0.0625 # 1/16  }}

• 由于proposal是對應(yīng)MxN尺度的，所以首先使用spatial_scale參數(shù)將其映射回(M/16)x(N/16)大小的feature map尺度；
• 再將每個proposal對應(yīng)的feature map區(qū)域水平分為pooled_w x pooled_h 的網(wǎng)格；
• 對網(wǎng)格的每一份都進(jìn)行max pooling處理。

圖15 proposal示意圖

4 Classification

圖16 Classification部分網(wǎng)絡(luò)結(jié)構(gòu)圖

1. 通過全連接和softmax對proposals進(jìn)行分類，這實際上已經(jīng)是識別的范疇了;
2. 再次對proposals進(jìn)行bounding box regression，獲取更高精度的rect box。

圖17 全連接層示意圖

5 Faster RCNN訓(xùn)練

1. 在已經(jīng)訓(xùn)練好的model上，訓(xùn)練RPN網(wǎng)絡(luò)，對應(yīng)stage1_rpn_train.pt
2. 利用步驟1中訓(xùn)練好的RPN網(wǎng)絡(luò)，收集proposals，對應(yīng)rpn_test.pt
3. 第一次訓(xùn)練Fast RCNN網(wǎng)絡(luò)，對應(yīng)stage1_fast_rcnn_train.pt
4. 第二訓(xùn)練RPN網(wǎng)絡(luò)，對應(yīng)stage2_rpn_train.pt
5. 再次利用步驟4中訓(xùn)練好的RPN網(wǎng)絡(luò)，收集proposals，對應(yīng)rpn_test.pt
6. 第二次訓(xùn)練Fast RCNN網(wǎng)絡(luò)，對應(yīng)stage2_fast_rcnn_train.pt

5.1 訓(xùn)練RPN網(wǎng)絡(luò)

圖19 stage1_rpn_train.pt（考慮圖片大小，Conv Layers中所有的層都畫在一起了，如紅圈所示，后續(xù)圖都如此處理）

上述公式中 i 表示anchors index，表示positive softmax probability，

代表對應(yīng)的GT predict概率（即當(dāng)?shù)趇個anchor與GT間IoU>0.7，認(rèn)為是該anchor是positive，；反之IoU<0.3時，認(rèn)為是該anchor是negative，；至于那些0.3<IoU<0.7的anchor則不參與訓(xùn)練）；t代表predict bounding box，t* 代表對應(yīng)positive anchor對應(yīng)的GT box。可以看到，整個Loss分為2部分：

1. cls loss，即rpn_cls_loss層計算的softmax loss，用于分類anchors為positive與negative的網(wǎng)絡(luò)訓(xùn)練；
2. reg loss，即rpn_loss_bbox層計算的soomth L1 loss，用于bounding box regression網(wǎng)絡(luò)訓(xùn)練。注意在該loss中乘了  ，相當(dāng)于只關(guān)心positive anchors的回歸（其實在回歸中也完全沒必要去關(guān)心negative）。

由于在實際過程中，和差距過大，用參數(shù)λ平衡二者（如，時設(shè)置 ），使總的網(wǎng)絡(luò)Loss計算過程中能夠均勻考慮2種Loss。這里比較重要是 使用的soomth L1 loss，計算公式如下：

1. 在RPN訓(xùn)練階段，rpn-data（python AnchorTargetLayer）層會按照和test階段Proposal層完全一樣的方式生成Anchors用于訓(xùn)練；
2. 對于rpn_loss_cls，輸入的rpn_cls_scors_reshape和rpn_labels分別對應(yīng) 與 ，參數(shù)隱含在與的caffe blob的大小中；
3. 對于rpn_loss_bbox，輸入的rpn_bbox_pred和rpn_bbox_targets分別對應(yīng) t 與 t* ，rpn_bbox_inside_weigths對應(yīng) ，rpn_bbox_outside_weigths未用到（從smooth_L1_Loss layer代碼中可以看到），而同樣隱含在caffe blob大小中。

5.2 通過訓(xùn)練好的RPN網(wǎng)絡(luò)收集proposals

圖20 rpn_test.pt

5.3 訓(xùn)練Faster RCNN網(wǎng)絡(luò)

1. 將提取的proposals作為rois傳入網(wǎng)絡(luò)，如圖21藍(lán)框；
2. 計算bbox_inside_weights+bbox_outside_weights，作用與RPN一樣，傳入soomth_L1_loss layer，如圖21綠框。

圖21 stage1_fast_rcnn_train.pt

Q&A

• 為什么Anchor坐標(biāo)中有負(fù)數(shù)？

圖21 clip anchor

• Anchor到底與網(wǎng)絡(luò)輸出如何對應(yīng)？

圖22 anchor與網(wǎng)絡(luò)輸出如何對應(yīng)方式

• 為何有ROI Pooling還要把輸入圖片resize到固定大小的MxN？

拓展

編輯：黃繼彥