Mask R-CNN算法

Mask R-CNN

Mask R-CNN是一個(gè)實(shí)例分割（Instance segmentation）算法，主要是在目標(biāo)檢測(cè)的基礎(chǔ)上再進(jìn)行分割。Mask R-CNN算法主要是Faster R-CNN+FCN，更具體一點(diǎn)就是ResNeXt+RPN+RoI Align+Fast R-CNN+FCN，如下圖所示。

Mask R-CNN的創(chuàng)新點(diǎn)有：

1 .Backbone：ResNeXt-101+FPN 2. RoI Align替換RoI Pooling

Mask R-CNN算法步驟：

1.輸入一張圖片，進(jìn)行數(shù)據(jù)預(yù)處理（尺寸，歸一化等等） 2.將處理好的圖片傳入預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中(ResNet等，優(yōu)秀的主干特征提取網(wǎng)絡(luò))獲得相應(yīng)的feature map。3.通過feature map中的每一點(diǎn)設(shè)定ROI，獲得多個(gè)ROI候選框 4.對(duì)這些多個(gè)ROI候選框送到RPN中進(jìn)行二值分類（前景或后景）和BB回歸(Bounding-box regression),過濾掉一部分候選的ROI。5.對(duì)剩下的ROI進(jìn)行ROI Align操作（即先將原圖和feature map的pixel對(duì)應(yīng)起來，然后將feature map和固定的feature對(duì)應(yīng)起來） 6.對(duì)這些ROI進(jìn)行分類（N類別分類），BB回歸和Mask生成（在每一個(gè)ROI里面進(jìn)行FCN操作）。

RoI Pooling和RoI Align有哪些不同？

ROI Align是在Mask R-CNN中提出的一種區(qū)域特征聚集方式，很好地解決了ROI Pooling操作中兩次量化造成的區(qū)域不匹配問題（下面會(huì)提到什么是量化），實(shí)驗(yàn)顯示將ROI Align替換ROI Pooling可以提升檢測(cè)模型的準(zhǔn)確性。 RoI Pooling 的作用是根據(jù)預(yù)選框的位置坐標(biāo)在特征圖中將相應(yīng)區(qū)域池化為固定尺寸的特征圖，以便進(jìn)行后續(xù)的分類和包圍框回歸操作。由于預(yù)選框的位置通常是由模型回歸得到的，一般來講是浮點(diǎn)數(shù)，而池化后的特征圖要求尺寸固定。故RoI Pooling這一操作存在兩次量化的過程，上圖為ROI操作。?· 將候選框邊界量化為整數(shù)點(diǎn)坐標(biāo)值。· 將量化后的邊界區(qū)域平均分割成 ??×?? 個(gè)單元(bin),對(duì)每一個(gè)單元的邊界進(jìn)行量化 事實(shí)上，經(jīng)過上述兩次量化，此時(shí)的候選框已經(jīng)和最開始回歸出來的位置有一定的偏差，這個(gè)偏差會(huì)影響檢測(cè)或者分割的準(zhǔn)確度。在論文里，作者把它總結(jié)為“不匹配問題（misalignment）”。下面我們用直觀的例子具體分析一下上述區(qū)域不匹配問題。如下圖所示，這是一個(gè)Faster-RCNN檢測(cè)框架。輸入一張 800×800 的圖片，圖片上有一個(gè) 665×665 的包圍框（框著一只狗）。圖片經(jīng)過主干網(wǎng)絡(luò)提取特征后，特征圖縮放步長(zhǎng)（stride）為32。因此，圖像和包圍框的邊長(zhǎng)都是輸入時(shí)的1/32。800正好可以被32整除變?yōu)?5。但665除以32以后得到20.78，帶有小數(shù)，于是RoI Pooling 直接將它量化成20。接下來需要把框內(nèi)的特征池化 7×7 的大小，因此將上述包圍框平均分割成 7×7 個(gè)矩形區(qū)域。顯然，每個(gè)矩形區(qū)域的邊長(zhǎng)為2.86，又含有小數(shù)。于是ROI Pooling 再次把它量化到2。經(jīng)過這兩次量化，候選區(qū)域已經(jīng)出現(xiàn)了較明顯的偏差（如圖中綠色部分所示）。更重要的是，該層特征圖上0.1個(gè)像素的偏差，縮放到原圖就是3.2個(gè)像素。那么0.8的偏差，在原圖上就是接近30個(gè)像素點(diǎn)的差別，這一差別不容小覷。 為了解決RoI Pooling的上述缺點(diǎn)，作者提出了RoI Align這一改進(jìn)的方法(如下圖)。 RoI Align的思路很簡(jiǎn)單：取消量化操作，使用雙線性內(nèi)插的方法獲得坐標(biāo)為浮點(diǎn)數(shù)的像素點(diǎn)上的圖像數(shù)值，從而將整個(gè)特征聚集過程轉(zhuǎn)化為一個(gè)連續(xù)的操作。值得注意的是，在具體的算法操作上，RoI Align并不是簡(jiǎn)單地補(bǔ)充出候選區(qū)域邊界上的坐標(biāo)點(diǎn)，然后將這些坐標(biāo)點(diǎn)進(jìn)行池化，而是重新設(shè)計(jì)了一套比較優(yōu)雅的流程，如下圖所示：（1）遍歷每一個(gè)候選區(qū)域，保持浮點(diǎn)數(shù)邊界不做量化。（2）將候選區(qū)域分割成 ??×?? 個(gè)單元，每個(gè)單元的邊界也不做量化。（3）在每個(gè)單元中計(jì)算固定四個(gè)坐標(biāo)位置，用雙線性內(nèi)插的方法計(jì)算出這四個(gè)位置的值，然后進(jìn)行最大池化操作. 這里對(duì)上述步驟的第三點(diǎn)作一些說明：這個(gè)固定位置是指在每一個(gè)矩形單元（bin）中按照固定規(guī)則確定的位置。比如，如果采樣點(diǎn)數(shù)是1，那么就是這個(gè)單元的中心點(diǎn)。如果采樣點(diǎn)數(shù)是4，那么就是把這個(gè)單元平均分割成四個(gè)小方塊以后它們分別的中心點(diǎn)。顯然這些采樣點(diǎn)的坐標(biāo)通常是浮點(diǎn)數(shù)，所以需要使用插值的方法得到它的像素值。在相關(guān)實(shí)驗(yàn)中，作者發(fā)現(xiàn)將采樣點(diǎn)設(shè)為4會(huì)獲得最佳性能，甚至直接設(shè)為1在性能上也相差無幾。事實(shí)上，RoI Align 在遍歷取樣點(diǎn)的數(shù)量上沒有RoI Pooling那么多，但卻可以獲得更好的性能，這主要?dú)w功于解決了mis alignment的問題。值得一提的是，我在實(shí)驗(yàn)時(shí)發(fā)現(xiàn)，RoI Align在VOC 2007數(shù)據(jù)集上的提升效果并不如在COCO上明顯。經(jīng)過分析，造成這種區(qū)別的原因是COCO上小目標(biāo)的數(shù)量更多，而小目標(biāo)受mis alignment問題的影響更大（比如，同樣是0.5個(gè)像素點(diǎn)的偏差，對(duì)于較大的目標(biāo)而言顯得微不足道，但是對(duì)于小目標(biāo)，誤差的影響就要高很多）。