RepPoints：可形變卷積的進(jìn)階

一直以來(lái)都非常欣賞微軟的研究，尤其是可形變卷積，這個(gè)工作在我看來(lái)非常的有創(chuàng)造力(很喜歡可形變卷積這個(gè)思路)，這次借著RepPoints這篇最新的論文，回顧一下可形變卷積。

本文主要涉及DCNv1、DCNv2、RepPoints三篇文章，其中RepPoints可以認(rèn)為是DCNv3。這三篇文章不斷改進(jìn)可形變卷積，提升模型的幾何形變建模能力。

Review of DCNv1 and DCNv2

由尺度、姿態(tài)、視角和部分形變等因素引起的幾何變化是目標(biāo)識(shí)別和檢測(cè)的主要挑戰(zhàn)。在卷積/RoI池化模塊中，DCN通過(guò)學(xué)習(xí)采樣點(diǎn)的位置來(lái)得到幾何形變建模的能力。

Deformable Convolution

由輸入特征學(xué)習(xí)得到的偏移量來(lái)改變標(biāo)準(zhǔn)卷積的采樣位置。

可形變卷積可以表示為：

給定一個(gè)有 個(gè)采樣點(diǎn)的卷積核， 表示為第 個(gè)采樣點(diǎn)的權(quán)值， 表示為第 個(gè)采樣點(diǎn)預(yù)定義的偏移量(例如， 和 定義了一個(gè)3x3的卷積核)。 定義為輸入特征位置 的特征， 定義為輸出特征位置 的特征。 為卷積學(xué)習(xí)得到的第 個(gè)采樣點(diǎn)的位置偏移量。因?yàn)? 是小數(shù)，所以 通過(guò)雙線性插值得到。

PS：偏移量特征的分辨率與輸入特征的分辨率相同，且通道數(shù)為采樣點(diǎn)個(gè)數(shù)的兩倍(即每個(gè)位置都有x和y兩個(gè)方向的偏移量)。

Modulated Deformable Convolution

相比可形變卷積多了一個(gè)調(diào)制因子。

調(diào)制可形變卷積可以表示為：

表示為第 個(gè)采樣點(diǎn)的調(diào)制因子(范圍在 之間)。

PS：調(diào)制因子特征的分辨率與輸入特征的分辨率相同，且通道數(shù)為采樣點(diǎn)的個(gè)數(shù)，加上偏移量特征后的通道數(shù)為采樣點(diǎn)個(gè)數(shù)的三倍(即每個(gè)位置都有x和y兩個(gè)方向的偏移量，還有一個(gè)調(diào)制因子)。

Deformable RoI Pooling

給定一個(gè)輸入RoI，RoI pooling將它分成 個(gè)bins。首先通過(guò)RoI pooling得到池化后的feature maps，然后通過(guò)一個(gè)fc層產(chǎn)生歸一化偏移量 (該偏移量可以轉(zhuǎn)化為 )。

單個(gè)bin的輸出特征可表示為：

表示為第 個(gè)bin的第 個(gè)采樣點(diǎn)的位置， 表示為第 個(gè)bin的采樣點(diǎn)數(shù)量。 通過(guò)雙線性插值得到。 為第 個(gè)bin的偏移量。

PS：fc層的輸出為bin個(gè)數(shù)的兩倍(即每個(gè)bin都有x和y兩個(gè)方向的偏移量)。

Modulated Deformable RoI Pooling

帶調(diào)制因子的單個(gè)bin的輸出特征可表示為：

為第 個(gè)bin的調(diào)制因子(范圍在 之間)。

PS：有兩個(gè)fc層，第二個(gè)fc層的輸出為bin個(gè)數(shù)的三倍(即每個(gè)bin都有x和y兩個(gè)方向的偏移量，還有一個(gè)調(diào)制因子)。

RepPoints

Motivation

在目標(biāo)檢測(cè)任務(wù)中，邊界框描述了目標(biāo)檢測(cè)器各階段的目標(biāo)位置。

雖然邊界框便于計(jì)算，但它們僅提供目標(biāo)的粗略定位，并不完全擬合目標(biāo)的形狀和姿態(tài)。因此，從邊界框的規(guī)則單元格中提取的特征可能會(huì)受到背景內(nèi)容或前景區(qū)域的無(wú)效信息的嚴(yán)重影響。這可能導(dǎo)致特征質(zhì)量降低，從而降低了目標(biāo)檢測(cè)的分類性能。

本文提出一種新的表示方法，稱為 RepPoints，它提供了更細(xì)粒度的定位和更方便的分類。

如圖所示，RepPoints 是一組點(diǎn)，通過(guò)學(xué)習(xí)自適應(yīng)地將自己置于目標(biāo)之上，該方式限定了目標(biāo)的空間范圍，并且表示具有重要語(yǔ)義信息的局部區(qū)域。

RepPoints 的訓(xùn)練由目標(biāo)定位和識(shí)別共同驅(qū)動(dòng)的，因此，RepPoints 與 ground-truth 的邊界框緊密相關(guān)，并引導(dǎo)檢測(cè)器正確地分類目標(biāo)。

Bounding Box Representation

邊界框是一個(gè)4維表示，編碼目標(biāo)的空間位置，即 ， 表示中心點(diǎn)， 表示寬度和高度。

由于其使用簡(jiǎn)單方便，現(xiàn)代目標(biāo)檢測(cè)器嚴(yán)重依賴于邊界框來(lái)表示檢測(cè) pipeline 中各個(gè)階段的對(duì)象。

性能最優(yōu)的目標(biāo)檢測(cè)器通常遵循一個(gè) multi-stage 的識(shí)別范式，其中目標(biāo)定位是逐步細(xì)化的。其中，目標(biāo)表示的角色如下：

RepPoints

如前所述，4維邊界框是目標(biāo)位置的一個(gè)粗略表示。邊界框表示只考慮目標(biāo)的矩形空間范圍，不考慮形狀、姿態(tài)和語(yǔ)義上重要的局部區(qū)域的位置，這些可用于更好的定位和更好的目標(biāo)特征提取。

為了克服上述限制，RepPoints 轉(zhuǎn)而對(duì)一組自適應(yīng)樣本點(diǎn)進(jìn)行建模：

其中 為表示中使用的樣本點(diǎn)的總數(shù)。在這項(xiàng)工作中， 默認(rèn)設(shè)置為 9。

Learning RepPoints

RepPoints 的學(xué)習(xí)是由目標(biāo)定位損失和目標(biāo)識(shí)別損失共同驅(qū)動(dòng)的。為了計(jì)算目標(biāo)定位損失，我們首先用一個(gè)轉(zhuǎn)換函數(shù) 將 RepPoints 轉(zhuǎn)換為偽框 (pseudo box)。然后，計(jì)算轉(zhuǎn)換后的偽框與 ground truth 邊界框之間的差異。

RPDet

作者設(shè)計(jì)了一種不使用 anchor 的對(duì)象檢測(cè)器，它利用 RepPoints 代替邊界框作為目標(biāo)的基本表示。

目標(biāo)表示的演化過(guò)程如下:

RepPoints Detector (RPDet) 由兩個(gè)基于可變形卷積的識(shí)別階段構(gòu)成，如圖所示。

可變形卷積與 RepPoints 很好地結(jié)合在一起，因?yàn)樗木矸e是在一組不規(guī)則分布的采樣點(diǎn)上計(jì)算的，另外，它的分類可以指導(dǎo)訓(xùn)練這些點(diǎn)的定位。

上圖的第一個(gè)偏移量通過(guò)對(duì)角點(diǎn)監(jiān)督學(xué)習(xí)得到，第二個(gè)偏移量在前一個(gè)偏移量的基礎(chǔ)上通過(guò)分類監(jiān)督學(xué)習(xí)得到。

從另一個(gè)角度來(lái)理解RepPoints：

可形變卷積通過(guò)最后的分類分支和回歸分支的監(jiān)督，自適應(yīng)的關(guān)注到合適的特征位置，提取更好的特征，但是我一直沒(méi)想明白的是可形變卷積真的能夠關(guān)注到合適的特征位置嗎，可形變卷積的偏移量學(xué)習(xí)是非常自由的，可能會(huì)跑到遠(yuǎn)離目標(biāo)的位置，那么這些特征真的是有幫助的嗎，這些問(wèn)題一直困擾著我，我覺(jué)得可形變卷積的中間過(guò)程太模糊了，太不直接了，是難以解釋的。而RepPoints通過(guò)定位和分類的監(jiān)督信號(hào)來(lái)直接監(jiān)督偏移量的學(xué)習(xí)，這樣偏移量不就有可解釋性了嗎，偏移的位置使得定位和分類更加準(zhǔn)確(即偏移的位置可定位目標(biāo)并且語(yǔ)義信息可識(shí)別目標(biāo))，這樣偏移量就不會(huì)亂跑了，而且是可解釋的。

從這個(gè)角度來(lái)想，RepPoints其實(shí)是對(duì)可形變卷積進(jìn)一步的改進(jìn)，相比可形變卷積有兩個(gè)優(yōu)點(diǎn)：

1.通過(guò)定位和分類的直接監(jiān)督來(lái)學(xué)習(xí)可形變卷積的偏移量，使得偏移量具有可解釋性。

2.可以通過(guò)采樣點(diǎn)來(lái)直接生成偽框 (pseudo box)，不需要另外學(xué)習(xí)邊界框，并且分類和定位有聯(lián)系。

Reference

歡迎交流指正~~~