今天這一篇是19年12月30日放到arxiv上的，其實(shí)在CVPR2020截止后就一直在關(guān)注在關(guān)注的一篇文章，畢竟在KITTI的3D檢測上高居榜首，并且遠(yuǎn)遠(yuǎn)的超過了第二名。如下：

是很有必要研讀一下，這篇文章出自港中文和商湯的工作。

先看題目猜測一下，是結(jié)合了目前基于點(diǎn)和基于voxel的方法進(jìn)行特征提取。5555，好像博主之前的一點(diǎn)工作也是朝著這個(gè)方向去做過，奈何太菜，沒做出好的結(jié)果。

Abstract

• 本文的特征提取方式充分利用的3D voxel卷積和基于點(diǎn)的pointnet卷積方式。其中作者給出的解釋是3D voxel卷積高效，而point-based的方法感受野可變，因此結(jié)合了這兩種檢測方法的優(yōu)點(diǎn)。
• 該方法是一個(gè)兩階段的方法, 第一階段提proposals，第二階段為refine
• 該方法遠(yuǎn)遠(yuǎn)好于KITTI其他的方法，在精度的表現(xiàn)上看。

一個(gè)簡單的過程如下，盲猜為多尺度特征融合到key-point上的一個(gè)創(chuàng)新工作。

1. Introduction

• 3D檢測應(yīng)用
• 本文是一個(gè)將point_based的方法和voxel_based方法的結(jié)合的新型網(wǎng)絡(luò)結(jié)構(gòu)（在文章作者稱voxel_based為grid_based的方法，實(shí)則同一種方法）
• 一些point_based和grid_based方法的簡單介紹。并且提取存在的問題。這也是作者的論文出發(fā)點(diǎn)，結(jié)合這兩種方法的優(yōu)點(diǎn)。（高效+可變感受野）

the grid-based methods are more computationally efficient but the inevitable information loss degrades the finegrained localization accuracy, while the point-based methods have higher computation cost but could easily achieve larger receptive field by the point set abstraction

• PV-RCNN為結(jié)合這兩種方法的算法，采用multi-scale的方法獲得由voxel_based方法得到的高質(zhì)量的proposals，然后再利用Point_based的方法獲得精細(xì)的局部信息。

The principle of PV-RCNN lies in the fact that the voxel-based operation efficiently encodes multi-scale feature representations and can generate high-quality 3D proposals.

• 核心也就是如何將上述的兩種方法有效的結(jié)合起來，這里作者的做法是：在每一個(gè)3D proposals內(nèi)平均的采樣一些Grid-point，然后再通過P2的FPS最遠(yuǎn)點(diǎn)采樣的方法得到該Grid_point周圍的點(diǎn)，再通過結(jié)合去進(jìn)一步refine最后的proposals

• 因此，作者采用兩階段的方法去更好的結(jié)合上述的兩種算法的優(yōu)點(diǎn)。

（1） 第一階段為：“voxel-to-keypoint scene encoding step ”，這一步是提出proposals，作者首先對(duì)整個(gè)場景采用voxel的方法進(jìn)行特征提取，同時(shí)采取一支分支對(duì)場景采用point的FPS采樣，然后檢索得到多尺度的voxel的特征，如下的表示。這樣實(shí)際上僅僅是采用了voxel的特征，但是表示在key-point身上。

（2）第二階段為‘keypoint-to-grid RoI feature abstraction’：這一步驟，作者提出了一個(gè)新的RoI-grid pooling module，該模塊將上一步驟的keypoints的特征和RoI-grid points特特征融合（keypoints和RoI-grid points是什么內(nèi)容后續(xù)會(huì)講到）

• contributions

2. Related Work

這一部分不細(xì)講，基本上的文章都大差不差。如下內(nèi)容

• 3D Object Detection with Grid-based Methods.
• 3D Object Detection with Point-based Methods.
• Representation Learning on Point Clouds.

3. PV-RCNN for Point Cloud Object Detection

3.1. 3D Voxel CNN for Efficient Feature Encoding and Proposal Generation

• 3D voxel CNN
• 3D proposal generation

上面的兩點(diǎn)內(nèi)容大都和其他目前流行的基于voxel的方法一樣，不多贅述。

• Discussions

（1）目前大多精度高的工作都采用了refine優(yōu)化的工作，這里作者提出兩個(gè)問題，如果采用類似roi_pooling的方式去做，那么由于8倍的下采樣會(huì)使得分辨率很低，此外如果采樣得到的是較高的分辨率圖片又會(huì)得到稀疏的表示（Fast-PointRCNN）。第二個(gè)問題是傳統(tǒng)的ROI-POOLING和ROI-ALIGN實(shí)際上得到僅能在一個(gè)小的區(qū)域內(nèi)進(jìn)差值，因此如果在3D稀疏的表達(dá)上可能得到幾乎都是0的特征表示。（2）進(jìn)一步的，P2提出的set-abstruction的操作很好的編碼“可變”領(lǐng)域的特征，后續(xù)考慮到去voxel上差值的內(nèi)存占用，作者提出了先提出關(guān)鍵點(diǎn)，然后再利用關(guān)鍵點(diǎn)編碼voxel卷積過程的多尺度特征。

3.2. Voxel-to-keypoint Scene Encoding via Voxel Set Abstraction

• Keypoints Sampling

采用FPS，對(duì)KITTI數(shù)據(jù)集的關(guān)鍵點(diǎn)個(gè)數(shù)為2048，對(duì)waymo數(shù)據(jù)集為4096個(gè)點(diǎn)。用于代表整個(gè)場景的特征信息。

• Voxel Set Abstraction Module

作者自行設(shè)計(jì)了Voxel Set Abstraction (VSA) module這樣的一個(gè)模塊，這個(gè)模塊的作用是將keypoint周圍非空的voxel特征采集出來結(jié)合在一起，原文用了很多數(shù)學(xué)表達(dá)，含義大致如此。

• Extended VSA Module

進(jìn)一步的在二維上，采用的是雙線性插值得到關(guān)鍵點(diǎn)投影到BEV上的特征。最終的特征將有三部分組成，分別是來自voxel語義信息, 來自原始點(diǎn)云的特征信息(作者說這一部分信息是為了彌補(bǔ)之前在voxel化時(shí)丟失的信息)，來自BEV的高級(jí)信息.

• Predicted Keypoint Weighting.

（1）上述的特征融合實(shí)際上都是為了進(jìn)一步的refine做準(zhǔn)備，第一階段的proposals實(shí)際上是由voxel-based的方法提出來的，這一步 Keypoint Weighting的工作是為了給來自背景和前景的關(guān)鍵點(diǎn)一個(gè)不一樣的權(quán)重，使得前景對(duì)refine的貢獻(xiàn)更大。（2）為了做這樣的一個(gè)工作，作者設(shè)計(jì)了如下的額為的網(wǎng)絡(luò)結(jié)構(gòu)。這里面的Label對(duì)應(yīng)的是是否在gt內(nèi)，采用fcoal_loss。

3.3 Keypoint-to-grid RoI Feature Abstraction for Proposal Refinement

這就是作者提出的第二階段，refinement，前文提到通過3D稀疏卷積處理voxel已經(jīng)得到了比較好的精度的proposals，但是多尺度的keypoint的特征是為了進(jìn)一步refine結(jié)果。因此作者在這個(gè)階段提出了keypoint-to-grid RoI feature abstraction模塊。如下：

（1）從該模塊名稱和圖就可以看得出來，作者是想通過將key-point的特征整合到grid-point中去，并且也采用了multi-scale的策略。作者在每個(gè)proposals中都采樣個(gè)grid points. （2）首先確定每一個(gè)grid-point的一個(gè)半徑下的近鄰，然后再用一個(gè)pointnet模塊將特征整合為grid_point的特征，這里會(huì)采用多個(gè)scale的特征融合手段。（3）得到了所有的grid-point的點(diǎn)特征后，作者采用兩層的MLP得到256維度的proposals的特征。

• 3D Proposal Refinement and Confidence Prediction 作者在confidence prediction branche 這一分支上采用了前人提出的 3D Intersection-over-Union (IoU)，對(duì)于第k個(gè)ROI的置信度的目標(biāo)是如下公式：

該公式中表示第k個(gè)ROI對(duì)應(yīng)的GT，因此confidence prediction branche的LOSS函數(shù)采用的是交叉熵loss：

是預(yù)測的置信度的分?jǐn)?shù)，如下的實(shí)驗(yàn)表明采用這種置信度是能提高算法的精度的。

3.4. Training losses

• RPN loss

• keypoint seg loss也就是前背景關(guān)鍵點(diǎn)的權(quán)重loss。
• refinement loss 定義如下：

這里的兩部分loss第一個(gè)置信度LOSS也就是前文提出的LOSS，后面的SmoothL1 LOSS和以前的一樣。

4. Experiments

有一些參數(shù)設(shè)置和實(shí)驗(yàn)的實(shí)現(xiàn)細(xì)節(jié)，博主就不寫下來了。原文很詳盡。列出實(shí)驗(yàn)效果吧。在test的數(shù)據(jù)集上:幾乎都好比第二名好幾個(gè)點(diǎn)，真的牛。

在watmo上如下：