一種投影法的點(diǎn)云目標(biāo)檢測(cè)網(wǎng)絡(luò)
1
檢測(cè)背景
三維目標(biāo)檢測(cè)網(wǎng)絡(luò)從輸入數(shù)據(jù)的形式上可以三類：
三維點(diǎn)云：PointNet，PointNet++等
體素空間：VoxelNet，Vovel-FPN等
投影空間：BirdNet，PIXOR，Complex-YOLO
本文是一篇將點(diǎn)云轉(zhuǎn)換到投影空間做3D目標(biāo)檢測(cè)的文章，通常點(diǎn)云的投影形式有兩種：
點(diǎn)云投影到鳥(niǎo)瞰圖
點(diǎn)云投影到前視圖
將三維空間的數(shù)據(jù)投影到二維平面會(huì)造成信息的損失，所以在高度圖的基礎(chǔ)上，往往會(huì)添加強(qiáng)度信息、密度信息，深度信息等等。
2
核心思想
本文基于圖像檢測(cè)的YOLOv2版本，通過(guò)把3D點(diǎn)云降維到2D鳥(niǎo)瞰圖的方式，將圖像檢測(cè)的網(wǎng)絡(luò)用于點(diǎn)云的目標(biāo)檢測(cè)中。出于降維后信息的損失考慮，本文采用點(diǎn)云多種特征綜合起來(lái)填充輸入通道，以達(dá)到目標(biāo)信息的彌補(bǔ)。
網(wǎng)絡(luò)仍然以三通道作為輸出，區(qū)別與圖片中的RGB色系不同，這里先將三維點(diǎn)云進(jìn)行柵格化，將點(diǎn)集分布到鳥(niǎo)瞰圖空間的網(wǎng)格中，然后編碼網(wǎng)格內(nèi)點(diǎn)集的最大高度，最大強(qiáng)度，點(diǎn)云密度三種信息歸一化后分別填充到R，G，B三個(gè)通道中形成RGB-Map，然后采用YOLOv2的Darknet19進(jìn)行特征提取并回歸出目標(biāo)的相對(duì)中心點(diǎn)tx，ty ；相對(duì)寬高tw，tl ；復(fù)角tim，tre，以及類別p0...pn 。如下圖所示：
3
實(shí)現(xiàn)細(xì)節(jié)
點(diǎn)云預(yù)處理：本文將單幀三維點(diǎn)云轉(zhuǎn)換成一張俯視的三通道圖片，篩選出傳感器正前方ROI區(qū)域（80米x 40米）高度限定3米以內(nèi)，并將點(diǎn)云柵格化到網(wǎng)格分辨率為8cm的二維網(wǎng)格圖中。
三通道分別由點(diǎn)云高度信息、點(diǎn)云強(qiáng)度信息、點(diǎn)云密度信息編碼所得，編碼方式如下：
其中Zg表示最大高度，Zb表示最大強(qiáng)度，Zr表示網(wǎng)格內(nèi)歸一化的密度，Sj每個(gè)網(wǎng)格內(nèi)的點(diǎn)云映射函數(shù)，N表示每個(gè)網(wǎng)格中點(diǎn)的個(gè)數(shù)。
網(wǎng)絡(luò)搭建：本文的網(wǎng)絡(luò)結(jié)構(gòu)在YOLOv2版本的基礎(chǔ)上使用E-RPN進(jìn)行擴(kuò)展?；就珼arket-19，只是在最后的輸出層增加了兩個(gè)復(fù)數(shù)角度的回歸。
特征提取采用darknet-19，如下圖所示：
在單尺寸特征圖上回歸目標(biāo)的類別、中心點(diǎn)、長(zhǎng)寬、朝向角，網(wǎng)絡(luò)特征圖的解碼輸出如下：
其中預(yù)測(cè)的中心點(diǎn)tx, ty通過(guò)sigmoid函數(shù)歸一化到每個(gè)網(wǎng)格的相對(duì)位置，cx，cy為輸出特征圖上網(wǎng)格索引位置，預(yù)測(cè)的長(zhǎng)寬tw，tl 通過(guò)對(duì)數(shù)函數(shù)表征的是相對(duì)于anchor長(zhǎng)寬pw，pl的偏移，預(yù)測(cè)的復(fù)數(shù)實(shí)部和虛部通過(guò)反正切求得朝向角。
錨點(diǎn)設(shè)計(jì)考慮在鳥(niǎo)瞰圖視角下，同一類目標(biāo)的長(zhǎng)寬尺寸變化不大，但是目標(biāo)存在方向信息，所以在設(shè)計(jì)錨點(diǎn)的時(shí)候，根據(jù)數(shù)據(jù)集內(nèi)的外接框分布，采用聚類的方式定義了三種不同尺寸和兩個(gè)角度方向：
車輛尺寸（朝上）
車輛尺寸（朝下）
自行車尺寸（朝上）
自行車尺寸（朝下）
行人尺寸（朝左）
目標(biāo)的朝向角可以通過(guò)相應(yīng)的回歸參數(shù)tim和tre計(jì)算得出，他們對(duì)應(yīng)于復(fù)數(shù)的相位，角度只需使用arctan2即可求出。采用復(fù)數(shù)的方式主要考慮：
避免奇異性；
在一個(gè)封閉的數(shù)學(xué)空間，能對(duì)模型的推廣產(chǎn)生有利影響；
損失函數(shù)：Complex-YOLO的損失函數(shù)在YOLOv2的基礎(chǔ)上增加了歐拉角度回歸損失：
其中YOLOv2的損失如下，針對(duì)中心點(diǎn)和長(zhǎng)寬分別采用L2對(duì)預(yù)測(cè)值和真實(shí)值求差的平方：
歐拉角的損失如下，針對(duì)角度的兩個(gè)參數(shù)采用L2對(duì)預(yù)測(cè)值和真實(shí)值求差的平方：
使用復(fù)數(shù)進(jìn)行角度回歸，總體上來(lái)說(shuō)疊加的比較生硬，我們知道后面的版本將中心點(diǎn)和寬高放在一起保留bbox完整性然后計(jì)算IoU系列損失，如果能把旋轉(zhuǎn)角也和bbox其他屬性整合在一個(gè)定位損失中會(huì)更好。
3
要點(diǎn)分析
將圖像檢測(cè)網(wǎng)絡(luò)YOLOv2應(yīng)用到點(diǎn)云檢測(cè)中，把三維點(diǎn)云轉(zhuǎn)換成鳥(niǎo)瞰圖的形式作為輸入；
編碼點(diǎn)云的高度，強(qiáng)度，密度信息到輸入通道中；
在網(wǎng)絡(luò)輸出的位置信息，尺度信息，類別信息后增加了角度信息的輸出；
采用復(fù)角的方式表征朝向角避免了單純回歸一個(gè)值所存在的奇異值問(wèn)題（0°突變360°）；
4
思考與展望
a. 點(diǎn)云檢測(cè)網(wǎng)絡(luò)在其預(yù)處理部分往往需要消耗大量時(shí)間，雖然基于投影的檢測(cè)方法在網(wǎng)絡(luò)前向傳播的時(shí)效性比較好，但是對(duì)點(diǎn)云的預(yù)處理部分仍然拖累整體耗時(shí)。
b. 采用鳥(niǎo)瞰圖形式的檢測(cè)，由于點(diǎn)云近密遠(yuǎn)稀的特征，限制了其有效檢測(cè)距離，所以本文只在40M以內(nèi)的效果比較好。
c. 將俯視投影后，由于z方向上的特征壓縮，對(duì)于行人等在x-y平面上占據(jù)分辨率較小的物體很難提取到豐富的特征進(jìn)行檢測(cè)任務(wù)，所以相比車輛，行人的檢測(cè)精度較低。
基于上述幾點(diǎn)問(wèn)題，在延續(xù)投影法的大方向不變前提下，可以嘗試進(jìn)行以下優(yōu)化：
Backbone，Neck，Head三塊有很多好的選擇；
Free anchor相比Fixed anchor對(duì)尺寸更加靈活；
引入ASPP，SPP等操作增大感受野；
引入注意力機(jī)制對(duì)稀疏目標(biāo)關(guān)注其點(diǎn)云特征；
激活函數(shù)的優(yōu)化，數(shù)據(jù)增廣等等
基于工程的優(yōu)化已經(jīng)Tricks的疊加，該網(wǎng)絡(luò)比較適合簡(jiǎn)單場(chǎng)景的嵌入式運(yùn)行：
?------------------------------------------------
歡迎微信搜索并關(guān)注「目標(biāo)檢測(cè)與深度學(xué)習(xí)」，不被垃圾信息干擾，只分享有價(jià)值知識(shí)！
10000+人已加入目標(biāo)檢測(cè)與深度學(xué)習(xí)
敬正在努力的我們！ 