點云深度學(xué)習(xí)研究現(xiàn)狀與趨勢

重磅干貨，第一時間送達(dá)

本文轉(zhuǎn)自：3D點云深度學(xué)習(xí)

作者：霍爾頓

在工業(yè)界，利用激光雷達(dá)獲取點云數(shù)據(jù)，很早就有應(yīng)用了，如進(jìn)行測高、遙感等。近幾年的大規(guī)模發(fā)展得益于自動駕駛和機器人領(lǐng)域的火熱，激光雷達(dá)成為重要的感知手段而得到人們關(guān)注，點云處理也成為熱門。

說白了點云就是一堆帶有三維坐標(biāo)（也可以帶強度、顏色信息）的點，由于數(shù)目龐大，因此可以描繪出物體的三維輪廓。

點云數(shù)據(jù)與圖像處理具有很多相似點，因此不少處理方法是從圖像處理演變而來，但是點云又具有自身特點(簡單、稀疏、準(zhǔn)確)，因此研究人員根據(jù)這些特點，發(fā)展出效果更好的處理手段。

我們都知道，在深度學(xué)習(xí)沒出來之前，圖像處理就已經(jīng)發(fā)展出大量算法了。同樣的，點云處理領(lǐng)域也是這樣，比如做點云特征提取、配準(zhǔn)、識別等等。這方面還有不少開源程序庫，例如大家都知道的PCL，在這里順便吐槽一下，PCL中文網(wǎng)站的維護(hù)實在太差了，信息陳舊，國內(nèi)參考書籍出的也少，導(dǎo)致民間不少從事點云數(shù)據(jù)處理的研究人員，相互聚集在一些QQ群、微信群中，互幫互助，抱團(tuán)取暖，但是解決問題效率一般。

近幾年深度學(xué)習(xí)發(fā)展迅速，在圖片、視頻和自然語言處理等領(lǐng)域大放異彩。最近三年在點云處理領(lǐng)域中也逐漸發(fā)展起來，下面按照點云處理形式對現(xiàn)有方法進(jìn)行分類和梳理。

這是最早用深度學(xué)習(xí)來處理點云數(shù)據(jù)的方法，但是需要先把三維點云在不同角度渲染得到二維圖像，然后借助圖像處理領(lǐng)域成熟的深度學(xué)習(xí)框架進(jìn)行分析。代表作是MVCNN網(wǎng)絡(luò)，它的思路是考慮到圖像領(lǐng)域已經(jīng)通過渲染3D模型的12個角度的圖像，并對圖像進(jìn)行分類。效果也不差。

怎么評價這種思路呢？其實還是不錯的，除了分類任務(wù)，在點云目標(biāo)檢測中，也有不少論文采用了這種思路，比如自動駕駛場景的目標(biāo)檢測，如MV3D等，也是會把點云投影到三維空間。

代表作有Volumetric CNN 、VoxNet、VoxelNet。將點云劃分成均勻的空間三維體素，對體素進(jìn)行處理。優(yōu)點是這種表示方式很規(guī)整，可以很方便地將卷積池化等神經(jīng)網(wǎng)絡(luò)運算遷移到三維；缺點是由于體素表達(dá)的數(shù)據(jù)離散運算量大，所以分辨率較低，因此具有一定的局限性。

OCNN利用八叉樹方法將三維點云劃分為若干節(jié)點，以節(jié)點的法向量作為輸入信號，按照Z排序方法將點云表示成一維數(shù)組，之后可以很方便地與已有神經(jīng)網(wǎng)絡(luò)進(jìn)行連接。類似思路的論文還有OctNet同樣采用八叉樹組織點云，Kd-Network采用的是KD樹。

代表作是斯坦福大學(xué)研究人員提出的PointNet，用來直接對點云進(jìn)行處理，該網(wǎng)絡(luò)很好地考慮了輸入點云的排列不變性。采用maxpooling作為對稱函數(shù)進(jìn)行處理。之后考慮到PointNet缺乏局部信息的缺點，提出了改進(jìn)版PointNet++，各項指標(biāo)也是刷新了前作。

與PointNet不同，在解決點云的無序排列問題上，PointCNN沒有采用maxpooling作為對稱函數(shù)，而是訓(xùn)練了一個X變換網(wǎng)絡(luò)，在多項任務(wù)中達(dá)到了當(dāng)時的最高水平。

最后進(jìn)行一個簡單的總結(jié)，點云遇到深度學(xué)習(xí)之后，主要朝著兩個方向發(fā)展，其一是解決點云領(lǐng)域的自身需求，如配準(zhǔn)、擬合；其二是解決計算機視覺領(lǐng)域的需求，如識別、檢測、跟蹤。

如果走第一條路，需要對傳統(tǒng)點云處理算法進(jìn)行學(xué)習(xí)，而深度學(xué)習(xí)就只是提取特征的工具了，會用就行。如果走第二條路，就需要對計算機視覺領(lǐng)域的識別、檢測、跟蹤等領(lǐng)域浩如煙海的paper、代碼都要進(jìn)行學(xué)習(xí)，然后往點云領(lǐng)域去遷移，目前很多點云目標(biāo)檢測算法也都是這么做的。相比較而言，第二條路前景更廣闊一些，對于高校研究生發(fā)表論文也相對容易找到突破口。

 End