PU-Net：一種基于數(shù)據(jù)的3D點云上采樣網(wǎng)絡(luò)

點擊上方“3D視覺工坊”，選擇“星標”

干貨第一時間送達

論文下載：

https://openaccess.thecvf.com/content_cvpr_2018/papers/Yu_PU-Net_Point_Cloud_CVPR_2018_paper.pdf

代碼下載：https://github.com/yulequan/PU-Net

簡介：

由于數(shù)據(jù)的稀疏性和不規(guī)則性，利用深度學(xué)習(xí)分析三維點云是一個具有挑戰(zhàn)性的課題。本文提出了一種數(shù)據(jù)驅(qū)動的點云上采樣技術(shù)。其核心思想是學(xué)習(xí)每個點的多層次特征，并通過特征空間中的多分支卷積單元對點集進行隱式擴展。擴展后的特征被分割成多個特征，然后重構(gòu)成一個上采樣點集。網(wǎng)絡(luò)是在補丁級別上應(yīng)用的，具有一個聯(lián)合損失函數(shù)，該函數(shù)使上采樣點以均勻分布保持在非平坦表面上。我們使用合成和掃描數(shù)據(jù)進行了各種實驗來評估我們的方法，并證明了它優(yōu)于一些基線方法和基于優(yōu)化的方法。結(jié)果表明，我們的上采樣點具有更好的均勻性和潛在的曲面更加貼合。

本文主要貢獻：

該工作主要解決3D點云的上采樣問題，提出了一個數(shù)據(jù)驅(qū)動的點云上采樣網(wǎng)絡(luò)。核心思想是學(xué)習(xí)每個點的多層次特征，然后通過特征中隱含的多分支卷積單元擴展點集空間。將擴展后的特征分解為多個特征，再將這些特征重構(gòu)為一個上采樣點集。

方法：

如上圖所示，上采樣網(wǎng)絡(luò)PU-Net的結(jié)構(gòu)圖：網(wǎng)絡(luò)輸入提取補丁的N個點，經(jīng)過pointnet++學(xué)習(xí)到多級特征，相應(yīng)的有rN個點輸出網(wǎng)絡(luò)，這里r是上采樣率。C表示特征通道數(shù)目。用插值恢復(fù)N個點不同特征層次特征然后利用卷積網(wǎng)絡(luò)將多級特征統(tǒng)一到通道為C，特征擴張使采用兩種不同的卷積層增加聯(lián)非線性，點云特征集成模塊中紅色顯示原來的和逐步降采樣的點，綠色顯示恢復(fù)的特征。聯(lián)合使用重建損失函數(shù)和互斥損失函數(shù)用來端到端地訓(xùn)練上采樣網(wǎng)絡(luò)。

PU-Net有四個組件：段提取Patch Extraction、點特征嵌入Point Feature Embedding、特征擴張Feature Expansion和坐標重建 Coordinate Reconstruction。

1.Patch Extraction

收集一組3D對象作為優(yōu)先信息來訓(xùn)練。這些對象涵蓋了豐富多樣的形狀，從表面光滑到形狀鋒利的邊角。本質(zhì)上，為了讓網(wǎng)絡(luò)對點云進行采樣，它應(yīng)該從對象中學(xué)習(xí)局部幾何模式。我們在曲面上隨機選擇M個點來表達這些對象。從每個選定的點，生成一個一個曲面的小塊（surface patch），使得這樣小塊上的任何點都在曲面上選定點一定的測地線距離(d)內(nèi)。然后，使用Poisson disk采樣的方法在每個小塊上隨機生成N個點，作為小塊上的真實點分布。在我們的上采樣任務(wù)中，局部和全局信息被被一起用來平滑和統(tǒng)一的輸出。因此，用不同的尺寸設(shè)置d，這樣就可以在先前的物體上提取不同比例和密度的點。

2.Point Feature Embedding

神經(jīng)網(wǎng)絡(luò)淺層特征一般反映著局部的小尺度特征，為了更好的上采樣結(jié)果，采用skip-connection來聚集不同層的特征。

由于在分層特征提取中逐步對每個小塊的輸入進行二次下采樣，通過PointNet++中的插值方法，首先從下采樣的點特征中上采樣恢復(fù)所有原始點的特征N×C_l ，從而連接每個級別的點特征。具體而言，插值點x在l水平上的特征通過以下方式計算:

3.Feature Expansion

在Point Feature Embedding之后，擴展了特征空間中的特征數(shù)量, 這相當于擴展點的數(shù)量，因為點和特征是可以互換的。假設(shè)f的維數(shù)是N×C’，N是輸入點的數(shù)目，C’是級聯(lián)嵌入特征的特征維數(shù)。特征擴展操作將輸出維數(shù)為rN×C的特征f，其中r是上采樣率，C是新的特征維數(shù)。本質(zhì)上，這類似于圖像相關(guān)任務(wù)中的特征上采樣，這可以通過反卷積或插值來完成。然而，由于點的非規(guī)則性和無序特性，將這些操作應(yīng)用于點云并不容易。

因此，提出了一種基于子像素卷積層的有效特征擴展操作：

4.Coordinate Reconstruction

在這一部分中，我們從尺寸為rN×C’的擴展特征重建輸出點的3D坐標。具體來說，我們通過一系列全連接層對每個點的特征進行三維坐標重建，特征的維度由rN×C’變?yōu)閞N×3。

實驗結(jié)果：

當NUC越小時取得點表面更加平滑。

下圖為和EAR方法對比的結(jié)果：

結(jié)論：

在這篇論文中，提出了一個深度點云上采樣網(wǎng)絡(luò)，目標是從一組稀疏的點中生成一組更密集、更均勻的點。網(wǎng)絡(luò)是在小塊級別使用多級特征聚合方式進行訓(xùn)練的，從而捕獲局部和全局信息。網(wǎng)絡(luò)設(shè)計通過對包含非局部幾何圖形的單個特征進行操作來允許上下文感知的上采樣，從而繞過了對點之間指定順序的需求。實驗證明了我們方法的有效性。作為第一次使用深度網(wǎng)絡(luò)的嘗試，該方法仍然有許多局限性。畢竟，它不是為填補而設(shè)計的，所以我們的網(wǎng)絡(luò)不能填補大的漏洞和缺失的部分。此外，本網(wǎng)絡(luò)可能無法為采樣嚴重不足的微小結(jié)構(gòu)添加有意義的點。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

▲長按關(guān)注「計算機視覺工坊」公眾號

以上二維碼為我們工坊的小號：計算機視覺工坊，主要發(fā)布2D、3D、VSLAM以及深度學(xué)習(xí)等方面的內(nèi)容，歡迎大家關(guān)注。本文也首發(fā)于「計算機視覺工坊」公眾號。

覺得有用，麻煩給個贊和在看~??