上汽零束 | NeRO: 基于隱式神經(jīng)網(wǎng)絡(luò)的道路重建
共 2118字，需瀏覽 5分鐘
·
2024-06-20 07:00
點擊下方卡片，關(guān)注「3D視覺工坊」公眾號
選擇星標，干貨第一時間送達
本次分享我們邀請到了上汽零束公司智能云平臺算法工程師王瑞博，為大家詳細介紹他們的工作：NeRO.如果您有相關(guān)工作需要分享，歡迎文末聯(lián)系我們
NeRO: Neural Road Surface Reconstruction
代碼：https://github.com/ToeleoT/NeRO
論文：https://arxiv.org/pdf/2405.10554
直播信息
時間
2024年6月20日(周四)晚上20：00
主題
上汽零束|NeRO: 基于隱式神經(jīng)網(wǎng)絡(luò)的道路重建
直播平臺
3D視覺工坊嗶哩嗶哩
掃碼觀看直播，或前往B站搜索3D視覺工坊觀看直播
3DCV視頻號也將同步直播
嘉賓介紹
王瑞博
上汽零束公司智能云平臺算法工程師。工作方向為神經(jīng)渲染及大模型相關(guān)工作。
直播大綱
-
道路重建現(xiàn)有方法簡介 -
NeRO論文詳解
參與方式
摘要
在2021年的Tesla AI day上，Tesla介紹了一種隱式道路重建方法。
在后續(xù)工作中，RoME和EMIE-MAP等方法使用顯式和隱式結(jié)合的方法來進行道路重建。我們提出了NeRO，一種隱式神經(jīng)道路重建方法，我們的方法可能與特斯拉的方法最為接近。我們介紹了一種基于位置編碼多層感知機（MLPs）的道路表面重建方法，用以表示道路表面，輸入為世界坐標x和y，輸出為高度、顏色和語義信息。我們已經(jīng)驗證了我們的架構(gòu)在不同輸入源下的道路高度重建性能，例如車輛攝像頭姿態(tài)、SFM點云和激光雷達點云。我們還測試了它重建坡度的能力（使用方波作為替代）以及它補全稀疏點云輸入或不完整路面信息的能力。此外，我們驗證了我們架構(gòu)對語義噪聲的魯棒性。實驗表明，通過聚合多幀、多視角的語義信息，可以在一定程度上優(yōu)化單幀圖像中的語義噪聲，這有助于提高4D道路表面標記的準確性。
方法
NeRO將世界坐標系統(tǒng)中的x和y坐標，X = (x, y)，作為輸入。在進入網(wǎng)絡(luò)層之前，我們的輸入X被規(guī)范化到[-1,1]之間，以便于編碼方法的計算。我們將規(guī)范化后的輸入X′送入位置編碼函數(shù)，我們使用postional encoding或mutiresolution hash encoding的方法進行編碼，然后從位置編碼方法得到的輸出由三個不同的多層感知機（MLPs）處理，分別輸出道路表面高度z，顏色輸出c = (r, g, b)和語義輸出s。
我們分別對高度，顏色和語義進行重建。
1.在高度重建中我們使用來自三個來源的地面真實高度：車輛攝像頭姿態(tài)、激光雷達點云和SfM點云。在車輛攝像頭姿態(tài)中，假設(shè)相應(yīng)姿態(tài)附近的地面是平坦的，每個姿態(tài)將采樣一定區(qū)域內(nèi)的長度*寬度的點，以形成偽點云。編碼方法中的不同表示將影響高度值的結(jié)果。
2.在顏色重建中，我們?yōu)槊總€姿態(tài)采樣數(shù)百萬個二維世界坐標作為網(wǎng)絡(luò)輸入X=(x, y)。然后，我們使用這些坐標通過完整學習的高度網(wǎng)絡(luò)和顏色網(wǎng)絡(luò)分別獲得高度z和顏色
。之后，我們將道路表面高度z與X=(x,y)結(jié)合，以獲得三維世界坐標W=(x,y,z)，然后通過攝像頭的外部和內(nèi)部參數(shù)將它們投影到像素坐標系統(tǒng)(u,v)，以獲取相應(yīng)的真實像素顏色c′來優(yōu)化網(wǎng)絡(luò)輸出顏色c。
3.在語義重建中我們從編碼方法中得到的網(wǎng)絡(luò)語義輸出s用于為網(wǎng)絡(luò)輸入X=(x,y)渲染語義信息，該輸入使用與顏色重建相同的方法來獲取真實語義s′。最終結(jié)果如下圖所示：
實驗
NeRO首先測試了在不平整和有缺口的數(shù)據(jù)集中的效果：
我們使用KITTI-odometry sequence 00數(shù)據(jù)集來驗證我們的結(jié)果在不同數(shù)據(jù)來源的結(jié)果，使用了PSNR指標顯示重建性能，使用mIoU表示語義能力。
下面表明我們方法在稀疏標簽的情況下的效果
下面是去噪方面的能力
數(shù)據(jù)
相關(guān)KITTI-odometry數(shù)據(jù)來源自https://www.cvlibs.net/datasets/kitti/eval_odometry.php
語義數(shù)據(jù)由Mask2Frormer with Swin-L生成
SfMs數(shù)據(jù)由colmap生成
注：本次分享我們邀請到了上汽零束公司智能云平臺算法工程師王瑞博，為大家詳細介紹他們的工作：NeRO.如果您有相關(guān)工作需要分享，歡迎聯(lián)系：cv3d008