彩色點(diǎn)云在虛擬現(xiàn)實(shí)中的應(yīng)用

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺(jué)”公眾號(hào)

視覺(jué)/圖像重磅干貨，第一時(shí)間送達(dá)

得益于 3D 制圖技術(shù)的不斷進(jìn)步，獲取 3D 點(diǎn)云的效率從未如此之高。可以使用測(cè)量級(jí)系統(tǒng)（例如車載移動(dòng)激光掃描）和消費(fèi)類技術(shù)（例如移動(dòng)設(shè)備中的激光雷達(dá)傳感器）獲取彩色點(diǎn)云。同步定位和地圖繪制 (SLAM) 系統(tǒng)使 3D 地圖繪制在室內(nèi)和室外都可使用。

當(dāng)代的室內(nèi) SLAM 系統(tǒng)可以在幾何復(fù)雜的環(huán)境中以高效率運(yùn)行。除了激光掃描系統(tǒng)，攝影測(cè)量軟件的不斷發(fā)展不僅為市場(chǎng)帶來(lái)了更先進(jìn)的專業(yè)工具，而且還引入了更多友好的開源攝影測(cè)量3D重建軟件。這在使用無(wú)人駕駛飛行器（UAV 或“無(wú)人機(jī)”）進(jìn)行 3D 繪圖時(shí)尤為重要；畢竟，相機(jī)仍然是他們最重要的傳感器。如今，即使是消費(fèi)級(jí)迷你無(wú)人機(jī)也配備陀螺穩(wěn)定的高分辨率相機(jī)。

在消費(fèi)類技術(shù)中，深度相機(jī)以及激光雷達(dá)傳感器已集成到手持設(shè)備中，從而實(shí)現(xiàn)實(shí)時(shí) 3D 重建。它們還用于 3D 掃描儀和自主機(jī)器人設(shè)備。由于這些發(fā)展的結(jié)合，日常生活中遇到的大多數(shù)環(huán)境現(xiàn)在都可以在三維上進(jìn)行數(shù)字化。

因此，使用 3D 傳感技術(shù)的挑戰(zhàn)正在從數(shù)據(jù)獲取轉(zhuǎn)向數(shù)據(jù)利用。點(diǎn)云仍然是 3D 傳感中比較基礎(chǔ)的，因此它們是最具吸引力的數(shù)據(jù)類型，可以利用點(diǎn)云的解決方案與各種傳感技術(shù)兼容。最簡(jiǎn)單的應(yīng)用形式是點(diǎn)云的可視化。在臺(tái)式計(jì)算機(jī)和傳統(tǒng)顯示器上，這可以通過(guò)多種商用和開源軟件解決方案來(lái)執(zhí)行。同樣，基于瀏覽器的點(diǎn)云可視化由許多公開可用的 Javascript 庫(kù)和在線服務(wù)實(shí)現(xiàn)。

在過(guò)去十年中，使用頭戴式顯示設(shè)備 (HMD) 的虛擬現(xiàn)實(shí) (VR) 可視化已成熟為消費(fèi)技術(shù)。設(shè)備可從多個(gè)制造商處獲得，但發(fā)布應(yīng)用程序的商業(yè)生態(tài)系統(tǒng)正在圍繞幾個(gè)主要參與者進(jìn)行融合。出現(xiàn)了可以支持多種 VR 頭顯的開發(fā)工具和開放標(biāo)準(zhǔn)，例如 OpenXR，簡(jiǎn)化了應(yīng)用程序的開發(fā)。

為了構(gòu)建超越單純數(shù)據(jù)可視化的交互式 VR 應(yīng)用程序和體驗(yàn)，商業(yè)游戲引擎是事實(shí)上的標(biāo)準(zhǔn)環(huán)境。在這里，VR 社區(qū)受益于龐大的開發(fā)人員庫(kù)，這些開發(fā)人員可以將他們的游戲開發(fā)經(jīng)驗(yàn)和熱情轉(zhuǎn)移到商業(yè)游戲引擎中。對(duì)于游戲開發(fā)者來(lái)說(shuō)，

由于大多數(shù)用于 HMD 的 VR 應(yīng)用程序都是使用游戲引擎構(gòu)建的，因此這些游戲引擎能夠支持點(diǎn)云非常重要。點(diǎn)云已通過(guò)內(nèi)置功能或可用插件直接作為許多游戲引擎中的數(shù)據(jù)類型可用。

然而，VR 中的點(diǎn)云可視化由于對(duì)渲染的嚴(yán)格性能要求而變得更加復(fù)雜，尤其是對(duì)高幀率的要求。在通過(guò)普通顯示器研究的交互式可視化中，低幀率至多令人討厭。在 VR 中，降低的渲染速度會(huì)導(dǎo)致渲染圖像與人類感官系統(tǒng)之間的不匹配。這會(huì)導(dǎo)致用戶感到不適，并且在極端情況下會(huì)導(dǎo)致身體眩暈惡心。

VR 為探索點(diǎn)云提供了完整的六個(gè)自由度。

點(diǎn)云的 VR 可視化需要高效的系統(tǒng)來(lái)進(jìn)行空間索引、細(xì)節(jié)級(jí)別處理以及從渲染（剔除）中剔除不可見點(diǎn)。這些系統(tǒng)允許引擎確定虛擬攝像機(jī)實(shí)際看到的點(diǎn)云部分，并僅渲染具有足夠細(xì)節(jié)水平的部分。此外，渲染必須進(jìn)行操作，以便在從云的更遠(yuǎn)部分渲染時(shí)最終確定的點(diǎn)更少，處理最少。通過(guò)將空間索引與剔除和多級(jí)細(xì)節(jié)（由距離決定）相結(jié)合，并通過(guò)調(diào)整光柵化點(diǎn)的大小，可以將要渲染的點(diǎn)總數(shù)保持在限制范圍內(nèi)。

由于 VR 可視化本身也提供第一人稱視角，因此密度變化通常會(huì)產(chǎn)生潛在的透視效果和問(wèn)題，尤其是非結(jié)構(gòu)化的室內(nèi)點(diǎn)云。因此，必須實(shí)現(xiàn)動(dòng)態(tài)點(diǎn)大小調(diào)整。在游戲引擎中，這與用于實(shí)際繪制點(diǎn)的方法有關(guān)。最常見的是，點(diǎn)可以直接繪制為像素集，也可以通過(guò)幾何對(duì)象（例如正方形或圓形）繪制，幾何對(duì)象用于代替點(diǎn)并通過(guò)引擎的傳統(tǒng)三角形渲染管道進(jìn)行渲染。

虛擬環(huán)境和用戶之間豐富的交互通常是對(duì)游戲引擎可視化感興趣的關(guān)鍵驅(qū)動(dòng)因素。傳統(tǒng)的游戲引擎場(chǎng)景是由一組網(wǎng)格模型、攝像機(jī)、燈光、演員等構(gòu)建的。通過(guò)動(dòng)態(tài)腳本交互，這些將場(chǎng)景從靜態(tài)渲染轉(zhuǎn)變?yōu)榻换ナ江h(huán)境。為了盡量減少計(jì)算資源的使用，通常會(huì)組合虛擬場(chǎng)景，以便只有用戶可以與之交互的對(duì)象才會(huì)對(duì)模擬碰撞、重力和更復(fù)雜的照明模型做出響應(yīng)。簡(jiǎn)化的幾何圖形（例如原始形狀和凸包）用于模擬碰撞和檢測(cè)重疊。

如果點(diǎn)云的使用不僅僅是簡(jiǎn)單的可視化，還必須使點(diǎn)云與游戲引擎應(yīng)用程序中常用的功能兼容，例如實(shí)時(shí)照明、模擬碰撞和交互對(duì)象。在這里，照明主要是渲染問(wèn)題，與可視化系統(tǒng)相關(guān)。然而，實(shí)現(xiàn)單獨(dú)的對(duì)象也對(duì)點(diǎn)云本身提出了要求。

因此，將密集的點(diǎn)云轉(zhuǎn)變?yōu)橛杏玫挠螒蛞鎴?chǎng)景需要將點(diǎn)云分離為可交互的對(duì)象，并結(jié)合其簡(jiǎn)化版本以允許動(dòng)態(tài)模擬。同時(shí)，所使用的索引和渲染解決方案必須與在場(chǎng)景中移動(dòng)的對(duì)象兼容。

在研究文獻(xiàn)和軟件開發(fā)中，已經(jīng)提出了許多解決方案，用于將源自 3D 映射的密集點(diǎn)云轉(zhuǎn)變?yōu)橛杏玫挠螒蛞鎴?chǎng)景。許多類似游戲的屬性，例如可交互對(duì)象和動(dòng)態(tài)照明，已經(jīng)通過(guò)點(diǎn)云實(shí)現(xiàn)。

然而，一些專題研究問(wèn)題仍然存在。對(duì)于要在游戲引擎中應(yīng)用的點(diǎn)云，將點(diǎn)分類為簡(jiǎn)單的對(duì)象類型（例如建筑物或植被）是不夠的。生成交互式游戲引擎場(chǎng)景需要更精細(xì)的、面向?qū)ο蟮姆指詈驼Z(yǔ)義理解。關(guān)于點(diǎn)云中對(duì)象的分類和分割，仍然需要更多的研究和更復(fù)雜的解決方案。

在現(xiàn)有的研究中，對(duì)使用不同 3D 映射技術(shù)獲得的點(diǎn)云質(zhì)量的大部分評(píng)估主要集中在其幾何精度上。然而，作為 3D 傳感的一部分，VR 應(yīng)用還需要足夠好的點(diǎn)著色才能實(shí)現(xiàn)。這強(qiáng)調(diào)點(diǎn)云的輻射質(zhì)量，因?yàn)檫@在它們的可視化中起著重要作用。

從計(jì)算的角度來(lái)看，紋理網(wǎng)格模型是目前在游戲引擎可視化中表示幾何的最有效方式。然而，點(diǎn)云的使用具有許多潛在的好處，例如簡(jiǎn)化了來(lái)自不同地圖系統(tǒng)的數(shù)據(jù)集成以及提高了數(shù)字化現(xiàn)實(shí)生活環(huán)境的效率。

此外，VR 提供了一種自然的方式來(lái)探索具有完整六個(gè)自由度的幾何復(fù)雜數(shù)據(jù)集，沉浸式導(dǎo)航它們甚至可能與點(diǎn)進(jìn)行交互。因此，點(diǎn)云的 VR 可視化實(shí)驗(yàn)仍然是地理信息學(xué)社區(qū)的熱門話題。

—版權(quán)聲明—

僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請(qǐng)聯(lián)系微信號(hào):yiyang-sy 刪除或修改！