Facebook最新AR/VR專利希望解決用戶視角突然變化導(dǎo)致的渲染延遲

查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

當(dāng)出現(xiàn)頭部運(yùn)動(dòng)時(shí)，系統(tǒng)需要快速修改場(chǎng)景的視圖

（映維網(wǎng) 2021年04月02日）困擾著AR/VR/MR技術(shù)的一個(gè)問(wèn)題是，用戶視角的突然變化會(huì)導(dǎo)致數(shù)字對(duì)象的渲染出現(xiàn)延遲。每次頭部移動(dòng)都可能會(huì)稍微改變用戶對(duì)場(chǎng)景的視角。頭部運(yùn)動(dòng)的幅度可能很小，但零星分散，難以預(yù)測(cè)。對(duì)于這種情況，系統(tǒng)需要快速修改場(chǎng)景的視圖。否則，產(chǎn)生的延遲可能會(huì)導(dǎo)致不適的用戶體驗(yàn)。

重新渲染整個(gè)視圖以說(shuō)明視角變化可能是一種資源密集型計(jì)算，并且可能只是以相對(duì)低的幀速率（如60hz）實(shí)現(xiàn)。

一種解決方案涉及生成和處理表示場(chǎng)景中對(duì)象的“Surface曲面”。在特定實(shí)施例中，圖形應(yīng)用可以構(gòu)建Scene Graph場(chǎng)景圖，并與給定的視圖位置和時(shí)間點(diǎn)一起使用，以生成要由GPU渲染的原語(yǔ)。Scene Graph可以定義場(chǎng)景對(duì)象之間的邏輯和/或空間關(guān)系。在特定實(shí)施例中，Warp引擎可以生成和存儲(chǔ)完整應(yīng)用Scene Graph的簡(jiǎn)化形式。簡(jiǎn)化Scene Graph可用于指定Surface曲面之間的邏輯和/或空間關(guān)系。存儲(chǔ)Scene Graph允許Warp引擎將場(chǎng)景渲染到多個(gè)顯示幀，調(diào)整當(dāng)前視點(diǎn)的每個(gè)元素（如頭部位置）、當(dāng)前對(duì)象位置（如它們可能會(huì)相對(duì)移動(dòng)）等等。

另外，基于Scene Graph，Warp引擎可以調(diào)整顯示子系統(tǒng)帶來(lái)的幾何與顏色失真，然后再將對(duì)象合成在一起以生成幀。存儲(chǔ)Scene Graph允許Warp引擎以所需的高幀速率近似執(zhí)行完整渲染的結(jié)果，同時(shí)實(shí)際以顯著更低的速率運(yùn)行GPU。

一個(gè)Surface曲面可以對(duì)應(yīng)于一個(gè)或多個(gè)對(duì)象。由于視角透視變化，對(duì)象作為一個(gè)單元會(huì)一起移動(dòng)/平移、傾斜、縮放、扭曲或以其他方式出現(xiàn)變化。計(jì)算系統(tǒng)不必重新渲染整個(gè)視圖，只需從改變的視角透視中對(duì)Surface曲面重新采樣，就可以近似地得到相應(yīng)的外觀。

這種方法可能是一種有效的快捷方式，并且可以顯著減少所需的處理，以確保視圖能夠足夠快地更新，從而減少延遲。與重新渲染整個(gè)視圖不同，重新采樣曲面可能足夠有效，允許頭顯的計(jì)算系統(tǒng)在相對(duì)有限的處理能力內(nèi)和時(shí)間內(nèi)修改視圖。

在名為“Generating and modifying representations of objects in an augmented-reality or virtual-reality scene”的專利申請(qǐng)中，F(xiàn)acebook正是描述了這樣一種系統(tǒng)，并可用于包含第一計(jì)算系統(tǒng)和第二計(jì)算系統(tǒng)的虛擬現(xiàn)實(shí)系統(tǒng)。其中，第一計(jì)算系統(tǒng)可以是筆記本電腦，智能手機(jī)，PC；第二計(jì)算系統(tǒng)可以是頭戴式顯示單元的機(jī)載計(jì)算系統(tǒng)。

在一個(gè)實(shí)施例中，場(chǎng)景的視圖最初可以由第一計(jì)算系統(tǒng)以相對(duì)低的幀速率（例如60hz）渲染。渲染結(jié)果可用于由第一計(jì)算系統(tǒng)或第二計(jì)算系統(tǒng)生成用于AR/VR場(chǎng)景的一個(gè)或多個(gè)Surface曲面（例如16個(gè)Surface曲面）。除了顏色和透明度信息之外，Surface曲面同時(shí)可以包括關(guān)于場(chǎng)景中的位置和方向信息。

光線投射器利用位置和方向信息來(lái)確定應(yīng)如何基于用戶的當(dāng)前位置和視角向用戶顯示Surface曲面。隨后，Surface曲面可由第二計(jì)算系統(tǒng)的Warp引擎處理。頭顯可以基于與Surface曲面相關(guān)聯(lián)的信息，以及頭顯用戶的當(dāng)前視角透視（由頭西安的位置和方向確定）來(lái)渲染與Surface曲面相對(duì)應(yīng)的對(duì)象。視角透視中的任何變化可由頭顯的傳感器追蹤，并由頭顯從調(diào)整視點(diǎn)對(duì)視圖中的Surface曲面重新采樣來(lái)說(shuō)明。

由于視點(diǎn)的調(diào)整，曲面在重新采樣時(shí)可能會(huì)發(fā)生平移/移動(dòng)、傾斜、縮放、扭曲。由于場(chǎng)景不是從零開始重新渲染，而是僅僅調(diào)整Surface曲面，所以可以相對(duì)快速地修改場(chǎng)景（如200 Hz以下）。

在特定實(shí)施例中，當(dāng)與第二計(jì)算系統(tǒng)相比時(shí)，第一計(jì)算系統(tǒng)可以相對(duì)強(qiáng)大。對(duì)于這種方式，由于第二計(jì)算系統(tǒng)可以具有有限的系統(tǒng)資源，所以不會(huì)導(dǎo)致過(guò)多的重量、尺寸和/或熱量。

在一個(gè)實(shí)施例中，Surface曲面可以由空間中的平面四邊形表示，或可以由Heightmap高度圖表示，以提供關(guān)于由Surface曲面表示的對(duì)象輪廓信息。

高度圖可以從虛擬camera的視點(diǎn)生成，并作為具有拓?fù)?高度信息的Surface曲面。當(dāng)Surface曲面在用戶的視圖中描繪物理對(duì)象的虛擬表示時(shí)，虛擬對(duì)象的輪廓或高度信息可以由使用物理對(duì)象的深度傳感器或立體計(jì)算獲得的深度信息來(lái)定義。或者，當(dāng)渲染虛擬對(duì)象時(shí)，可以基于虛擬對(duì)象的已知3D數(shù)據(jù)來(lái)定義輪廓。

在渲染期間，可以使用高度圖解決Surface曲面的可見(jiàn)性問(wèn)題，因?yàn)閺囊朁c(diǎn)投射到場(chǎng)景中的光線與曲面的高度圖相交。這樣使用高度圖有幾個(gè)優(yōu)點(diǎn)。例如，具有高度信息的Surface曲面允許更精確的視角透視調(diào)整和真實(shí)的子幀渲染。另外，高度圖是一種簡(jiǎn)單而自然的數(shù)據(jù)結(jié)構(gòu)，因?yàn)樯疃葓D已經(jīng)是三維渲染的副產(chǎn)品，所以可以用來(lái)生成高度圖。另外，由于相關(guān)計(jì)算可在AR/VR系統(tǒng)本地發(fā)生，所以實(shí)現(xiàn)高度圖所需的數(shù)據(jù)移動(dòng)量較低。這可以允許以更高的幀速率渲染場(chǎng)景。

使用高度圖的另一個(gè)優(yōu)勢(shì)是，允許將外部攝像頭捕捉到的信息正確地重新投影給用戶。例如，在特定應(yīng)用中，由攝像頭捕獲的信息將與用戶的眼睛捕獲的信息不一致，這是因?yàn)閿z像頭不能在空間上與用戶的眼睛重合。高度圖可用于將由攝像頭捕獲的信息正確地重新投影給用戶。例如，VR/AR頭顯可以具有兩個(gè)具有重疊視場(chǎng)的外向攝像頭。當(dāng)攝像頭在物理環(huán)境中觀察到一個(gè)共同的特征時(shí)，VR/AR系統(tǒng)可以使用三角測(cè)量技術(shù)來(lái)計(jì)算特征的深度。根據(jù)特征相對(duì)于攝像頭的計(jì)算深度，VR/AR系統(tǒng)可以確定特征在3D空間中的位置。這種測(cè)量的深度信息可用于生成表示具有所觀察特征的對(duì)象的Surface表面的高度圖。當(dāng)系統(tǒng)渲染場(chǎng)景以供顯示時(shí)，系統(tǒng)可以從用戶眼睛的角度執(zhí)行可見(jiàn)性測(cè)試。例如，系統(tǒng)可以通過(guò)顯示屏幕的表示的像素，從與用戶的每只眼睛相對(duì)應(yīng)的視點(diǎn)向3D空間投射光線。如果光線與具有高度貼的Surface曲面相交，則可以基于相交點(diǎn)和與Surface曲面相關(guān)聯(lián)的紋理來(lái)確定光線投射通過(guò)的相應(yīng)像素的顏色。以這種方式，顯示給用戶的渲染場(chǎng)景將從用戶眼睛的視角透視而不是從攝像頭的視角透視來(lái)計(jì)算。

相關(guān)專利：

Generating and modifying representations of objects in an augmented-reality or virtual-reality scene

https://patent.nweon.com/18269

名為“Generating and modifying representations of objects in an augmented-reality or virtual-reality scene”的Facebook專利申請(qǐng)最初在2019年9月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/84371