3D渲染史詩級級增強！ICCV2021華人作者提出RtS，渲染速度提升128倍

在三維計算機圖形學(xué)中，多邊形造型是用多邊形表示或者近似表示物體曲面的物體造型方法。多邊形造型非常適合于掃描線渲染，因此實時計算機圖形處理中的一項可以使用的方法。其它表示三維物體的方法有 NURBS 曲面、細(xì)分曲面以及光線跟蹤中所用的基于方程的表示方法。

?

但計算渲染表面的底層場景參數(shù)仍然是一個涉及圖形、視覺和機器學(xué)習(xí)的難題。

?

在許多行業(yè)中，三角形網(wǎng)格是主要的形狀表示形式，但基于網(wǎng)格的導(dǎo)數(shù)在某些情況下或在更改拓?fù)鋾r未定義，因此，體積表示法（volumetric representation）在計算機視覺應(yīng)用中日益突出，尤其是神經(jīng)輻射場（Neural Radiance Fields, NeRF）。

?

?

到目前為止，這些體積形狀表示已使用體積渲染（volume rendering）進(jìn)行渲染，但這種方法的渲染成本高昂，如果底層形狀可以由曲面很好地表示，則體積渲染則是不必要的。

?

針對這個問題，Google Research 和 MIT 的研究人員提出了一種方法來渲染顯式（如網(wǎng)格 mesh ）和隱式（如等值面 isosurface）表示，能夠在邊界處生成精確、平滑的導(dǎo)數(shù)。

?

這種方法使用不可微分光柵化步驟對曲面進(jìn)行采樣并解決遮擋，然后使用深度感知、可微分的噴濺（splatting）操作對樣本進(jìn)行噴濺。由于采樣操作不需要微分，任何傳統(tǒng)的表面提取和光柵化方法（如Marching Cubes）都可以使用。

?

?

與遮擋邊界處的曲面相比，splats 可以提供平滑的圖像導(dǎo)數(shù)。噴濺是在固定大小的像素網(wǎng)格上執(zhí)行的，并且很容易使用自動微分來表示，不需要自定義梯度，因此能夠支持正向和反向模式微分。

?

文中把提出的方法稱為Rasterize-then-splat（RtS）。

?

文章的作者是Zhoutong Zhang，他的個人主頁顯示他目前是MIT CSAIL 的博士生，導(dǎo)師是William T. Freeman，主要研究領(lǐng)域是理解和設(shè)計視覺和聽覺感知問題的計算模塊。在清華大學(xué)獲得電子工程學(xué)士學(xué)位。

?

?

表面樣本可以通過使用延遲著色的光柵化圖像緩沖區(qū)（而非原始表面）上評估的任何可微函數(shù)在光柵化和飛濺步驟之間著色。由于著色和飛濺計算的復(fù)雜性受像素數(shù)量的限制，而不是曲面的復(fù)雜性，因此RtS能夠擴展到特別復(fù)雜的場景。

?

可微著色函數(shù)的一個例子是神經(jīng)輻射場NeRF網(wǎng)絡(luò)：給定空間中的位置和觀察方向，它輸出相應(yīng)的輻射。當(dāng)使用體渲染對NeRF進(jìn)行訓(xùn)練時，提出的方法可以將預(yù)訓(xùn)練的NeRF轉(zhuǎn)換為表面光場，而無需成本較高的光線推進(jìn)（raymarching）。

?

Rts 主要分為三個部分，其中所有導(dǎo)數(shù)都使用自動微分生成，因此實現(xiàn)者只需編寫正向渲染計算即可：

?

?

1、表面的光柵化Resterization via Non-Differentiable Sampling

光柵化可以表示為一個函數(shù)，該函數(shù)采用場景參數(shù)θ（包含幾何屬性，如位置、法線或紋理坐標(biāo)）以及相機參數(shù)，并生成屏幕空間幾何緩沖區(qū)（G-buffers），緩沖區(qū)包含距離攝影機最近的K個光線交點處的插值屬性。

?

為了使這個過程既可微又有效，研究人員將光柵化分為兩個階段：采樣函數(shù)生成不可微曲面參數(shù)，以及求值函產(chǎn)生緩沖區(qū)的，并且參數(shù)隨表面類型而變化。

?

?

給定曲面參數(shù)的曲面屬性評估通常是一種簡單的插值操作，因此可以在自動微分框架中輕松表示。困難且計算密集的操作是采樣函數(shù)，該函數(shù)用于查找曲面與攝影機光線之間的相互作用。

?

2、Shading the surface samples

G-buffers 包含各種表面屬性，而這些屬性取決于所需的shading，任何著色函數(shù)都可以表示為一個deferred shading操作。

?

?

對于紋理映射網(wǎng)格，G-buffers 中的每個像素包含3D位置、3D曲面法線和2D紋理坐標(biāo)。對于參數(shù)化曲面渲染和使用NeRF著色器的隱式曲面渲染，G-buffers 僅包含3D世界空間位置。著色步驟的輸出是一組RGBA緩沖區(qū)。

?

3、多層噴濺Depth-Aware Splatting

著色顏色具有與曲面屬性相關(guān)的導(dǎo)數(shù)，但由于它們是使用點采樣生成的，因此它們在遮擋邊界沒有導(dǎo)數(shù)。為了在遮擋處生成平滑導(dǎo)數(shù)，splatting函數(shù)將每個光柵化曲面點轉(zhuǎn)換為splat，以相應(yīng)像素為中心，并用相應(yīng)著色顏色著色。

?

為了處理遮擋邊界處的splat重疊，研究人員引入了基于深度的splat多層累積策略，該策略為遮擋和不遮擋提供了更高的精度。

?

盡管splat始終以像素為中心，但必須使用曲面定義計算splat的位置，以便導(dǎo)數(shù)從圖像流回到曲面。splat位置由附加的G緩沖區(qū)定義，其中包含每個表面樣本的屏幕空間xyz位置。Pk可以通過渲染來計算，然后在每個像素處應(yīng)用攝影機視圖和投影變換。

?

?

研究人員將表面表示為從預(yù)訓(xùn)練NeRF中提取的密度場的等值面，使用NeRF顏色預(yù)測分支對其進(jìn)行著色，并聯(lián)合微調(diào)NeRF網(wǎng)絡(luò)和密度場。得到的優(yōu)化表面和表面光場在渲染質(zhì)量上與原始NeRF網(wǎng)絡(luò)相差不多（在0.3 PSNR范圍內(nèi)），但每像素只需要一次網(wǎng)絡(luò)評估，從而達(dá)到128倍的加速效果。

?

研究人員還進(jìn)一步證明RtS能夠為網(wǎng)格和參數(shù)化曲面的反向渲染提供了高質(zhì)量的衍生工具，并且實現(xiàn)的方法也相對更簡單。