打敗一切NeRF!3D高斯論文大盤點(diǎn)
幾個(gè)月內(nèi)超越NeRF的3D Gaussian Spaltting成為計(jì)算機(jī)視覺(jué)的大熱方向，而現(xiàn)在有個(gè)新的開創(chuàng)性研究，在VR里實(shí)時(shí)控制3D高斯?jié)姙R生成的物體，距離真正實(shí)現(xiàn)又前進(jìn)了一大步。
為了讓大家跟上AI日新月異的發(fā)展腳步， 我盤點(diǎn)了最新的3D高斯論文+綜述【附PDF】 ，希望對(duì)大家的學(xué)習(xí)有所幫助。
加課程回復(fù)“3D高斯”
領(lǐng)取論文合集
深入探討了3D GS背后的基本原理和驅(qū)動(dòng)力
簡(jiǎn)述：對(duì)3D GS技術(shù)的最新進(jìn)展和關(guān)鍵貢獻(xiàn)進(jìn)行了系統(tǒng)的概述。文中深入探討了3D GS背后的基本原理和驅(qū)動(dòng)力，以幫助讀者更好地理解這一技術(shù)的重要性。文章聚焦于3D GS在實(shí)際應(yīng)用中的可行性，包括其在實(shí)時(shí)性能方面的優(yōu)勢(shì)。
用于實(shí)時(shí)輻射場(chǎng)渲染的3D高斯濺射
SIGGRAPH 2023 best paper，3D高斯開山作
簡(jiǎn)述：目前合成技術(shù)的方法，要么需要昂貴的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和渲染，要么犧牲速度以換取質(zhì)量。作者提出了三個(gè)關(guān)鍵元素來(lái)實(shí)現(xiàn)高質(zhì)量的實(shí)時(shí)渲染：使用3D高斯表示場(chǎng)景，優(yōu)化各向異性協(xié)方差以準(zhǔn)確表示場(chǎng)景，并開發(fā)快速的可見(jiàn)性感知渲染算法。
0 3 Segment Any 3D Gaussians
分割一切「3D高斯」版
簡(jiǎn)述： 論文介紹了一種新的3D交互式分割方法——Segment Any 3D GAussians（SAGA），它無(wú)縫融合了基于2D分割的基礎(chǔ)模型和最近在輻射場(chǎng)中取得突破的3D高斯散射（3DGS）。SAGA通過(guò)精心設(shè)計(jì)的對(duì)比訓(xùn)練將基礎(chǔ)模型生成的多粒度2D分割結(jié)果高效地嵌入到3D高斯點(diǎn)特征中。并且相對(duì)于先前的SOTA實(shí)現(xiàn)了近1000倍的加速。
無(wú)別名的3D高斯濺射
簡(jiǎn)述：3D高斯散射在新的視圖合成方面達(dá)到了高保真度和高效率。然而，當(dāng)改變采樣率時(shí)會(huì)出現(xiàn)明顯的偽影。作者發(fā)現(xiàn)這種現(xiàn)象的主要原因是缺乏3D頻率約束和使用2D膨脹濾波器。為了解決這個(gè)問(wèn)題，作者引入了一個(gè)3D平滑濾波器，根據(jù)輸入視圖引起的最大采樣頻率來(lái)限制3D高斯原語(yǔ)的大小，從而消除縮放時(shí)的高頻偽影。
超快速單視圖3D重建
簡(jiǎn)述：論文介紹了Splatter Image，一種超快速的單視圖3D重建方法，運(yùn)行速度為38 FPS。該方法基于高斯濺射，將輸入圖像映射為每個(gè)像素的一個(gè)3D高斯，生成的圖像稱為Splatter Image。該方法使用2D圖像到圖像網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，并在測(cè)試時(shí)只需要前向評(píng)估神經(jīng)網(wǎng)絡(luò)即可進(jìn)行重建。
用于生成動(dòng)力學(xué)的物理集成3D高斯分布
簡(jiǎn)述：論文介紹了PhysGaussian，一種將基于物理的牛頓動(dòng)力學(xué)無(wú)縫集成到3D高斯分布中的方法，以實(shí)現(xiàn)高質(zhì)量的新運(yùn)動(dòng)合成。該方法使用自定義的物質(zhì)點(diǎn)方法（MPM），通過(guò)連續(xù)力學(xué)原理對(duì)3D高斯核進(jìn)行豐富的物理有意義的運(yùn)動(dòng)變形和機(jī)械應(yīng)力屬性。
因篇幅限制，僅展示前6篇論文介紹，領(lǐng)取全部論文合集+代碼：
掃碼回復(fù)“3D高斯”
領(lǐng)取論文合集
另外我還邀請(qǐng)了 頂會(huì)審稿人 Simon老師開了一場(chǎng)Gaussian·Splatting的前沿直播課 ，時(shí)間是2月28日晚20：00點(diǎn)，直播主題是 《 NeRE 和 Gaussian·Splatting在三維計(jì)算機(jī)視覺(jué)中的應(yīng)用》 。
直播課內(nèi)容：
一.傳統(tǒng)的三維表達(dá)方法的簡(jiǎn)要回顧
-
點(diǎn)云、體素、表面網(wǎng)格的概念
-
傳統(tǒng)表示方法的局限性，以及引入新式表達(dá)方法的動(dòng)機(jī)與準(zhǔn)則
二.當(dāng)前的主流三維表達(dá)方法
-
符號(hào)距離函數(shù)
-
輻射神經(jīng)場(chǎng)
-
三維高斯?jié)姙R
-
發(fā)展脈絡(luò)總結(jié)和預(yù)測(cè)
三.應(yīng)用工作和未來(lái)的研究點(diǎn)
-
機(jī)器人導(dǎo)航:與 SLAM 等問(wèn)題的結(jié)合
-
數(shù)字人建模:與動(dòng)態(tài)場(chǎng)景/物體表達(dá)的結(jié)合
-
場(chǎng)景理解:與大語(yǔ)言模型(視覺(jué)語(yǔ)言模型)的結(jié)合
0.01元 預(yù)約2月28日直播課
加課程進(jìn)交流群學(xué)習(xí)交流最新技術(shù)