卡內(nèi)基梅隆大學(xué) | DarkGS: 移動(dòng)光源3DGS!從泰坦尼克號(hào)這一幕說起

點(diǎn)擊下方卡片，關(guān)注「3D視覺工坊」公眾號(hào)
選擇星標(biāo)，干貨第一時(shí)間送達(dá)

本次分享我們邀請(qǐng)到了卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)學(xué)院在讀博士Tianyi Zhang，為大家詳細(xì)介紹他們的工作：DarkGS.如果您有相關(guān)工作需要分享，歡迎文末聯(lián)系我們

DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploration in the Dark
DarkGS代碼：https://github.com/tyz1030/darkgs
光源標(biāo)定軟件代碼：https://github.com/tyz1030/neuralight

直播信息

時(shí)間

2024年6月25日(周二)晚上20：00

主題

DarkGS: 移動(dòng)光源3DGS！從泰坦尼克號(hào)這一幕說起

直播平臺(tái)

3D視覺工坊嗶哩嗶哩

掃碼觀看直播，或前往B站搜索3D視覺工坊觀看直播

3DCV視頻號(hào)也將同步直播

嘉賓介紹

Tianyi Zhang

卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)學(xué)院在讀博士。研究方向?yàn)楣鈱W(xué)感知與三維重建在機(jī)器人上的應(yīng)用。

直播大綱

1. 3D Gaussian Splatting與相關(guān)背景
2. DarkGS論文解讀
3. 代碼講解
4. 未來方向展望與討論

參與方式

Demo

背景&摘要

搭載有相機(jī)和光源的移動(dòng)機(jī)器人平臺(tái)常被用于探索黑暗中的未知環(huán)境，例如深海探索、地下建圖、應(yīng)急搶險(xiǎn)與夜間巡檢等等。在機(jī)器人移動(dòng)的過程中，相機(jī)視角與光源也隨之整體移動(dòng)，這會(huì)在建圖過程中導(dǎo)致場(chǎng)景中的亮度發(fā)生變化。傳統(tǒng)的基于特征點(diǎn)的SLAM和SfM框架可以通過選用對(duì)亮度變化魯棒的視覺特征點(diǎn)來避免受到移動(dòng)光源的影響。同時(shí)，基于重投影誤差和光束平差法的傳統(tǒng)優(yōu)化方法具有不受亮度影響的先天優(yōu)勢(shì)。但是我們能否進(jìn)一步將NeRF/3DGS應(yīng)用于這類應(yīng)用場(chǎng)景？

在DarkGS出現(xiàn)之前，答案是否定的。NeRF和3DGS的損失函數(shù)都基于光度損失（Photometric Loss），在光源移動(dòng)的情況下會(huì)受顯著影響。學(xué)術(shù)界已有的方法都基于輻射（Radiance）假設(shè)，既場(chǎng)景亮度不隨相機(jī)移動(dòng)而改變；或假設(shè)環(huán)境光不隨相機(jī)移動(dòng)而改變。這些假設(shè)在以上探討的機(jī)器人案例中都會(huì)失效。

人類大腦在構(gòu)建地圖記憶時(shí)，可以通過持續(xù)移動(dòng)的局部照明恢復(fù)出全局外觀。我們堅(jiān)信在3DGS的框架下，算法也能夠做到這一點(diǎn)。類比多模態(tài)多傳感器的內(nèi)外參標(biāo)定（相機(jī)，慣導(dǎo)，激光雷達(dá)等），我們首先開發(fā)了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的移動(dòng)光源模擬器（Neural Light Simulator），用于建模和標(biāo)定相機(jī)-光源系統(tǒng)。在此基礎(chǔ)上，我們應(yīng)用了基于反射場(chǎng)的Gaussian Splatting方法，實(shí)現(xiàn)了移動(dòng)光源照明下的場(chǎng)景重建與重照明。我們稱之為，DarkGS。

相機(jī)-光源標(biāo)定

類似于相機(jī)慣導(dǎo)等傳感器的標(biāo)定，我們也用AprilTag制作了一塊標(biāo)定板：白墻上畫一個(gè)矩形，四個(gè)角貼四個(gè)tag，中間留白。假設(shè)墻面1）反射率均勻，2）只有漫反射，3）是一個(gè)平面。采集數(shù)據(jù)是通過定位四個(gè)角的tag，解PnP可以獲得墻面的位置和法向量。如果有光源的位姿，亮度分布函數(shù)，亮度衰減函數(shù)，環(huán)境光強(qiáng)度和相機(jī)參數(shù)，就可以渲染出光照下的標(biāo)定墻。反之，通過光度誤差，可以以反向傳播的方式優(yōu)化以上所有和光源相關(guān)的參數(shù)。

高斯模型

完成相機(jī)-光源標(biāo)定之后，我們就可以采集黑暗環(huán)境中的圖片，構(gòu)建DarkGS。我們對(duì)每個(gè)高斯的反射性質(zhì)進(jìn)行建模，優(yōu)化每一個(gè)高斯的反射率和法向量。從而能夠在光源移動(dòng)的情況下，構(gòu)建出一致的三維高斯模型。

實(shí)驗(yàn)

注：本次分享我們邀請(qǐng)到了卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)學(xué)院在讀博士Tianyi Zhang，為大家詳細(xì)介紹他們的工作：DarkGS.如果您有相關(guān)工作需要分享，歡迎聯(lián)系：cv3d008