如何正確的入門三維重建?

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺”公眾號(hào)

視覺/圖像重磅干貨，第一時(shí)間送達(dá)

鏈接：https://www.zhihu.com/question/53565660

編輯：深度學(xué)習(xí)與計(jì)算機(jī)視覺

聲明：僅做學(xué)術(shù)分享，侵刪

三維重建思路其實(shí)非常簡單：

假設(shè)你有一個(gè)深度相機(jī)，你拿著相機(jī)掃一個(gè)靜態(tài)物體，相機(jī)每次可以給你點(diǎn)云和當(dāng)前幀與上一幀的相對位姿，那么你把所有點(diǎn)云全部轉(zhuǎn)換到同一個(gè)坐標(biāo)系下面，然后生成mesh……這就是三維重建了。

但是現(xiàn)實(shí)往往比較骨感(devil in the details)，三維重建的工作基本上就變成了以下幾個(gè)方面：

• 數(shù)據(jù)源方面
  • 深度相機(jī)沒法給你相對位姿或者位姿不準(zhǔn)？
  • 點(diǎn)云質(zhì)量和精度不夠？
  • 相機(jī)標(biāo)定也不準(zhǔn)？
  • 是2D相機(jī)的話，還得通過SLAM等措施來提供三維點(diǎn)（一言難盡）

• 點(diǎn)云配準(zhǔn)方面

  • ……

• Mesh生成處理方面

  • 要快還是要質(zhì)量高？
  • 去噪，補(bǔ)洞，平滑，簡化？
  • 等等

• 后期效果方面

  • 融合Color信息？
  • Model based refine ？
  • 等等

• 動(dòng)態(tài)場景方面

  • 動(dòng)態(tài)場景模型更新等問題

這上面任意一個(gè)小點(diǎn)都可以花上很多時(shí)間，對編碼能力要求也會(huì)比較高，對于初學(xué)者的建議是學(xué)習(xí)好多視幾何基礎(chǔ)，先利用仿真數(shù)據(jù)跑通上面說的主線流程，再結(jié)合具體的開源項(xiàng)目去理解算法，再結(jié)合實(shí)際傳感器和問題去改善或者提出新的算法，在這個(gè)過程中要善用一些可視化工具比如Meshlab, cloudcompare, matplotlib.pyplot等，可以節(jié)約大量時(shí)間。

1、如果需要對三維重建進(jìn)行深入研究并想有所創(chuàng)新的話，可以先補(bǔ)習(xí)一下基礎(chǔ)知識(shí)，推薦《由 2 維影像建立 3 維模型》這本書，知識(shí)點(diǎn)很全，感覺三維重建算法的改進(jìn)都是基于這些基礎(chǔ)知識(shí)的。建議有一定的計(jì)算機(jī)圖形學(xué)知識(shí)。

3、論文建議先熟悉三維重建流程?？梢韵瓤聪翶inectfusion、slam這種大而全的paper，不用看得太細(xì)，知道每步是要干嘛就可以，熟悉以后再精讀，然后你想對哪部分進(jìn)行改進(jìn)就再google相應(yīng)內(nèi)容好了。

—版權(quán)聲明—

僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請聯(lián)系微信號(hào):yiyang-sy 刪除或修改！