基于深度學(xué)習(xí)的單視圖三維重建算法學(xué)習(xí)路線

一 基礎(chǔ)知識(shí)

1.英語(yǔ)：下面給出的論文是全英文，可以培養(yǎng)閱讀能力，建議少用翻譯軟件。

2.高等數(shù)學(xué)：非常重要，例如梯度下降公式涉及求導(dǎo)。

3.線性代數(shù)：非常重要，例如圖像就是以矩陣的形式表示。

4.算法分析與設(shè)計(jì)：要有基本的算法思想，例如怎么減少時(shí)間復(fù)雜度和空間復(fù)雜度。

5.Python：這個(gè)不用說，基礎(chǔ)的語(yǔ)法要會(huì)。推薦小甲魚的python視頻，B站搜：小甲魚，P54之后的可以不用看。書籍推薦《Python編程 從入門到實(shí)踐》。

6.Pytorch：大部分三維重建算法都是利用pytorch實(shí)現(xiàn)，推薦莫煩的pytorch，B站搜：莫煩python。書籍推薦《深度學(xué)習(xí)框架PyTorch：入門與實(shí)踐》。

二 進(jìn)階知識(shí)

1.Linux基本操作：大部分代碼涉及到編譯的過程，需要在Linux系統(tǒng)上面運(yùn)行。同時(shí)這類算法的網(wǎng)絡(luò)結(jié)構(gòu)都比較大，代碼基本上都是在服務(wù)器上面跑，需要了解如何使用服務(wù)器。書籍推薦《鳥哥的Linux私房菜》。

2.計(jì)算機(jī)圖形學(xué)：主要是渲染相關(guān)知識(shí)，如何從三維模型得到二維圖像是三維重建算法的一個(gè)重要問題，后面列舉的論文基本上都涉及到這個(gè)過程。視頻推薦B站：GAMES101，看評(píng)論就知道老師有多厲害，暫時(shí)只看到了P9，感興趣的可以往后面看。

3.基于深度學(xué)習(xí)的最新三維重建算法綜述：這篇論文對(duì)近幾年三維重建相關(guān)工作做了詳細(xì)的總結(jié)，例如網(wǎng)絡(luò)結(jié)構(gòu)、輸入輸出、數(shù)據(jù)集等。在閱讀下面的論文之前，可以先看看這個(gè)，對(duì)所有的三維重建算法有一個(gè)大致的了解。論文鏈接：https://arxiv.org/pdf/1906.06543v3.pdf

4.數(shù)據(jù)集：后續(xù)算法使用了兩個(gè)數(shù)據(jù)集，一個(gè)是ShapeNet，這個(gè)數(shù)據(jù)集很大，只有三維模型，需要經(jīng)過渲染才能夠得到二維圖像。第二個(gè)是PASCAL3D+，這也是一個(gè)比較出名的數(shù)據(jù)集。

5.打開三維模型的軟件：后續(xù)三維模型基本上都是使用網(wǎng)格的表示方法。可以用Windows系統(tǒng)自帶的3D查看器和Print 3D，Linux系統(tǒng)需要安裝meshlab，也可以使用python的vtk庫(kù)進(jìn)行查看。用text打開obj文件時(shí)，可以看到網(wǎng)格模型具體是怎么表示的。

6.三維重建涉及的一些基本概念：例如相機(jī)坐標(biāo)系和世界坐標(biāo)系、旋轉(zhuǎn)矩陣、透視變換等，這些都需要慢慢了解。視頻推薦B站：計(jì)算機(jī)視覺之三維重建篇，書籍推薦張廣軍老師的《機(jī)器視覺》。

三 學(xué)習(xí)路線

1.Neural 3D Mesh Renderer

論文地址：https://arxiv.org/pdf/1711.07566.pdf

代碼地址：https://github.com/hiroharu-kato/neural_renderer

可以把它列為基于深度學(xué)習(xí)的單視圖三維重建算法里程碑之作，后續(xù)很多算法都由此展開。標(biāo)準(zhǔn)的渲染過程中涉及光柵化這種離散操作，阻止了反向傳播，這就不能使用深度學(xué)習(xí)的方法進(jìn)行訓(xùn)練。因此這篇文章提出了一種可微的渲染方法，能夠在特定的視角渲染三維模型得到二維圖像。

2.Learning Category-Specific Mesh Reconstruction from Image Collections(CMR)

論文地址：https://arxiv.org/pdf/1803.07549.pdf

代碼地址：https://github.com/akanazawa/cmr

這篇文章是對(duì)上一個(gè)算法的應(yīng)用，也算是這類算法更完整的實(shí)現(xiàn)。作者提出了一種從單個(gè)圖像中恢復(fù)物體三維形狀、相機(jī)和紋理的學(xué)習(xí)框架，輸入的數(shù)據(jù)集需要標(biāo)注關(guān)鍵點(diǎn)，但是不需要真實(shí)的3D數(shù)據(jù)集或者單個(gè)物體的多張圖像進(jìn)行監(jiān)督，最后的輸出是帶有紋理的網(wǎng)格模型。

3.Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning

論文地址：https://arxiv.org/pdf/1904.01786.pdf

代碼地址：https://github.com/ShichenLiu/SoftRas

這篇文章提出了另外一個(gè)可微渲染器，和第一篇不同的是，它將覆蓋的所有三角形都考慮在內(nèi)，能夠使用可微函數(shù)直接渲染彩色網(wǎng)格。

4.Shape and Viewpoints without Keypoints(UCMR)

論文地址：https://arxiv.org/pdf/2007.10982.pdf

代碼地址：https://github.com/shubham-goel/ucmr

這篇文章是對(duì)第二篇的改進(jìn)，也是對(duì)第一、第三篇文章所提到的渲染器的綜合應(yīng)用。總的來說，數(shù)據(jù)集更加簡(jiǎn)單，只需要原始圖像和掩膜即可，但是達(dá)到的效果更好。

四 后續(xù)論文推薦

1.Self-supervised Single-view 3D Reconstruction via Semantic Consistency(UMR)

論文地址：https://arxiv.org/pdf/2003.06473.pdf

2.Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction

論文地址：https://arxiv.org/pdf/2104.14169.pdf

本文與另外三篇的重建效果對(duì)比如下表所示：

五 相關(guān)論文推薦

1.Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer

論文地址：https://nv-tlabs.github.io/DIB-R/files/diff_shader.pdf

代碼地址：https://github.com/nv-tlabs/DIB-R

2.Occupancy Networks: Learning 3D Reconstruction in Function Space

論文地址：http://www.cvlibs.net/publications/Mescheder2019CVPR.pdf

代碼地址：https://github.com/autonomousvision/occupancy_networks

如果覺得有用，就請(qǐng)分享到朋友圈吧！