PyTorch3D3D 深度學(xué)習(xí)函數(shù)庫

PyTorch3D 是一個(gè)用于處理 3D 數(shù)據(jù)的深度學(xué)習(xí)函數(shù)庫，該庫高度模塊化且經(jīng)過專門優(yōu)化，具備獨(dú)有的功能，旨在通過 PyTorch 簡化 3D 深度學(xué)習(xí)。PyTorch3D 為 3D 數(shù)據(jù)提供了一組常用的 3D 運(yùn)算符和快速且可微分的損失函數(shù)(loss function)，以及模塊化的可微分渲染 API。

PyTorch3D 主要特性

• 用于存儲和操作三維物體的數(shù)據(jù)結(jié)構(gòu)
• 可在三維物體上進(jìn)行高效運(yùn)算，諸如投影變換、圖卷積、采樣、損失函數(shù)等
• 可微分的三維物體渲染器

PyTorch3D 旨在與深度學(xué)習(xí)方法平穩(wěn)集成，以預(yù)測和處理 3D 數(shù)據(jù)。因此，PyTorch3D 中的所有運(yùn)算符：

• 使用 PyTorch 張量實(shí)現(xiàn)
• 可以對異構(gòu)數(shù)據(jù)進(jìn)行批量處理
• 可微分
• 可以利用 GPU 進(jìn)行加速

案例與教程

▲ 將球體網(wǎng)格變形為海豚

▲ 渲染紋理網(wǎng)格

▲ 優(yōu)化相機(jī)位置

示例代碼

1. 安裝 PyTorch3D

   conda install pytorch torchvision -c pytorch  # OSX only
   conda install pytorch3d -c pytorch3d  # all systems
   

2. 嘗試使用一些 3D 運(yùn)算符，如計(jì)算兩個(gè)網(wǎng)格之間的倒角損耗（ chamfer loss）

   from pytorch3d.utils import ico_sphere
   from pytorch3d.io import load_obj
   from pytorch3d.structures import Meshes
   from pytorch3d.ops import sample_points_from_meshes
   from pytorch3d.loss import chamfer_distance
   
   # Use an ico_sphere mesh and load a mesh from an .obj e.g. model.obj
   sphere_mesh = ico_sphere(level=3)
   verts, faces, _ = load_obj("model.obj")
   test_mesh = Meshes(verts=[verts], faces=[faces.verts_idx])
   
   # Differentiably sample 5k points from the surface of each mesh and then compute the loss.
   sample_sphere = sample_points_from_meshes(sphere_mesh, 5000)
   sample_test = sample_points_from_meshes(test_mesh, 5000)
   loss_chamfer, _ = chamfer_distance(sample_sphere, sample_test)