Shap-E圖文轉(zhuǎn) 3D 模型

Shap-E 是 OpenAI 推出的一個(gè)用于 3D 資產(chǎn)的條件生成模型。與最近關(guān)于三維生成模型的工作不同的是，Shap-E 直接生成隱式函數(shù)的參數(shù)，這些參數(shù)可以被渲染成紋理網(wǎng)格和神經(jīng)輻射場(chǎng)。

開發(fā)團(tuán)隊(duì)分兩個(gè)階段訓(xùn)練 Shap-E：首先，訓(xùn)練一個(gè)編碼器，該編碼器確定性地將 3D 資產(chǎn)映射到隱式函數(shù)的參數(shù)；其次，在編碼器的輸出上訓(xùn)練條件擴(kuò)散模型。當(dāng)在配對(duì)的 3D 和文本數(shù)據(jù)的大型數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，生成的模型能夠在幾秒鐘內(nèi)生成復(fù)雜多樣的 3D 資產(chǎn)。

與點(diǎn)云 (point clouds)上的顯式生成模型 Point-E 相比，Shap-E 收斂速度更快，并且盡管對(duì)更高維度的模型進(jìn)行建模，但仍能達(dá)到相當(dāng)或更好的樣本質(zhì)量，多表示輸出空間。

看起來像鱷梨的椅子	一架看起來 像香蕉的飛機(jī)	宇宙飛船
一個(gè)生日蛋糕	一把看起來 像樹的椅子	一個(gè)綠色的靴子
一只企鵝	宇部冰淇淋甜筒	一碗蔬菜

更多詳情可參閱 samples.md。