DeepFocus實(shí)時(shí)逼真 VR 圖像合成系統(tǒng)

DeepFocus 是一個(gè)基于 AI 可實(shí)現(xiàn)更逼真 VR 圖像的系統(tǒng)。它可與高級原型頭戴設(shè)備配合使用，實(shí)時(shí)渲染模糊和各種焦距。例如，當(dāng)有頭戴支持 DeepFocus 的設(shè)備觀看附近的物體時(shí)，它會立即聚焦并變得清晰，而背景物體則會失去焦點(diǎn)，這與現(xiàn)實(shí)生活中的感觀一樣。這種散焦模糊（也稱為視網(wǎng)膜模糊）對于實(shí)現(xiàn) VR 中的真實(shí)感和深度感知非常重要。DeepFocus 是目前第一個(gè)能夠?yàn)?VR 應(yīng)用實(shí)時(shí)生成此效果的系統(tǒng)。

DeepFocus 使用深度學(xué)習(xí)降低了物理方法處理性能的要求，團(tuán)隊(duì)開發(fā)了一種新的端到端卷積神經(jīng)網(wǎng)絡(luò)，眼睛看到場景的不同部分，就會產(chǎn)生具有精確視網(wǎng)膜模糊的圖像。該網(wǎng)絡(luò)包括新的保持體積的交織層，以在完全保留圖像細(xì)節(jié)的同時(shí)減小輸入的空間維度。然后網(wǎng)絡(luò)的卷積層以相同的、降低的空間分辨率運(yùn)行，運(yùn)行時(shí)間顯著減少。

由于 DeepFocus 僅依賴于標(biāo)準(zhǔn) RGB-D 顏色和深度輸入，因此它幾乎適用于所有現(xiàn)有的 VR 游戲和應(yīng)用。