Cocos CreatorXR：降低 XR 行業(yè)開(kāi)發(fā)門檻，釋放元宇宙內(nèi)容創(chuàng)作力

在元宇宙快速發(fā)展背景下，AR/VR 產(chǎn)業(yè)仍處于技術(shù)升級(jí)、供應(yīng)鏈配套不足的初級(jí)階段，需要 XR 全產(chǎn)業(yè)鏈的通力協(xié)作。中國(guó)第四屆光學(xué)大會(huì)系列峰會(huì)，國(guó)際 XR 生態(tài)賦能峰會(huì)以產(chǎn)業(yè)鏈配套技術(shù)突破和商業(yè)細(xì)分應(yīng)用場(chǎng)景開(kāi)拓為主線，匯聚行業(yè)內(nèi)領(lǐng)軍企業(yè)針對(duì)現(xiàn)階段發(fā)展共性問(wèn)題展開(kāi)研討，共同助力 AR/VR 產(chǎn)業(yè)通路完善與可持續(xù)發(fā)展。Cocos XR 行業(yè)專家蔣立鑫受邀參加并進(jìn)行了主題分享：《元宇宙下的 XR 內(nèi)容孵化器》。

80、90 年代就已經(jīng)有 VR 的概念，國(guó)內(nèi)開(kāi)始火起來(lái)是在 16 年，稱作 VR 元年。經(jīng)過(guò)了相對(duì)漫長(zhǎng)的發(fā)展，市面上的很多的 VR 設(shè)備，其實(shí)都已經(jīng)相當(dāng)成熟了。很多廠商更加看好 AR，認(rèn)為 AR 是大勢(shì)所趨，相對(duì)于 VR，AR 目前還處于相對(duì)初期的階段。AR 主要分為兩個(gè)大部分，眼鏡端和移動(dòng)端。眼鏡端目前國(guó)內(nèi)外很多廠家都在做。另一個(gè)部分是移動(dòng)端，也就是通過(guò)手機(jī)，iPad 這些移動(dòng)端設(shè)備，來(lái)展示 AR 能力，因?yàn)槟壳耙苿?dòng)端的算力是足夠的，包括一些 AR 眼鏡，還是需要通過(guò)連接線，借助手機(jī)的運(yùn)算能力。移動(dòng)端也能夠支持深度攝像機(jī)，LiDAR，陀螺儀等功能。

VR 和 AR 有很多的設(shè)備和廠家，相應(yīng)的也誕生了很多的 SDK。比較主流的包括谷歌的 ARCore，蘋果的 ARKit，華為的 AR Engine，基于 Web 的 WebXR，國(guó)內(nèi)的還有 EasyAR，原來(lái)奧地利的 Wikitude，被高通收購(gòu)改造成為高通目前的 Spaces 方案。

不管是 VR、AR 還是 MR，都是新一代的移動(dòng)計(jì)算終端平臺(tái)，也是各種移動(dòng)應(yīng)用增長(zhǎng)的全新的平臺(tái)。新的移動(dòng)終端會(huì)帶來(lái)更加沉浸，更真實(shí)的交互體驗(yàn)，也給我們提供更新穎的內(nèi)容，是元宇宙內(nèi)容應(yīng)用的最佳載體。

未來(lái)要實(shí)現(xiàn)這樣的美好場(chǎng)景，還需要解決很多問(wèn)題，首先是生態(tài)碎片化的問(wèn)題，SDK種類很多，各家的廠商有各自專用的平臺(tái)。工具集多樣，接口不統(tǒng)一，這就導(dǎo)致 VR 或 XR 應(yīng)用多平臺(tái)發(fā)布的成本非常高。應(yīng)用發(fā)布的步驟也非常繁瑣，目前發(fā)布到不同的平臺(tái)都要做很多的繁瑣的操作。此外還有 Debug 困難的問(wèn)題，目前的整體的 XR 設(shè)備保有量還是偏少，開(kāi)發(fā)人員進(jìn)行開(kāi)發(fā)的難度也會(huì)更高。

Cocos CreatorXR 的誕生，就是為了解決以上的問(wèn)題。首先，Cocos CreatorXR 是基于 OpenXR 的標(biāo)準(zhǔn)來(lái)編寫(xiě)的，支持市面上主流設(shè)備的一鍵打包發(fā)布。

各家廠商，各個(gè) SDK 有各種各樣的 API 和不同的能力。針對(duì)這一問(wèn)題，Cocos CreatorXR 在底層進(jìn)行了封裝和抹平，統(tǒng)一通過(guò)用組件的方式去調(diào)用。主要分為設(shè)備映射、虛擬移動(dòng)、交互、XR UI 四個(gè)方面。

首先是設(shè)備映射，我們通過(guò) HMDCtrl 頭顯控制器，來(lái)控制雙目和單目渲染，支持調(diào)節(jié)瞳距，通過(guò) TargetEye 渲染目標(biāo)相機(jī)來(lái)支持單目和雙目渲染，通過(guò) PoseTracker 位姿追蹤，可以進(jìn)行 3Dof、6Dof 位姿追蹤。

交互方面，通過(guò)監(jiān)聽(tīng) XRController 手持控制器，這個(gè)組件能夠去監(jiān)聽(tīng)手柄上發(fā)射的內(nèi)容。此外我們還基于 Cocos Input System 接入 OpenXR 信號(hào)，支持多種控制器信號(hào)的接入，包括 Gamepad、TouchPad、鍵盤鼠標(biāo)、陀螺儀等。

通過(guò)我們的交互器組件和交互物組件，支持直接交互、射線交互，還支持自定義交互，可以滿足開(kāi)發(fā)者或 CP 的特殊交互方式。

虛擬移動(dòng)方面，除了根據(jù)頭顯進(jìn)行移動(dòng)，還支持通過(guò)手柄，在身體不動(dòng)的情況下進(jìn)行移動(dòng)，通過(guò)移動(dòng)、轉(zhuǎn)向、傳送這三種方式進(jìn)行位移。

XR UI 目前主要有三種需求，一種是 HUD，貼在整個(gè)屏幕的最上方，也就是 2D UI，一般是不會(huì)跟游戲或者是場(chǎng)景產(chǎn)生交互，單純的做一些 tips 的作用。另外兩種屬于 3D UI，具有深度信息的，實(shí)現(xiàn)遮擋關(guān)系。包括與場(chǎng)景元素相結(jié)合的 UI。例如游戲中的血條，會(huì)根據(jù)角色進(jìn)行移動(dòng)或者角色死亡而消失的。

除了以上功能框架以外，Cocos CreatorXR 還有一些獨(dú)有的特性優(yōu)勢(shì)。首先是存量項(xiàng)目的快速轉(zhuǎn)換，XR 設(shè)備中目前還是很缺內(nèi)容的，我們提供了這個(gè)功能，可以將原有的基于 Cocos 開(kāi)發(fā)的游戲，快速?gòu)囊苿?dòng)端轉(zhuǎn)化到 XR 端。第二是多平臺(tái)的適配，快捷打包發(fā)布。開(kāi)發(fā)者可以一鍵發(fā)布到不同的各個(gè)平臺(tái)。我們還支持網(wǎng)頁(yè)端的快速預(yù)覽，提供了基于 Web 的調(diào)試模式，從而提高調(diào)試效率。我們還提供圖形后端智能化，基于 Cocos 引擎能力，可以根據(jù)自己的需求進(jìn)行圖形后端的選擇。

Web 預(yù)覽支持單目和雙目渲染。可通過(guò)鍵盤和鼠標(biāo)的操作去模擬 HMD 和手柄的控制操作。

在 AR 方面，Cocos CreatorXR 將支持 ARCore，ARKit，AR Engine，WebXR。AR 能力方面，Cocos CreatorXR 已經(jīng)支持運(yùn)動(dòng)追蹤，平面追蹤，圖像追蹤。未來(lái)會(huì)支持物體追蹤，面部追蹤，環(huán)境解析等。

我們還計(jì)劃布局 AR Capture APP 和模擬預(yù)覽這兩個(gè)部分，通過(guò) AR Capture APP 可以進(jìn)行平面掃描、物理掃描，將掃描的現(xiàn)實(shí)物體通過(guò)云服務(wù)發(fā)布到編輯器當(dāng)中，在編輯器中進(jìn)行編輯與創(chuàng)作，降低創(chuàng)作門檻。

在模擬預(yù)覽方面，除了 Web Preview，Cocos CreatorXR 還支持 Video Replay，可以在設(shè)備上錄像，通過(guò)云服務(wù)的方式回傳到編輯器，解析這個(gè)過(guò)程中到底觸發(fā)了哪些事件，有哪些錯(cuò)誤，提高開(kāi)發(fā)效率。Simulate Scene，可以模擬 AR 場(chǎng)景的掃描條件，快速的響應(yīng)開(kāi)發(fā)效率。Reality Scene，可通過(guò)云服務(wù)的方式讓遠(yuǎn)方的開(kāi)發(fā)者和同事進(jìn)行現(xiàn)實(shí)世界的掃描調(diào)試，能夠大大提高開(kāi)發(fā)效率。

未來(lái)，Cocos 將不斷為開(kāi)發(fā)者提供更完善的開(kāi)發(fā)工具，助力開(kāi)發(fā)者的創(chuàng)意快速落地，釋放元宇宙內(nèi)容創(chuàng)作力，從而促進(jìn)設(shè)備的銷量，使行業(yè)的生態(tài)達(dá)到一個(gè)良性的循環(huán)。我今天的分享就到這里了，謝謝大家。