詳解Microsoft Mesh技術組件和功能特性，推動多終端共享協(xié)作式MR體驗
查看引用/信息源請點擊：映維網(wǎng)
將繼續(xù)改進SDK以支持更多的引擎和框架
（映維網(wǎng) 2021年03月04日）微軟昨天正式發(fā)布了Microsoft Mesh。這個以Microsoft Azure作為基礎的新平臺旨在支持開發(fā)者構建多用戶的和跨平臺的沉浸式混合現(xiàn)實應用。
Microsoft Mesh允許用戶以身臨其境的方式進行聯(lián)結、并實現(xiàn)跨空間共享和協(xié)作。無需考慮物理物質(zhì)，大家就如同是親臨現(xiàn)場一樣?？蛻艨梢岳肕esh來增強虛擬會議、設計會話、遠程協(xié)作、虛擬學習、以及社交聚會等等。
在今天這篇博文中，微軟MR團隊將介紹Microsoft Mesh平臺的構成要素。但首先，我們先來看看為什么需要這樣一個平臺。
微軟指出：“混合現(xiàn)實是后計算機領域繼大型機、個人電腦和智能手機之的第四次浪潮。能夠?qū)⑵聊惑w驗釋放到你的空間之中的混合現(xiàn)實正在成為消費者和商業(yè)世界的主流。全世界有上億的Niantic玩家曾利用口袋里的設備體驗過混合現(xiàn)實。當我們無法進行面對面的社交時，像音樂會和健身訓練這樣的會話正在走向虛擬世界。為提高企業(yè)的實質(zhì)投資回報率，超過50%的財富500強企業(yè)部署了HoloLens和其他混合現(xiàn)實解決方案。”考慮到這樣龐大的數(shù)字，我們不難會假設今天已有成百上千的混合現(xiàn)實體驗開發(fā)出來。但事實并非如此。有一系列潛在的困難問題阻礙著開發(fā)者創(chuàng)建沉浸式體驗，特別是：
用適當?shù)恼鎸嵏衼泶鞰R人像需要大量的時間和資源。
在不同的時間和設備類型下，保持全息圖在共享MR空間中的穩(wěn)定性是一個非常重要的問題。
很難將高保真3D模型引入MR以支持客戶所擁有的文件格式。
在跨地理MR會話中同步人物的動作和表達非常復雜。
所述挑戰(zhàn)阻礙了開發(fā)者為多用戶場景提供MR體驗。Microsoft Mesh正是這一問題的答案。Mesh為開發(fā)者提供了一個允許其設計沉浸式多用戶MR應用，而不必擔心復雜技術問題的平臺。
下面是Microsoft Mesh平臺的核心組件：
多設備支持：首先，Mesh可以滿足廣泛用戶的需求。從能夠提供三維立體體驗的全沉浸式頭戴式顯示器（微軟HoloLens、惠普Reverb G2或Oculus Quest 2），提供三維立體體驗，再到iOS或Android的智能手機和平板電腦，Mesh可以支持一系列的設備。
開發(fā)者平臺：接下來，Mesh可以實現(xiàn)一個完成的開發(fā)者平臺和工具，而核心則是Azure。通過像Azure Active Directory和Microsoft Accounuts這樣的認證服務，它能夠把經(jīng)過正式身份驗證和授權的用戶帶入一個安全可信的會話中。Microsoft Graph則繼續(xù)跟隨用戶，允許其向商業(yè)和消費者空間引入關系、內(nèi)容和偏好。而且，作為一名開發(fā)者，您不需要擔心音頻/視頻傳輸和底層實時狀態(tài)管理功能等核心基礎設施。
除了核心平臺之外，微軟同時提供了關鍵的人工智能功能，從而允許Mesh解決復雜的技術挑戰(zhàn)，并實現(xiàn)混合現(xiàn)實的大規(guī)模多用戶在線場景。其中包括：沉浸式臨在，空間映射，全息渲染，以及多用戶同步。
1. 沉浸式臨在感：多用戶場景的一個基本方面是，能夠根據(jù)參與者加入的設備以不同的形式表示參與者。Mesh通過設備的內(nèi)向外傳感器來提供具有代表性的虛擬化身。Mesh平臺配備了一個avatar rig和一個定制studio，以便你可以使用開箱即用的虛擬化身。所述平臺同時能夠通過基于人工智能的運動模型來驅(qū)動虛擬化身，從而捕捉與用戶動作一致的精確運動和表情。
除了虛擬化身，Mesh同時能夠通過外向內(nèi)傳感器實現(xiàn)了最為逼真的360度全息瞬移。這種外向內(nèi)傳感器可以是一個定制的攝像頭設置，如有助于以完全保真度捕捉三維圖像的Mixed Reality Capture Studio；它又可以是可以捕捉深度感測圖像以協(xié)助產(chǎn)生全息表示的Azure Kinect。一旦制作出來，全息圖就可以應用于混合現(xiàn)實頭顯或智能手機、PC和平板電腦的Mesh應用程序，并以最為逼真的臨場感實現(xiàn)360度全息瞬移。
2. 空間映射：要構建能夠現(xiàn)實世界中保存全息內(nèi)容的應用程序，我們需要每個參與者對空間的共同視角以及對物理世界的理解。無論是技術人員的服務記錄還是客戶的尋路記錄，可靠地放置能夠跨時間、空間和設備保存的全息圖都是一種常見的需求。Mesh中的空間映射可以實現(xiàn)這一點。在使用Mesh之前，每個設備都有自己的局部世界映射。通過Mesh可以將本地緩存合并和優(yōu)化，以便提供關于它們所處的空間/環(huán)境的全局理解。所述框架支持錨定內(nèi)容、共享設備視點和協(xié)作三維模型。
Mesh可以幫助你創(chuàng)建一個比GPS精確幾個數(shù)量級的世界映射，它甚至可以在沒有GPS接入的地方工作。它有助于提供“世界鎖定的全息圖”，亦即可以綁定到特定的興趣點。另外，Mesh可以生成與給定對象的精確布局和幾何體一致的相同理解，從而允許開發(fā)者輕松構建需要視覺信息（如指令、服務記錄和其他重要數(shù)據(jù)）疊加的應用程序。
3. 全息渲染：全息渲染是一個典型的智能邊緣和智能云架構實例。不論計算和熱預算幾何，它都能夠提供毫無折損的保真度。對于每個場景和模型，Mesh允許你在應用程序中無縫地選擇本地獨立渲染或云端遠程渲染。這為設計應用程序提供了靈活性，并允許你根據(jù)設備對延遲和保真度進行優(yōu)化。不僅如此，全息渲染支持大多數(shù)3D文件格式在Mesh應用中進行本地渲染，從而解決了引入用戶現(xiàn)有3D模型以進行協(xié)作的難題。
4. 多用戶同步：在協(xié)作會話中創(chuàng)建全息圖和彼此的共同視角是一個巨大的挑戰(zhàn)。在Mesh中，多用戶同步將能夠?qū)崿F(xiàn)所述的情景，包括任何姿勢更新（動作和表情），或者任何正在空間中發(fā)生的全息變換。不論是在同一物理空間還是相隔地球兩半，所有這一切都發(fā)生在100毫秒的延遲之內(nèi)。另外，Mesh的空間音頻能夠增強體驗，在多用戶場景中創(chuàng)建一種臨在同一物理空間中的感覺。
為了利用所述功能和核心平臺特性，Mesh提供了一個跨平臺開發(fā)者SDK，這樣你就可以創(chuàng)建各種平臺和設備的應用程序。今天，它支持Unity，以及本地C++和C#，但在未來幾個月里，Mesh將將支持Unreal，Babylon和React Native。除了訪問所述功能之外，SDK另外提供了預構建的UX construct。這種預構件的設計使開發(fā)過程變得更簡單，更快捷。
支持Mesh的應用程序：Microsoft Mesh已經(jīng)提供了一系列的應用體驗。HoloLens 2版的Mesh app和具有全新企業(yè)功能的AltspaceVR是協(xié)作體驗方面的實例。微軟表示，未來團隊和合作伙伴將開發(fā)更多的體驗。
團隊最后總結道：“Mesh開發(fā)平臺是一個全面的平臺，其工具和功能旨在幫助開發(fā)者快速入門，并提供引人入勝的多用戶混合現(xiàn)實體驗。我們將繼續(xù)改進SDK以支持更多的引擎和框架?！?/p>
---
原文鏈接：https://news.nweon.com/83521