詳解大數(shù)據、數(shù)據存儲和邊緣計算技術在元宇宙中的應用大數(shù)據DT關注共 3646字,需瀏覽 8分鐘 ·2022-06-27 21:48 導讀:如果未來的數(shù)字社會屬于元宇宙,那么我們需要什么來支撐如此龐大的數(shù)字世界?作者:成生輝來源:大數(shù)據DT(ID:hzdashuju)元宇宙是指與物理世界分離的平行數(shù)字世界,由人創(chuàng)造并以數(shù)字形式對其進行操作。每個進入元界的人都會形成一個數(shù)據文件,隨著社會活動的產生,數(shù)據會不斷增長,從而形成一個大數(shù)據網絡。可以肯定的是,元宇宙一旦開發(fā)應用,將產生海量數(shù)據,給現(xiàn)實世界帶來巨大的數(shù)據處理壓力。因此,大數(shù)據處理技術是順利實現(xiàn)元宇宙的關鍵技術之一。01 元宇宙中的大數(shù)據大數(shù)據是組織收集的結構化數(shù)據(例如交易和財務數(shù)據)、半結構化數(shù)據(例如Web服務器日志和來自傳感器的流數(shù)據)和非結構化數(shù)據(例如文本、文檔和多媒體數(shù)據)的組合,可以利用大數(shù)據挖掘信息并用于機器學習項目及構建預測建模(見圖2.7)。▲圖2.7 大數(shù)據類型大數(shù)據是信息技術和計算機技術持續(xù)發(fā)展的產物。它為人們提供了一種可量化的認知世界的方式,稱得上是一次重大的科技進步。2009 年,谷歌公司的工程師根據用戶的搜索數(shù)據成功預測了甲型 H1N1 流感在全球范圍的流行,該預測結果甚至早于美國公共衛(wèi)生官員的判斷。谷歌公司對流行病的預測并不需要大規(guī)模實地檢測,而是利用每天數(shù)十億次用戶的網絡搜索數(shù)據得出了上述預測結果。這便是谷歌公司基于大數(shù)據的分析技術為社會生活提供支持的一個典型應用案例。根據實際操作流程和技術的演進,大數(shù)據分析可大致分為四部分。首先是對數(shù)據的預處理,包括收集、存儲、清洗和整合。之后,可以使用統(tǒng)計學方法得到一些數(shù)據特征的描述。為了發(fā)掘數(shù)據隱含的更深層次的價值,可進一步采用數(shù)據挖掘技術(初級的機器學習技術),以及人工智能技術(高級的機器學習技術)。可以預見的是,在元宇宙世界中,會有更多高質量的數(shù)據用于機器學習,并促進大數(shù)據技術繼續(xù)發(fā)展和革新。在現(xiàn)實世界中,人的時間、勞動力和成本的問題很容易被元宇宙中的人工智能所取代。例如在現(xiàn)實世界中,人們必須經過很多流程才可以播放新聞,例如招聘播音員,在工作室拍攝,以及剪輯視頻,最后在電視上播放。然而在元宇宙中,利用人工智能播音員,可以快速、持續(xù)、長時間地傳遞緊急和重要的新聞。為了在元宇宙中播放新聞,真實播音員的面部表情、肌肉運動、聲音、細微差別和手勢都是可以被用來學習的有效數(shù)據。存儲在區(qū)塊鏈塊中的元數(shù)據就可以選擇性地提供必要的高質量數(shù)據。元宇宙中的創(chuàng)意活動往往是用人工智能而非真人來開發(fā)的。人工智能藝術家在創(chuàng)作作品時,會了解作品的趨勢和風格,然后使用所學來進行創(chuàng)作。過去,大量的數(shù)據被用于風格分析?,F(xiàn)在,人工智能藝術家將數(shù)據存儲在分布式賬本中,以便可以輕松選擇和重復使用。獲取更多數(shù)據并反復練習,可以減少選擇錯誤數(shù)據的概率。02 元宇宙中的數(shù)據存儲元宇宙是一個需要大量數(shù)據和服務器容量的虛擬 3D 環(huán)境。但是通過中央服務器進行控制會產生昂貴的成本,目前最適合元界的數(shù)據存儲工具無疑是分布式存儲。與傳統(tǒng)應用平臺的集中管理相比,元宇宙網絡部署在區(qū)塊鏈上,采用分布式存儲處理數(shù)據。所有數(shù)據由各個節(jié)點維護和管理,可以降低集中存儲帶來的數(shù)據丟失、篡改或數(shù)據泄露的風險,且可以滿足元宇宙對海量數(shù)據存儲的高要求。例如,基于分布式存儲的GDFS(GoodData File System)將區(qū)塊鏈技術與IPFS相結合(見圖2.8),通過多次數(shù)據備份,就近分配存儲資源,保證數(shù)據存儲的可靠性、可用性和永續(xù)性。▲圖2.8 區(qū)塊鏈技術與IPFS結合GDFS作為一個社區(qū)驅動的去中心化系統(tǒng),建立了完善的激勵機制,對存儲提供者進行獎勵,對造假者進行懲戒,有效地協(xié)調了存儲用戶、存儲資源提供者、元數(shù)據管理者和協(xié)調者之間的關系。此外,在元宇宙中,數(shù)據也將作為個人資產返回給數(shù)據生產者。在數(shù)據隱私保護中,這一步往往需要隱私計算技術的支持。目前,常見的隱私計算技術包括安全多方計算、聯(lián)邦學習、差分隱私等。一些隱私計算項目已經實現(xiàn),例如GoodData區(qū)塊鏈。GoodData是一個關于數(shù)據安全、數(shù)據共享、數(shù)據資本化的區(qū)塊鏈平臺。目前GoodData的主要功能是鼓勵用戶在平臺上分享元宇宙中的數(shù)據(如睡眠數(shù)據),以協(xié)助醫(yī)療等研究機構通過數(shù)據研究失眠等健康問題。用戶可以共享個人的睡眠數(shù)據,而作為數(shù)據所有者,用戶可以持續(xù)獲得代幣收益。在當今技術飽和的世界中,有數(shù)百萬臺設備通過互聯(lián)網收集和共享信息。大多數(shù)信息在大型數(shù)據存儲中心進行處理。大多數(shù)公司的云服務器位于遙遠的地方,導致效率極低。為了處理更大體量的數(shù)據,邊緣計算應運而生。該技術可以解決企業(yè)在傳統(tǒng)云計算平臺上存在的問題。03 邊緣計算邊緣計算(edge computing)是一種計算策略,它使計算能力和存儲更靠近數(shù)據源,而不是將數(shù)據傳輸?shù)竭b遠的中央服務器(見圖2.9)。如今,許多企業(yè)將數(shù)據作為其運營的命脈,同時也面臨著數(shù)據量不斷增加的挑戰(zhàn)。傳統(tǒng)的基于云的平臺是計算數(shù)據的標準途徑。▲圖2.9 云計算和邊緣計算邊緣計算是一種分散式運算的架構,將應用模式、數(shù)據資料與服務的運算由網絡中心節(jié)點移到網絡邏輯上的邊緣節(jié)點來處理。邊緣計算將原本完全由中心節(jié)點處理的大型服務加以分解,切割成更小及更容易管理的部分,分散到邊緣節(jié)點去處理。邊緣節(jié)點更接近于用戶的終端裝置,可以加快資料的處理與傳送速度,減少延遲。在這種架構下,資料的分析與知識的產生更接近于數(shù)據資料的來源,因此更適合處理大數(shù)據。顧名思義,邊緣計算在邊緣上工作。一切都發(fā)生在大部分數(shù)據傳輸發(fā)生的網絡邊緣,而不是將原始數(shù)據傳輸?shù)綌?shù)據中心進行處理和分析。邊緣計算將存儲和計算資源轉移到產生大量數(shù)據的地方。不同類型的設備可以在邊緣附近執(zhí)行數(shù)據分析。在這個“邊緣”,數(shù)據被排序、分析和修改。這種技術將有助于提高業(yè)務效率并減少不必要的成本,它還可以減少網絡延遲。在處理大量數(shù)據方面,邊緣計算被視為云計算的一種更有效的替代方案。傳統(tǒng)的云計算能夠非常有效地處理單個數(shù)據單元,但是它無法容納跨數(shù)據中心的大量數(shù)據,并且中央服務器產生有意義且實時結果的能力很差。未來,更多的人工智能設備將使用邊緣計算而不是云計算。人工智能和云計算都是IT界的熱詞,兩種技術相得益彰。人工智能傳統(tǒng)上存在于由云計算提供支持的數(shù)據中心內,但隨著時間的推移,該技術慢慢進入物聯(lián)網領域和互聯(lián)智能設備世界。需求的增長使公司每天必須處理的數(shù)據增加了一倍或三倍以上。科技公司意識到需要升級計算能力并使數(shù)據中心更接近最終用戶,以減少延遲和其他網絡效率低下的情況。這一認識促使業(yè)界開始將人工智能和邊緣計算結合到設備中,以期減少延遲,同時最大限度地減少帶寬消耗和運營成本。以在Google Assistant 上運行的智能揚聲器為例。該設備通常配備了邊緣計算和人工智能功能的組合,這使獨立的處理和分析呈現(xiàn)出幾乎即時的結果。它還使設備能夠運行離線命令。關于作者:成生輝,博士,西湖大學西湖學者,現(xiàn)任智能可視化實驗室負責人。他于紐約州立大學石溪分校獲得計算機科學博士學位,并在德國萊比錫大學醫(yī)學研究所、布魯克海文國家實驗室和美國哈佛醫(yī)學院進行研究,曾任世界銀行(總部)數(shù)字經濟組顧問。他的主要研究方向為數(shù)據可視化、可視分析和元宇宙等。本文摘編自《元宇宙:概念、技術及生態(tài)》(ISBN:978-7-111-70354-9),經出版方授權發(fā)布。延伸閱讀《元宇宙:概念、技術及生態(tài)》點擊上圖了解及購買轉載請聯(lián)系微信:DoctorData推薦語:西湖大學西湖學者執(zhí)筆,多位專家推薦,帶你走出元宇宙概念迷霧,了解新興技術發(fā)展趨勢,盤點巨頭新賽道布局,構建虛擬世界完整生態(tài)。本書著重于介紹可以讓元宇宙概念落地的技術集群,所涉包括區(qū)塊鏈技術、交互技術、數(shù)字孿生、人工智能技術、物聯(lián)網技術、5G網絡技術、云計算和邊緣計算技術等。劃重點??干貨直達??云計算發(fā)展的 4 個階段,終于有人講明白了反直覺的三門問題,80%的人都會錯?這幾本霸榜的新書,是時候囤了從消費互聯(lián)網到產業(yè)互聯(lián)網:數(shù)字化轉型浪潮正在帶來這些變革更多精彩??在公眾號對話框輸入以下關鍵詞查看更多優(yōu)質內容!讀書 | 書單 | 干貨 | 講明白 | 神操作 | 手把手大數(shù)據 | 云計算 | 數(shù)據庫 | Python | 爬蟲 | 可視化AI | 人工智能 | 機器學習 | 深度學習 | NLP5G | 中臺 | 用戶畫像 | 數(shù)學 | 算法 | 數(shù)字孿生據統(tǒng)計,99%的大咖都關注了這個公眾號?? 瀏覽 14點贊 評論 收藏 分享 手機掃一掃分享分享 舉報 評論圖片表情視頻評價全部評論推薦 在React應用中使用Dexie.js進行離線數(shù)據存儲前端全棧開發(fā)者0Impala 應用 | Impala 在騰訊金融大數(shù)據場景中的應用HBase技術社區(qū)0數(shù)據可視化在滴滴的應用數(shù)據管道0上海大數(shù)據應用上海大數(shù)據應用0Redis 存儲大數(shù)據優(yōu)化和解決方案?。?/a>Java技術精選0在pandas中利用hdf5高效存儲數(shù)據早起Python0在pandas中利用hdf5高效存儲數(shù)據Python大數(shù)據分析0課程-數(shù)據清洗、數(shù)據存儲、數(shù)據可視化-《AKShare-初階-實戰(zhàn)應用》數(shù)據科學實戰(zhàn)0掘金大數(shù)據 : 電信數(shù)據金礦詳解在數(shù)據橫向融合的時代,充分挖掘數(shù)據金礦及盤活數(shù)據資產,是企業(yè)發(fā)展和轉型的關鍵所在。電信運營商以其數(shù)據數(shù)據湖在大數(shù)據場景下應用和實施方案調研筆記(增強版)程序源代碼0點贊 評論 收藏 分享 手機掃一掃分享分享 舉報