小扎下血本！Meta專為元宇宙搞了個(gè)AI模型新智元關(guān)注共 1852字，需瀏覽 4分鐘 ·2022-07-31 05:39 新智元報(bào)道 編輯：David Joey【新智元導(dǎo)讀】專門為元宇宙打造的AI框架，是什么樣子的？人工智能將成為虛擬世界的支柱。人工智能在元宇宙中可與多種相關(guān)技術(shù)結(jié)合，如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、區(qū)塊鏈和數(shù)字雙胞胎。 2月，扎克伯格在該公司的第一個(gè)虛擬活動(dòng)——Inside The Lab中展示了元宇宙的樣子。他說(shuō)，該公司正在開(kāi)發(fā)一系列新的生成式AI模型，用戶只需通過(guò)描述就可以生成自己的虛擬現(xiàn)實(shí)化身。 扎克伯格宣布了一系列即將推出的項(xiàng)目，例如CAIRaoke項(xiàng)目，一項(xiàng)用于構(gòu)建設(shè)備語(yǔ)音助手的完全端到端的神經(jīng)模型，可幫助用戶更自然地與語(yǔ)音助手進(jìn)行交流。 同時(shí)，Meta正努力構(gòu)建一個(gè)通用語(yǔ)音翻譯器，可為所有語(yǔ)言提供直接的語(yǔ)音到語(yǔ)音翻譯。 幾個(gè)月后，Meta兌現(xiàn)了他們的承諾。 然而，Meta并不是唯一一家在游戲中擁有皮膚的科技公司。英偉達(dá)等公司也發(fā)布了其自主研發(fā)的AI模型以提供更豐富的元宇宙體驗(yàn)。 開(kāi)源預(yù)訓(xùn)練Transformer（OPT-1750億參數(shù)) GAN verse 3D GANverse 3D由英偉達(dá)AI Research開(kāi)發(fā)，是一種使用深度學(xué)習(xí)將2D圖像處理成3D動(dòng)畫(huà)版本的模型，去年的ICLR和CVPR上發(fā)表的一篇研究論文中介紹了該工具，它可以用更低的成本更快地生成模擬。 該模型使用StyleGAN可自動(dòng)從單個(gè)圖像生成多個(gè)視圖。該應(yīng)用程序可以作為NVIDIA Omniverse的擴(kuò)展導(dǎo)入，以在虛擬世界中準(zhǔn)確地渲染3D對(duì)象。 英偉達(dá)推出的Omniverse可幫助用戶在虛擬環(huán)境中創(chuàng)建他們最終想法的模擬。 3D模型的制作已成為構(gòu)建元宇宙的關(guān)鍵因素。耐克和Forever21等零售商已經(jīng)在元宇宙建立了他們的虛擬商店，以推動(dòng)電子商務(wù)銷售。視覺(jué)聲學(xué)匹配模型（AViTAR） Meta的現(xiàn)實(shí)實(shí)驗(yàn)室團(tuán)隊(duì)與德克薩斯大學(xué)合作，建立了一個(gè)人工智能模型，以改善元空間的聲音質(zhì)量。該模型幫助匹配場(chǎng)景中的音頻和視頻。它對(duì)音頻片段進(jìn)行轉(zhuǎn)換，使其聽(tīng)起來(lái)像是在特定環(huán)境中錄制的。該模型在從隨機(jī)的在線視頻中提取數(shù)據(jù)后使用了自我監(jiān)督學(xué)習(xí)。 理想情況下，用戶應(yīng)該能夠在他們的AR眼鏡上觀看他們最喜歡的記憶，并聆聽(tīng)實(shí)際體驗(yàn)中產(chǎn)生的確切聲音。Meta AI發(fā)布了AViTAR的開(kāi)源，同時(shí)還發(fā)布了其他兩個(gè)聲學(xué)模型，考慮到聲音是metaverse體驗(yàn)中經(jīng)常被忽視的部分，這是非常罕見(jiàn)的。視覺(jué)影響的減震（VIDA）Meta AI發(fā)布的第二個(gè)聲學(xué)模型被用來(lái)去除聲學(xué)中的混響。該模型是在一個(gè)大規(guī)模的數(shù)據(jù)集上訓(xùn)練出來(lái)的，該數(shù)據(jù)集有各種來(lái)自家庭三維模型的真實(shí)音頻渲染。混響不僅降低了音頻的質(zhì)量，使其難以理解，而且還提高了自動(dòng)語(yǔ)音識(shí)別的準(zhǔn)確性。 VIDA的獨(dú)特之處在于，它在使用視覺(jué)線索的同時(shí)也使用音頻方式進(jìn)行觀察。在典型的僅有音頻的方法的基礎(chǔ)上進(jìn)行改進(jìn)，VIDA可以增強(qiáng)語(yǔ)音，并識(shí)別語(yǔ)音和說(shuō)話者。視覺(jué)語(yǔ)音（VisualVoice）Meta AI發(fā)布的第三個(gè)聲學(xué)模型VisualVoice可以從視頻中提取語(yǔ)音。與VIDA一樣，VisualVoice也是根據(jù)未標(biāo)記的視頻中的視聽(tīng)線索進(jìn)行訓(xùn)練。該模型已經(jīng)自動(dòng)分離了語(yǔ)音。 這個(gè)模型有重要的應(yīng)用場(chǎng)景，如為聽(tīng)障人士制作技術(shù)，增強(qiáng)可穿戴AR設(shè)備的聲音，從環(huán)境嘈雜的在線視頻中轉(zhuǎn)錄語(yǔ)音等。Audio2Face去年，英偉達(dá)發(fā)布了Omniverse Audio2Face的開(kāi)放測(cè)試版，以生成人工智能驅(qū)動(dòng)的面部動(dòng)畫(huà)，以匹配任何配音。該工具簡(jiǎn)化了為游戲和視覺(jué)效果制作動(dòng)畫(huà)的漫長(zhǎng)而繁瑣的過(guò)程。該應(yīng)用還允許用戶以多種語(yǔ)言發(fā)出指令。 今年年初，英偉達(dá)發(fā)布了該工具的更新，增加了BlendShape Generation等功能，幫助用戶從一個(gè)中性頭像中創(chuàng)建一組blendhapes。此外，還增加了流媒體音頻播放器的功能，允許使用文本到語(yǔ)音應(yīng)用程序的音頻數(shù)據(jù)流。 Audio2Face設(shè)置了一個(gè)3D人物模型，可以用音軌做動(dòng)畫(huà)。然后，音頻被送入一個(gè)深度神經(jīng)網(wǎng)絡(luò)。用戶還可以在后期處理中編輯角色，改變角色的表現(xiàn)。參考資料：https://analyticsindiamag.com/ai-models-built-for-the-metaverse/ 瀏覽 47點(diǎn)贊 評(píng)論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào) 評(píng)論圖片表情視頻評(píng)價(jià)全部評(píng)論推薦 擁抱未來(lái)，Meta 奔向「元宇宙」SegmentFault0META AIMake-A-Video是Meta公司推出的一款人工智能系統(tǒng)模型，可以從給定的文字提示生成短視頻Meta公司（MetaPlatformsInc.）2022年9月29日首次推出Make-A-VideMETA AIMake-A-Video是Meta公司推出的一款人工智能系統(tǒng)模型，可以從給定的文字提示生成短視頻MeMeta的AI讓你在元宇宙中可以「語(yǔ)出成真」雷鋒網(wǎng)0Meta元宇宙之路碰到四個(gè)麻煩01區(qū)塊鏈0Meta祭出元宇宙「阿拉丁神燈」！LeCun稱世界模型將帶來(lái)像人一樣的AI視學(xué)算法0元宇宙2021年是元宇宙元年?？氨却蠛胶r(shí)代的大遷徙，人類全面走進(jìn)數(shù)字世界，開(kāi)辟鴻蒙、創(chuàng)世而生。創(chuàng)造、生活元宇宙元宇宙0認(rèn)識(shí)元學(xué)習(xí) Meta Learning - 窺探通用型 AI機(jī)器學(xué)習(xí)與數(shù)學(xué)0小扎突然拆散AI部門，LeCun被迫投身元宇宙，Meta動(dòng)蕩高管持續(xù)走人視學(xué)算法0點(diǎn)贊 評(píng)論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào)
下載APP下載APP