啪网址,极品久久久久久久,黑人操,淫荡在线,自拍一区不卡,青娱乐国产亚洲粉色,好屌日在线视频,国产的色情电影在线播放

新智元報(bào)道

編輯：好困袁榭

【新智元導(dǎo)讀】?在大批企業(yè)搶位元宇宙、苦思如何將真實(shí)世界VR化又如何變現(xiàn)的當(dāng)下，從服務(wù)游戲宅做起的Unity公司，技術(shù)力與商業(yè)經(jīng)驗(yàn)已經(jīng)足以在游戲引擎中，支撐一個(gè)人、物都高擬真的實(shí)景世界克隆版了。?

玩家一動(dòng)，就把「據(jù)說買不起機(jī)器假肢只好坐輪椅」的NPC嚇到?jīng)_刺速度賽蘇炳添。

在一個(gè)有巫師存在的宇宙中，獵魔人的坐騎閑來俯臥撐一下，好像也講得通哦。

「身邊槍林彈雨，NPC八風(fēng)不動(dòng)」的哏，已經(jīng)讓「加拿大鄧超」賤賤老師拍成熱賣電影了。

三十多年來，游戲的NPC似乎從視覺效果到互動(dòng)智能都有進(jìn)步，但有無質(zhì)變，實(shí)在不好說。

畢竟它們和那些只會(huì)復(fù)讀「英雄要不要光臨我的小店」、運(yùn)動(dòng)軌跡詭異的古早NPC實(shí)無不同。

曾有人開玩笑：互聯(lián)網(wǎng)時(shí)代的技術(shù)進(jìn)步，三分之二是宅圈需求刺激推動(dòng)的。

仔細(xì)想想，這話還真不假。在晚近的過去，在線看片的需求讓數(shù)據(jù)傳輸技術(shù)獲得革命性的突破。在不遠(yuǎn)的未來，游戲宅對(duì)五毛錢視效和低智NPC的鄙視，說不定也將同等地改變?cè)钪婺亍?/span>

對(duì)此，Unity微微一笑，公布了5年前公司已開始用于游戲建模和制作NPC的AI。

是不是有「大家在山上慢慢爬，我在山頂恭候」的賤賤感？在大佬抓緊砸錢、企業(yè)拼命搶位的元宇宙急流中，Unity已經(jīng)有足夠?qū)嵙υ谧约业挠螒蛞胬锎罱ㄒ粋€(gè)足夠真實(shí)的虛擬現(xiàn)實(shí)世界。

而且更欠的是，Unity似乎不擔(dān)心「元宇宙如何變現(xiàn)」的天問。

元宇宙里大搞NPC

還記得復(fù)仇者聯(lián)盟4最終大戰(zhàn)那個(gè)恢弘的場面嗎？

這背后強(qiáng)大的渲染技術(shù)正是來自曾6次獲得奧斯卡最佳視覺效果獎(jiǎng)，由著名導(dǎo)演Peter Jackson創(chuàng)建的Weta Digital（維塔數(shù)字）。

2021年11月9日，Unity出資16.25億美元收購了Weta Digital。

由此，Unity也開始了在「元宇宙」這條路上的大步流星。

不過，Unity公司的高管們是逐漸開竅的：

一開始他們只求讓游戲里的NPC看起來更真實(shí)，行為脫離智障。

不過公司高管慢慢發(fā)現(xiàn)，力求真實(shí)細(xì)膩的游戲建模與NPC互動(dòng)的AI引擎，可以反用于真實(shí)世界中，讓各種企業(yè)和單位使用這些引擎完成各種需求。

而這些企業(yè)輸入的數(shù)據(jù)，又能用于完善Unity的AI引擎，讓Unity的虛擬建模逐漸成為真實(shí)世界的數(shù)碼克隆版。在當(dāng)下就能搭上元宇宙的順風(fēng)船了。

說到元宇宙，也就不得不提Unity在技術(shù)開放日上揭秘到數(shù)字人制作流程。

而下面這位「真人」小姐姐便是其中之一。

她會(huì)嘟嘴賣萌，也會(huì)緊皺眉頭生氣，甚至讓你不禁懷疑，如果有了她還需要再捏造二次元老婆么。

不過，對(duì)于量產(chǎn)的NPC來說，還需要點(diǎn)兒別的東西。

NPC如何「變?nèi)恕梗?/section>

想要把現(xiàn)實(shí)中的人給「元」了，顯然需要非常大量且富有多樣性的數(shù)據(jù)和標(biāo)注，例如人物建模、姿勢等等。

然而，使用現(xiàn)成的數(shù)據(jù)集是不行的。不僅因?yàn)閿?shù)據(jù)量太少，而且其中存在的隱私和偏見問題也飽受非議。

既然真實(shí)世界的數(shù)據(jù)不好用，那我們自己合成總行了吧。

于是，一個(gè)新興的替代方案誕生了——合成數(shù)據(jù)。

然而，這個(gè)想法從一開始就遇到了阻礙：合成數(shù)據(jù)的生成器很難搞。

為此，Unity推出了一個(gè)全新的解決方案「PeopleSansPeople」。包含高了度參數(shù)化且直接可以應(yīng)用于仿真的3D人體數(shù)據(jù)、參數(shù)化照明和拍攝系統(tǒng)、參數(shù)化環(huán)境生成器，以及完全可操縱和可擴(kuò)展的領(lǐng)域隨機(jī)生成器。

顧名思義，這個(gè)項(xiàng)目是從將采樣自實(shí)景生活中真人外觀的數(shù)據(jù)隨機(jī)化開始，進(jìn)而基于這些數(shù)據(jù)打造合成數(shù)據(jù)模型，將真人虛擬NPC化，也讓NPC更加有真實(shí)感。

https://arxiv.org/pdf/2112.09290.pdf

通過PeopleSansPeople，用戶可以在JSON注釋文件中生成帶有完美匹配亞像素的2D/3D邊界框的RGB圖像、符合COCO標(biāo)準(zhǔn)的人體關(guān)鍵點(diǎn)以及語義/實(shí)例分割掩碼。

此外，PeopleSansPeople還利用了Detectron2 Key.point R-CNN變體進(jìn)行了基準(zhǔn)合成數(shù)據(jù)的訓(xùn)練。

結(jié)果顯示，利用合成數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，并在目標(biāo)真實(shí)世界的數(shù)據(jù)上進(jìn)行微調(diào)之后，可以讓關(guān)鍵點(diǎn)的AP評(píng)分達(dá)到60.37±0.48（COCO test-dev2017）。優(yōu)于單獨(dú)使用相同真實(shí)數(shù)據(jù)訓(xùn)練的模型（AP為55.80）和使用ImageNet預(yù)訓(xùn)練的模型（AP為57.50）。

「PeopleSansPeople」包含了一個(gè)針對(duì)macOS和Linux的大規(guī)模（1M以上）數(shù)據(jù)集：

28個(gè)不同年齡和種族的3D人體模型，不同的服裝（21,952個(gè)獨(dú)特的服裝紋理）；
39個(gè)動(dòng)畫短片，具有完全隨機(jī)的人體姿態(tài)、體型等；
完全參數(shù)化的照明（位置、顏色、角度和強(qiáng)度）和拍攝（位置、視場、焦距）設(shè)置；
一組物體基元，作為分散注意力的物體和具有不同質(zhì)地的遮擋物；
一組來自COCO未標(biāo)記的1600張自然圖像，作為物體的背景和紋理。

此外，PeopleSansPeople還有一個(gè)Unity的模板。

用戶可以將他們自己的3D數(shù)據(jù)導(dǎo)入這個(gè)環(huán)境，并通過修改或定義新的領(lǐng)域隨機(jī)生成器來進(jìn)一步提高其能力。除了具有之前那個(gè)數(shù)據(jù)集的全部功能，還包括：

4個(gè)具有不同服裝顏色的三維人體模型示例；
8個(gè)動(dòng)畫剪輯的例子，具有完全隨機(jī)化的人體姿態(tài)等等；
一組來自Unity Perception軟件包的529張自然的雜貨物品圖片，作為物體的背景和紋理。

為了讓模型能夠推廣到真實(shí)的領(lǐng)域之中，Unity通過額外的領(lǐng)域隨機(jī)化來改變模擬的環(huán)境，進(jìn)而在合成數(shù)據(jù)中引入更多的變化。

也就是對(duì)三維物體的位置和姿勢、場景中三維物體的紋理和顏色、燈光的配置和顏色、拍攝參數(shù)以及一些后期處理效果等方面進(jìn)行隨機(jī)化。

其中，隨機(jī)生成器在模擬過程中通過使用正態(tài)分布、均勻分布和二項(xiàng)分布從可能范圍中取樣來改變這些組件的參數(shù)。

而且在合成數(shù)據(jù)的訓(xùn)練中不并需要進(jìn)行數(shù)據(jù)增強(qiáng)，從而也就加快了訓(xùn)練的速度。

于是，有了這樣一個(gè)工具，我們就可以在即將成為NPC的模型上「整活」了。

比如，利用Unity Shader Graph在衣服上生成千奇百怪的圖案。

模擬各種人體能夠完成的動(dòng)作和姿勢也不在話下。

如此一來，應(yīng)該能避免類似這種NPC的腦袋調(diào)轉(zhuǎn)180度的情況吧。

現(xiàn)在，重新回到PeopleSansPeople這個(gè)模型上。

利用領(lǐng)域隨機(jī)化，Unity生成了由500,000張圖像和標(biāo)簽組成的合成數(shù)據(jù)集，并使用其中的490,000張圖片進(jìn)行訓(xùn)練，10,000張圖片進(jìn)行驗(yàn)證。

和COCO人物數(shù)據(jù)集相比，PeopleSansPeople在未標(biāo)注的以及帶有關(guān)鍵點(diǎn)的實(shí)例上，都多一個(gè)數(shù)量級(jí)。

數(shù)據(jù)集

對(duì)于COCO數(shù)據(jù)集，由于有許多縱向和橫向的圖像，從而觀察到了長方形的邊界框分布隨著圖像的高度和寬度而下降。其中絕大多數(shù)圖像的邊界框都集中在中心附近，而很少向邊緣擴(kuò)散。

對(duì)于PeopleSansPeople的合成數(shù)據(jù)，這些邊界框更傾向于占據(jù)整個(gè)圖像框架，從而強(qiáng)迫模型去利用整個(gè)接受域。

邊界框占位熱圖

從統(tǒng)計(jì)數(shù)據(jù)中可以看到，COCO的每個(gè)圖像大多只有1或2個(gè)邊界框，而PeopleSansPeople數(shù)據(jù)集中圖像的邊界框普遍更多。

PeopleSansPeople數(shù)據(jù)集有更均勻的邊界框大小分布，而COCO的邊界框大多很小。此外，PeopleSansPeople數(shù)據(jù)集中的大多數(shù)邊框都有關(guān)鍵點(diǎn)注釋，而COCO則不然。

a) 每幅圖像的邊界框數(shù)量；b) 相對(duì)于圖像大小的邊界框大??；c) 每個(gè)邊界框的注釋關(guān)鍵點(diǎn)；d) 每個(gè)邊界框的關(guān)鍵點(diǎn)比例

最后，為了量化PeopleSansPeople的人體模型在生成的圖像中的姿勢多樣性，Unity對(duì)人物四肢的五個(gè)代表性關(guān)鍵點(diǎn)生成了姿勢熱圖：

PeopleSansPeople的姿勢分布包含了COCO中的姿勢分布；
PeopleSansPeople的合成姿勢分布比COCO更廣泛；
在COCO中，大多數(shù)人是正面朝向的，導(dǎo)致了點(diǎn)的密度與「手性」的不對(duì)稱，而這在PeopleSansPeople的合成數(shù)據(jù)中是沒有的。

五個(gè)有代表性的關(guān)鍵點(diǎn)位置熱圖。上面：COCO；下面：PeopleSansPeople

為了獲得一套從模擬到真實(shí)的遷移學(xué)習(xí)的基準(zhǔn)結(jié)果，Unity使用平均精度（AP）作為模型性能的主要指標(biāo)，在COCO人物驗(yàn)證（person val2017）和測試集（test-dev2017）上進(jìn)行了平局。

Unity通過隨機(jī)初始化的權(quán)重和ImageNet預(yù)訓(xùn)練的權(quán)重來訓(xùn)練模型，并采用默認(rèn)的參數(shù)范圍來生成數(shù)據(jù)集，完全沒有超參數(shù)的應(yīng)用。

結(jié)果顯示，PeopleSansPeople模型比那些只在真實(shí)數(shù)據(jù)上訓(xùn)練的模型或用ImageNet預(yù)訓(xùn)練然后在真實(shí)數(shù)據(jù)上微調(diào)的模型更好。

在真實(shí)數(shù)據(jù)有限的情況下，這種效果在few-shot遷移學(xué)習(xí)中更為突出。

COCO人體驗(yàn)證集上的邊界框檢測結(jié)果

對(duì)COCO人體驗(yàn)證集的關(guān)鍵點(diǎn)檢測結(jié)果

COCO測試集上的關(guān)鍵點(diǎn)檢測結(jié)果

此外，由于合成數(shù)據(jù)帶有豐富的高質(zhì)量標(biāo)簽，它可以與很少甚至沒有注釋的真實(shí)數(shù)據(jù)結(jié)合起來，實(shí)現(xiàn)弱監(jiān)督訓(xùn)練。

Unity的AI項(xiàng)目負(fù)責(zé)人稱，PeopleSansPeople項(xiàng)目里，虛擬NPC模型的最終姿勢互動(dòng)、視覺效果不是實(shí)景截取的復(fù)制，實(shí)景數(shù)據(jù)只是模板基底，最終模型是合成的。

這樣既避免了當(dāng)下關(guān)于隱私的各種法律與道德麻煩，也能避免AI的數(shù)據(jù)偏見，實(shí)在是建模的不二良選。

而Unity不會(huì)缺乏真實(shí)基底數(shù)據(jù)合理合法的來源，因?yàn)楹芏喾?wù)于海量人流的企業(yè)與單位與Unity緊密合作，為之提供持續(xù)的數(shù)據(jù)。Unity只消在其中采用不涉及隱私的一小點(diǎn)，就能很大完善游戲化項(xiàng)目中的NPC們。

當(dāng)然，想要讓NPC真正告別「智障」，還有很長的一段路要走。

參考資料：

https://blog.unity.com/technology/human-centric-computer-vision-with-unity-synthetic-data

https://www.wired.com/story/gaming-giant-unity-wants-to-digitally-clone-the-world/

在元宇宙里克隆真人？Unity元宇宙的背后竟是游戲宅

新智元報(bào)道

在元宇宙里克隆真人？Unity元宇宙的背后竟是游戲宅