DIY最美數(shù)字女友！MIT開源最強虛擬人生成器，登Nature子刊

---

  視學算法報道  

編輯：小咸魚

【新智元導讀】麻省理工學院媒體實驗室（MIT Media Lab）的研究人員開源了一個虛擬角色生成工具。該工具結合了面部、手勢、語音和動作領域的人工智能模型，可用于創(chuàng)建各種音頻和視頻輸出，一舉登上《Nature Machine Intelligence》。

這年頭，用人工智能創(chuàng)建一個數(shù)字虛擬人感覺越來越容易了。

 

 

不過，關于數(shù)字人，不少言論都集中在「它有誤導性」和「它背后的deepfake技術有潛在的隱私泄露風險」這兩個觀點上。

 

 

其實，這項技術也可以用于積極的目的，比如，讓阿爾伯特·愛因斯坦復活，去教一堂物理課，或者與年長的自己聊一聊天。

 

 

為了鼓勵這項技術所能帶來的積極作用，麻省理工學院媒體實驗室（MIT Media Lab）的研究人員開源了一個易于使用的虛擬角色生成管道。

 

該虛擬角色生成管道結合了面部、手勢、語音和動作領域的人工智能模型，可用于創(chuàng)建各種音頻和視頻輸出。

 

使用人工智能技術制作的蒙娜麗莎、瑪麗·雪萊、馬丁·路德·金、阿爾伯特·愛因斯坦、文森特·梵高和威廉·莎士比亞的動畫

 

該虛擬角色生成管道還使用了可追蹤的、人類可讀的水印標記了其輸出的結果。

 

這樣一來，它生成的內容就可以與真實的視頻內容區(qū)分開來，進而防止一些惡意的用途。

 

研究人員希望教師、學生和醫(yī)療保健工作者可以嘗試一下，看看這個工具能否在各自的領域幫助到他們。

 

 

研究人員在《Nature Machine Intelligence》上寫道，如果有更多的學生、教育工作者、衛(wèi)生保健工作者和治療師有機會構建和使用這些虛擬角色，那么，這些虛擬角色可能會為更多人帶來福祉。

 

論文地址：https://www.nature.com/articles/s42256-021-00417-9

 

斯坦福虛擬人類互動實驗室的創(chuàng)始主任杰里米·巴倫森（Jeremy Bailenson）表示：

「當人工智能和人類開始共享身份時，這將是一個奇妙的世界。這篇論文完成了令人難以置信的工作，描繪了在教育、健康、親密關系等領域，AI生成角色的可能用途，同時給出了一個切實可行的路線圖，說明了如何避免隱私泄露和虛假視頻。」

 

該論文的第一作者Pat Pataranutaporn是Pattie Maes流體界面研究小組的博士生。

 

他說，「盡管世界上大多數(shù)人都是從deepfakes那里了解虛擬人技術的，但我們認為它有潛力成為創(chuàng)造性表達的工具。」

 

數(shù)字人的有趣妙用

生成性對抗網(wǎng)絡（GAN），是兩個相互競爭的神經(jīng)網(wǎng)絡的組合，使得創(chuàng)建極具真實感的圖像、克隆聲音和生成人臉動畫變得更加容易。

 

Pataranutaporn與Danry一起，在一個名為Machinoia的項目中首次探索了生成人臉動畫的可能性。

 

統(tǒng)一管道允許用戶提供視頻、語音或文本作為輸入，以生成視頻和實時面部濾鏡

 

在這個項目中，Pataranutaporn創(chuàng)造了各個年齡段的自己：少年、青年、中年、老年，讓他們從不同的角度和自己進行對話。

 

Pataranutaporn說：「這次不尋常的經(jīng)歷讓我意識到自己作為一個人的旅程。這是一次非常新奇的體驗——用你自己的數(shù)據(jù)來揭示你自己以前從未想過的東西。」

 

 

研究人員說，自我探索只是AI虛擬角色的積極應用之一。

 

實驗表明，虛擬人可以使學生對學習更有熱情，并提高認知任務的表現(xiàn)，并作為傳統(tǒng)教學的補充。

 

Pataranutaporn解釋說，這項技術為教學提供了一種「根據(jù)興趣和個人背景進行個性化定制，并且可以隨著時間的推移而改變」的方式。

 

Machinoia技術還可以用于在視頻會議中隱藏自己的臉，但是還能保留面部表情和情緒。

 

如果人們要在會議上共享個人敏感信息（如健康和創(chuàng)傷經(jīng)歷），那這項技術會很有用。

 

在實時會議環(huán)境中使用人工智能生成的角色

 

Machinoia項目還有更多好玩的用例。

 

在今年秋天，由Maes和研究機構Roy Shilkrot共同教授的Deepfakes實驗課上，學生們用這項技術將一幅描繪清明歷史場景的中國畫中的人物制作成了動畫。

 

 

有的同學還用Deepfakes創(chuàng)建了一個「分手模擬器」。

法律和道德挑戰(zhàn)

研究人員在論文中指出，隨著技術的發(fā)展，虛擬人技術的蓬勃興起也帶來了不少法律和倫理問題。

 

例如，如何決定誰有權以虛擬數(shù)字化的形式重現(xiàn)一個歷史人物？名人的AI克隆人在網(wǎng)上推廣有害行為，誰承擔法律責任？與人類相比，人們更喜歡與虛擬人互動，這有什么危險嗎？

 

「我們這項研究的目標之一是提出問題，并就如何使用這項技術來造福社會展開公開討論」，Maes說。

 

「通過分享AI虛擬人這項技術，同時明確標注由它生成的視頻是合成的」，Pataranutaporn說，「就可以激發(fā)更多有創(chuàng)造性和積極的用例，這樣才能讓人們了解到這項技術的潛在好處」。

參考資料：

https://news.mit.edu/2021/ai-generated-characters-for-good-1216

https://www.nature.com/articles/s42256-021-00417-9

點個在看 paper不斷！