Meta AI：讓手繪小人動起來

---

來源：公眾號?新智元?授權(quán)

【導(dǎo)讀】想讓畫中的「紙片人」有生命，Meta AI來搞定！昨日，Meta AI宣布了一種獨創(chuàng)性方法，只需幾分鐘，就能動畫化兒童手繪的角色，效果拔群。

快看，「紙片人」居然自己跳出來了！

?

小貓學(xué)會了hiphop。

?

?

小蜜蜂還會做wave。

?

?

火柴人竟然會打跆拳道。

?

?

糖果人還能空中飛踢。

?

?

這些卡通動畫都是用孩子們的簡筆畫生成的，不過，作者可是一個AI！

?

AI動畫工具在兒童繪畫上翻車？

孩子們富有想象力和創(chuàng)造性的簡筆畫，有的時候能帶給人一些不一樣的思考。

?

?

不過，雖然家長或老師很容易就能看出孩子的畫想展示什么，但人工智能卻很難完成這項任務(wù)。

?

為什么呢？

?

這是因為孩子們的繪畫通常比較超脫常規(guī)，比如，人物的腳并不能支撐身子，或者人物的雙臂位于身體的同一側(cè)。

?

?

這樣一來，AI系統(tǒng)有時候就無法識別出圖像和繪畫中的人物。

?

不過，研究人員已經(jīng)有了一些眉目。

?

昨日，Meta AI宣布了一種獨創(chuàng)性方法，只需幾分鐘，就能自動生成兒童手繪人物或類人角色（即具有雙臂、兩條腿等的角色）的動畫，而且生成的動畫還能做到栩栩如生。

?

?

只需將孩子的手繪上傳給Meta AI，就可以看到它們變成會跳舞的角色，十分逼真。

?

手繪變動畫四步走

許多AI工具和技術(shù)都是為了處理真實的人類圖像而設(shè)計的，但兒童繪畫增加了人物特征的多樣性和不可預(yù)測性，這使得識別手繪人物變得更加復(fù)雜。

?

兒童繪畫中的「人」有許多不同的形式、顏色、大小和比例，在身體對稱性、形態(tài)等方面幾乎沒有相似之處。

?

于是，Meta AI通過四個步驟來應(yīng)對這一挑戰(zhàn)。

?

?

通過物體檢測識別人形

?

制作兒童人物動畫的第一步是將人物與背景和圖片中的其他類型的角色區(qū)分開來。

?

Meta AI采用基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型Mask R-CNN來提取兒童繪畫中的人物。

?

雖然Mask R-CNN已經(jīng)在最大的分割數(shù)據(jù)集上進行過預(yù)訓(xùn)練，但是這些數(shù)據(jù)集都是由真實世界物體的照片組成的，不包含手繪圖。

?

因此，研究人員又將模型在大約1000張手繪圖上進行了微調(diào)。

?

?

經(jīng)過微調(diào)過程后，模型就能夠很好地檢測出測試數(shù)據(jù)集中的人物。

?

不過，雖然現(xiàn)有的目標(biāo)檢測技術(shù)在區(qū)分兒童繪圖上的人物時非常有效，但是產(chǎn)生的分割mask不夠精確，無法用于動畫。

?

?

為了解決這個問題，我們改為使用從目標(biāo)檢測器獲得的邊界框，并應(yīng)用一系列形態(tài)學(xué)操作和圖像處理步驟來獲得mask。

?

使用角色mask從場景中提升人形

?

從繪圖中識別并提取人形后，下一步就是通過mask將主體與背景分開。

?

理論上，該步驟完成后，mask掉的部分應(yīng)該只含有人形的部分，沒有任何背景。

?

但是，如果手繪圖中的人物的手、腳、身體等部位在外觀上過于不符合常規(guī)時，Mask R-CNN預(yù)測的mask往往無法準(zhǔn)確地捕捉整個圖形。

?

比如下圖那個倒三角的小人，其中，黃色三角形代表身體，一條橫杠代表手臂。

?

Mask R-CNN的結(jié)果顯然非常粗糙，不是「砍掉」了手臂，就是加粗了大腿。

?

?

為此，Meta的研究人員開發(fā)了一種經(jīng)典的基于圖像處理的方法，對這些形狀各異的身體部件更加穩(wěn)健。

?

研究人員先用預(yù)測的人形邊界框來裁剪圖像，然后，應(yīng)用自適應(yīng)閾值處理和形態(tài)學(xué)操作，從框的邊緣進行泛填充，并假設(shè)mask是未被泛填充觸及的最大多邊形。

?

雖然這種方法可以精確提取提取適合于動畫的mask，但是當(dāng)背景雜亂無章或者紙張上有褶皺、破損或陰影時，就不好使了。

?

通過「裝配」為動畫做準(zhǔn)備

?

孩子們畫的人物有各種各樣的身體形狀，這些都遠遠超出了AI所見過的傳統(tǒng)人的頭部、手臂、腿部和軀干的形狀。

?

舉個例子，孩子畫的「火柴人」沒有軀干，胳膊和腿直接連在頭上。

?

因此，研究人員需要一種能夠處理這類形態(tài)「變異」的全新方法。

?

?

Meta使用專為人體姿勢檢測而訓(xùn)練的模型AlphaPose來識別人物上的關(guān)鍵點，這些關(guān)鍵點可以用作臀部、肩膀、肘部、膝蓋、手腕和腳踝的識別。

?

由于AlphaPose是在真人的圖像上訓(xùn)練的，所以要想讓它能檢測兒童繪畫中的姿勢，必須對它進行重新訓(xùn)練，以處理兒童繪畫中千奇百怪的姿勢。

?

為此，Meta的研究人員先內(nèi)部收集了一波兒童繪畫的數(shù)據(jù)。

?

然后，研究人員利用在這個初始數(shù)據(jù)集上訓(xùn)練的姿勢檢測器創(chuàng)建了一個內(nèi)部工具，并允許父母上傳他們孩子的畫作，而研究人員則可以利用上傳的畫進行額外的訓(xùn)練。

?

隨著數(shù)據(jù)越來越多，模型也得到反復(fù)地訓(xùn)練，最終達到了一個較高的準(zhǔn)確度。

?

三維運動捕捉制作2D人物動畫

?

一旦有了mask和聯(lián)合預(yù)測，也就有了制作動畫所需的一切。

?

Meta首先使用提取的mask生成一個網(wǎng)格，用原始圖形對其進行紋理化。

?

使用預(yù)測的關(guān)節(jié)位置，研究人員為角色創(chuàng)建一個骨架，通過旋轉(zhuǎn)骨骼和使用新的關(guān)節(jié)位置來生成各種姿勢。

?

在制作動畫之前，先從繪圖中創(chuàng)建一個需要操作的角色。

然后，通過將一幀運動捕捉數(shù)據(jù)投影到2D平面上并更改角色姿態(tài)。從前面（頂行）、側(cè)面（中間行）和扭曲的視角（底部）投射運動捕捉數(shù)據(jù)都可以。

?

最后，再讓角色產(chǎn)生一系列連續(xù)的姿勢，就可以創(chuàng)建一個動畫了。

?

Meta AI可以根據(jù)關(guān)節(jié)預(yù)測的可信度來選擇不同的運動：在手臂和腿都被正確預(yù)測的情況下，動畫可以無縫地產(chǎn)生。

?

但是如果軀干沒有出現(xiàn)在繪圖中，它的關(guān)節(jié)置信度值將會很低，這時，這只AI將不得不放棄任務(wù)，要求用戶糾正預(yù)測，或者宣布動畫「做不了」。

用AI制作更復(fù)雜的動畫

AI已經(jīng)成為富有「創(chuàng)造力」的強大工具，能夠賦予藝術(shù)家力量，激發(fā)新的表達形式。Meta的動畫工具能鼓勵人們?nèi)L試?yán)L畫，并把他們帶向更多的方向。

?

也許有一天，AI可以繪制出一幅復(fù)雜的圖畫，然后利用多個的角色相互作用以及背景中的元素，立即制作出一部詳細的動畫。

?

有了增強現(xiàn)實眼鏡，這些動畫人物甚至可以在現(xiàn)實世界中變得栩栩如生，與孩子們一起跳舞或交談。

?

可能，AI的想象力就像人類的想象力一樣，是無限的。

參考資料：

https://ai.facebook.com/blog/using-ai-to-bring-childrens-drawings-to-life/

猜您喜歡：

超110篇！CVPR 2021最全GAN論文匯總梳理！

超100篇！CVPR 2020最全GAN論文梳理匯總！

拆解組新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多樣性圖像生成

附下載 |?《可解釋的機器學(xué)習(xí)》中文版

附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實戰(zhàn)》

附下載 |《計算機視覺中的數(shù)學(xué)方法》分享

《基于深度學(xué)習(xí)的表面缺陷檢測方法綜述》

《零樣本圖像分類綜述: 十年進展》

《基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述》