實(shí)時(shí)風(fēng)格遷移，移動(dòng)端運(yùn)行，人臉特效又有了新玩法

點(diǎn)擊下面卡片關(guān)注“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

來源：機(jī)器之心

人臉風(fēng)格遷移出現(xiàn)新玩法！捷克理工大學(xué)聯(lián)合 Snap 公司創(chuàng)建了一個(gè)用于視頻中人臉風(fēng)格實(shí)時(shí)遷移的框架，既不需要大型數(shù)據(jù)集和冗長訓(xùn)練周期，更能夠在移動(dòng)端運(yùn)行。

今年，人臉視頻特效在全球又大火特火了一把。年初的「螞蟻牙黑」（人臉唱歌），還有不久前讓老照片動(dòng)起來的特效，效果都十分驚艷。

風(fēng)格遷移一直是圖像領(lǐng)域的熱門方向。那么在視頻上做實(shí)時(shí)人臉畫風(fēng)遷移效果怎么樣呢？

是這樣的：

當(dāng)然，視頻畫風(fēng)遷移并不是什么新鮮技術(shù)了。但這項(xiàng)研究最大的特點(diǎn)在于：移動(dòng)端、實(shí)時(shí)，由布拉格捷克理工大學(xué)和 Snap 公司的研究者聯(lián)合完成。目前已經(jīng)放出了完整論文，相關(guān)代碼將于下月發(fā)布。

• 項(xiàng)目地址：https://ondrejtexler.github.io/faceblit/

• 論文地址：https://ondrejtexler.github.io/res/faceblit-paper.pdf

具體而言，研究者提出了一種基于實(shí)例的實(shí)時(shí)視頻人臉風(fēng)格遷移框架 FaceBlit，該框架通過語義上有意義的方式保留了風(fēng)格的紋理細(xì)節(jié)，也就是說，用于描繪特定風(fēng)格特征的筆畫出現(xiàn)在目標(biāo)圖像的適當(dāng)位置。

與以往風(fēng)格遷移方法相比，該框架不僅保留了目標(biāo)對象（target subject）的身份，而且不需要大型數(shù)據(jù)集和冗長訓(xùn)練周期即可實(shí)現(xiàn)實(shí)時(shí)運(yùn)行。

為此，研究者修改了 Fi?er 等人（2017 年）的人臉風(fēng)格化 pipeline，這樣快速生成一組指引通道（guiding channel），不僅可以保留了目標(biāo)對象的身份，還兼容 Sykora 等人（2019 年）的基于 patch 合成算法的速度更快變體。

得益于這些方法上的改進(jìn)，研究者創(chuàng)建了首個(gè)即使在移動(dòng)端，也可以將單個(gè)肖像的藝術(shù)風(fēng)格實(shí)時(shí)遷移至目標(biāo)視頻中人臉的系統(tǒng)框架。

完整生成效果詳見以下視頻：

實(shí)時(shí)視頻人臉風(fēng)格遷移方法介紹

該研究方法的輸入是人臉的風(fēng)格范例圖像??以及目標(biāo)人臉視頻序列 T。研究假設(shè)臉部表情的改變以及移動(dòng)都是基于受試者注視攝像頭，并且不被其他物體遮擋。該研究的輸出是一個(gè)風(fēng)格化的序列??，它保留了??的重要藝術(shù)特征，同時(shí)保留了目標(biāo)主體的身份。盡管已經(jīng)可以使用 Fi?er 等人 [2017] 的方法產(chǎn)生這種輸出，但這里的一個(gè)主要缺點(diǎn)是，他們的方法僅適用于離線處理。

為了實(shí)現(xiàn)實(shí)時(shí)性能，研究者需要改變計(jì)算指引通道的方式，并用 Sykora 等人 [2019] 提出的更快的變體取代 Fi?er 等人 [2016] 的基于緩慢 patch 的合成算法。

在 Fi?er 等人提出的方法中，四個(gè)指引通道用于驅(qū)動(dòng)合成。分割指引??_seg，通過將面部細(xì)分為一組區(qū)域（頭發(fā)、眉毛、鼻子、嘴唇、口腔、眼睛和皮膚）來描繪重要的面部特征；位置指引（positional guide）??_pos，對源面部和目標(biāo)面部之間的空間對應(yīng)關(guān)系進(jìn)行編碼。這兩個(gè)通道確保語義上有意義的遷移。

為了保持目標(biāo)對象的身份特征，F(xiàn)i?er 等人采用了一種外觀指引（appearance guide）??_app 方法，通過使用 Shih 等人的攝影風(fēng)格遷移方法使源圖像和目標(biāo)圖像的外觀均衡，從而減少了源圖像和目標(biāo)圖像之間的域間隙。最后，時(shí)間指引??_temp 來執(zhí)行時(shí)間一致性，而??_temp 由風(fēng)格化幀的運(yùn)動(dòng) - 補(bǔ)償版本表示。

由于上述指引通道的計(jì)算需要幾十秒的時(shí)間，因此在實(shí)時(shí)場景下使用它們是不容易處理的。相反，該研究將四通道簡化為兩個(gè)基本的通道??_pos 和 ??_app（圖 2 所示），改變底層生成算法，將準(zhǔn)備時(shí)間減少到幾十毫秒。最后，該研究演示了如何將這兩個(gè)新的指引通道融入到 Sykora 等人 [2019] 的快速合成算法中。

優(yōu)勢

研究者表示，與其他風(fēng)格遷移方法相比，生成效果如此好的關(guān)鍵在于三個(gè)方面：位置指引、外觀指引和直方圖匹配。下圖為有無位置和外觀指引的生成效果圖對比，可以看到在無位置指引或外觀指引的情況下，生成的動(dòng)態(tài)效果圖都不同程度地存在著瑕疵：

此外，在生成目標(biāo)外觀指引 G^T_app 時(shí)，直方圖匹配也非常重要。從技術(shù)上來看，如果不匹配外觀指引的直方圖，則誤差 E 會(huì)很快超過閾值 t，這會(huì)導(dǎo)致 chunk 明顯變小，結(jié)果看起來可能會(huì)變得模糊。如下圖 8a 所示，無直方圖匹配時(shí)，目標(biāo)對象的身份無法很好地保留，生成效果比較模糊；而如圖 8b 所示，在進(jìn)行直方圖均衡化之后，生成效果有了明顯改善，更清晰了。

有無直方圖匹配的動(dòng)態(tài)生成效果對比如下：

?最后，研究者使用一種混合方法，使得目標(biāo)肖像畫栩栩如生，「復(fù)刻」視頻中人臉的各種表情神態(tài)。

神奇的一幕出現(xiàn)了，古雕像畫「活了」：

     

      個(gè)人微信（如果沒有備注不拉群！）
     
     

      請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
     
     

      

     


下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


   

    

   

   

    下載3 CVPR2021
   
   

    

   
   

    在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
   

點(diǎn)亮 ，告訴大家你也在看