LapStyle - 基于拉普拉斯金字塔的高質(zhì)量風(fēng)格化方法 | CVPR2021

點擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時間送達(dá)

原文鏈接：https://zhuanlan.zhihu.com/p/384504389

編輯：AI算法與圖像處理

這篇專欄主要介紹我們團(tuán)隊（百度視覺技術(shù)部視頻理解與編輯組）發(fā)表于CVPR 2021上的工作：”Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer“。這篇論文主要針對當(dāng)前的前饋風(fēng)格化網(wǎng)絡(luò)對于復(fù)雜的風(fēng)格紋理遷移不理想的問題，提出了一種基于拉普拉斯金字塔的風(fēng)格化網(wǎng)絡(luò)，在風(fēng)格化速度和質(zhì)量上均有很大的提升，是我們在風(fēng)格化方向的第一篇工作。相關(guān)的代碼已經(jīng)開源在PaddleGAN 歡迎大家試用和star。

https://github.com/PaddlePaddle/PaddleGAN/blob/develop/docs/en_US/tutorials/lap_style.md

Motivation

藝術(shù)風(fēng)格遷移是指將一張風(fēng)格圖中的顏色和紋理風(fēng)格遷移到一張內(nèi)容圖上，同時保存內(nèi)容圖的結(jié)構(gòu)。相關(guān)算法在藝術(shù)圖像生成、濾鏡等領(lǐng)域有廣泛的應(yīng)用?；谏疃葘W(xué)習(xí)的風(fēng)格化方法較傳統(tǒng)方法有很大的提升，大致可以分類為基于優(yōu)化的方法（無需訓(xùn)練，對于每張圖需要通過優(yōu)化的方法來生成結(jié)果）和基于前饋網(wǎng)絡(luò)的方法（需要訓(xùn)練，預(yù)測時通過網(wǎng)絡(luò)前饋生成結(jié)果）。目前基于前饋網(wǎng)絡(luò)的風(fēng)格化算法存在紋理遷移不干凈、大尺度復(fù)雜紋理無法遷移等缺點；而目前基于優(yōu)化的風(fēng)格化方法雖然質(zhì)量較高，但速度很慢。

因此本文提出了一種能夠生成高質(zhì)量風(fēng)格化圖的快速前饋風(fēng)格化網(wǎng)絡(luò)——拉普拉斯金字塔風(fēng)格化網(wǎng)絡(luò)（LapStyle)，其核心思想是在低分辨率下遷移復(fù)雜紋理，再在高分辨率下對紋理的細(xì)節(jié)進(jìn)行修正。如頭圖所示，我們的方法能漸進(jìn)地生成復(fù)雜的紋理遷移效果，同時能夠在512分辨率下達(dá)到100fps的速度。為了追求更好的風(fēng)格化效果，我們也犧牲了一部分靈活性，LapStyle 是一個單風(fēng)格網(wǎng)絡(luò)，目前不支持任意風(fēng)格化。

LapStyle Network

算法框架

LapStyle 網(wǎng)絡(luò)最初的想法來自于實驗中的一個觀察：在低分辨率圖像上更容易對結(jié)構(gòu)復(fù)雜的大尺度紋理進(jìn)行遷移，而在高分辨率圖像上則更容易對局部小尺度紋理進(jìn)行遷移。因此我們將算法分為Drafting Network 和Revision Network。其中Drafting網(wǎng)絡(luò)首先在低分辨率下做初步的遷移，Revision 網(wǎng)絡(luò)再在高分辨率網(wǎng)絡(luò)下修正細(xì)節(jié)，提升分辨率。

Drafting Network

Drafting網(wǎng)絡(luò)的核心目標(biāo)是在低分辨率下遷移復(fù)雜紋理的雛形，我們這里采用了一個比較簡單的Unet + 多尺度AdaIN的結(jié)構(gòu)。

Revision Network

Revision網(wǎng)絡(luò)則是一個更加簡單的encoder-decoder 結(jié)構(gòu)，為了進(jìn)一步提升網(wǎng)絡(luò)對復(fù)雜紋理的遷移能力，這里我們在訓(xùn)練中添加了一個pixel-discriminator判別器來實現(xiàn)對抗性學(xué)習(xí)。這里審稿人提出了一個疑問，對于此處的判別器，其real 圖是一個固定的圖，是否會發(fā)生判別器過擬合而失效的問題？實際上在訓(xùn)練中并沒有出現(xiàn)這個情況，主要有三個原因。

• 訓(xùn)練時我們對風(fēng)格圖進(jìn)行了一定程度的增強(qiáng)，主要是隨機(jī)裁剪；

• 我們采用了SinGAN [1] 中的判別器結(jié)構(gòu)，其主要特點是網(wǎng)絡(luò)很小很淺，感受野有限，這也能夠避免判別器能夠“記住”風(fēng)格圖；

• Revision 網(wǎng)絡(luò)是在Drafting網(wǎng)絡(luò)后訓(xùn)練的，所以fake 圖在Revision Network最開始訓(xùn)練時就已經(jīng)有相對比較接近real圖的色彩和紋理了。

Training Objective

訓(xùn)練中，除了風(fēng)格化領(lǐng)域中常用的內(nèi)容和風(fēng)格損失外，我們還采用了STROTSS[2] 中提出的relaxed Earth Mover Distance (rEMD) loss 以及self-similarity loss。這兩個損失函數(shù)能夠有效地提升風(fēng)格紋理在內(nèi)容圖上的分布情況。損失函數(shù)具體的構(gòu)造可以見論文。

實驗

與前饋方法的對比

與現(xiàn)有的前饋方法（其中Johnson et al. 是單風(fēng)格網(wǎng)絡(luò)）相比，LapStyle能夠有效地將風(fēng)格紋理融合到內(nèi)容圖上，同時保持較好的清晰度，避免風(fēng)格化算法常見的結(jié)果模糊問題。

與優(yōu)化方法的對比

STROTSS[2] 應(yīng)該是當(dāng)前效果最好的基于優(yōu)化的風(fēng)格化方法，我們的方法在很多case 中能達(dá)到與其接近甚至更好的效果。STROTSS相較于LapStyle 主要的優(yōu)點是一些情況下風(fēng)格紋理和內(nèi)容融合地更好（如右下），這主要是由其優(yōu)化過程帶來的。

算法速度

由于LapStyle 中，最主要的風(fēng)格遷移過程在低分辨率網(wǎng)絡(luò)中完成，而高分辨率的Revision Network比較小，因此LapStyle的速度很快，在512分辨率下能夠達(dá)到接近100FPS（P40顯卡），比現(xiàn)有的前饋方法都要顯著的快。

討論

本文的主要貢獻(xiàn)在于將復(fù)雜風(fēng)格的遷移拆分為低分辨率下的初步遷移和高分辨率下的修正過程，這樣的拆解有效地提升了風(fēng)格化的質(zhì)量以及速度。采用拉普拉斯金字塔也是在這個motivation下比較自然的想法。有趣的是，cvpr 21上還有另外一篇拉普拉斯金字塔來做image translation 的方法LPTN [3]。其主要出發(fā)點是在低分辨率下做image translation，同時保持高分辨率的原有高頻信息。

前面自吹自擂了很多，但其實LapStyle 也還存在不少的問題有待解決。第一個就是目前LapStyle 不支持任意風(fēng)格化，對于每個風(fēng)格都需要重新進(jìn)行訓(xùn)練（一個風(fēng)格單卡十幾個小時），這樣顯然不夠靈活，如何在任意風(fēng)格化下實現(xiàn)復(fù)雜紋理的遷移是一個很困難也很值得挑戰(zhàn)的問題。第二個是如何對內(nèi)容圖和風(fēng)格圖做更好的融合，LapStyle的結(jié)果存在一些case，網(wǎng)絡(luò)對于風(fēng)格的遷移能力很好，但風(fēng)格和內(nèi)容圖卻結(jié)合的不夠好，就容易失去美感了。

最后，還是歡迎大家在PaddleGAN上試用我們的代碼，也歡迎大家在“一刻相冊”APP上試用我們已經(jīng)上線的多種多樣的風(fēng)格化濾鏡。如果你讀到這里，對風(fēng)格化，生成模型等編輯方向感興趣，并且有學(xué)術(shù)論文寫作和投稿經(jīng)驗，歡迎投遞簡歷到 [email protected] ～

參考文獻(xiàn)

[1] Tamar Rott Shaham, Tali Dekel, and Tomer Michaeli. Singan: Learning a generative model from a single natural image. In Proceedings of the IEEE International Conference on Computer Vision, pages 4570–4580, 2019.

[2] Nicholas Kolkin, Jason Salavon, and Gregory Shakhnarovich. Style transfer by relaxed optimal transport and self-similarity. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10051–10060, 2019.

[3] Liang J, Zeng H, Zhang L. High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 9392-9400.

努力分享優(yōu)質(zhì)的計算機(jī)視覺相關(guān)內(nèi)容，歡迎關(guān)注：

個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！

下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文

點亮 ，告訴大家你也在看