【深度學習】動漫風格遷移AnimeGANv2，發(fā)布線上運行Demo

AnimeGANv2 最近發(fā)布了一項更新，由社區(qū)貢獻者開發(fā)，通過 Gradio 實現(xiàn)了一個可以在線運行的 Demo，發(fā)布在?huggingface 上。

訪問?

https://huggingface.co/spaces/akhaliq/AnimeGANv2

即可在線上輕松實現(xiàn) AnimeGANv2 ?的處理效果（僅支持靜態(tài)圖片處理）。

AnimeGAN 是基于 CartoonGAN 的改進,并提出了一個更加輕量級的生成器架構，2019 年 AnimeGAN 首次開源便以不凡的效果引發(fā)了熱議。

AnimeGANv2 線上測試效果

在初始版本發(fā)布時的論文《AnimeGAN: a novel lightweight GAN for photo animation》中還提出了三個全新的損失函數(shù)，用于提升風格化的動漫視覺效果。

這三個損失函數(shù)分別是：灰度風格損失，灰度對抗損失、顏色重建損失。

AnimeGAN 與其他動漫風格遷移模型的效果對比

去年九月發(fā)布的 AnimeGANv2 優(yōu)化了模型效果，解決了 AnimeGAN 初始版本中的一些問題。

在 v2 中還新增了新海誠、宮崎駿、今敏三位漫畫家漫畫風格的訓練數(shù)據(jù)集。

AnimeGAN 初代模型運行效果

AnimeGANv2?模型運行效果

以馬斯克為例，AnimeGAN 初代的效果已經(jīng)很令人驚艷，只是太過于白嫩病嬌，仿佛韓國男團成員。相比之下，v2 更加自然，也更貼合真實氣質(zhì)。

AnimeGANv2 的更新重點：

- 解決了生成的圖像中高頻偽影的問題；

- v2 更易于訓練，并能直接達到論文所述的效果；

- 進一步減少生成器網(wǎng)絡的參數(shù)數(shù)量。(生成器大小 8.17Mb)；

- 加入更多高質(zhì)量影像數(shù)據(jù)。

風景建筑圖片?AnimeGANv2?模型運行效果

?TensorFlow 版本環(huán)境配置要求?

• python 3.6

• tensorflow-gpu

• tensorflow-gpu 1.8.0 (ubuntu, GPU 1080Ti or Titan xp, cuda 9.0, cudnn 7.1.3)

• tensorflow-gpu 1.15.0 (ubuntu, GPU 2080Ti, cuda 10.0.130, cudnn 7.6.0)

• opencv

• tqdm

• numpy

• glob

• argparse

?PyTorch 實現(xiàn)?

權重轉(zhuǎn)換

git clone https://github.com/TachibanaYoshino/AnimeGANv2python convert_weights.py

python test.py --input_dir [image_folder_path] --device [cpu/cuda]

?墻內(nèi) Colab 運行

項目 GitHub
https://github.com/TachibanaYoshino/AnimeGANv2

線上 Demo
https://huggingface.co/spaces/akhaliq/AnimeGANv2

墻內(nèi) Colab

https://openbayes.com/console/open-tutorials/containers/pROHrRgKItf

眉清目秀的張三不像壞人

—— 完 ——