不用GAN,照片生成簡筆畫,效果驚艷
點(diǎn)擊藍(lán)色“Python交流圈”關(guān)注我丫
加個(gè)“星標(biāo)”，每天一起進(jìn)步一點(diǎn)點(diǎn)
來源：? 機(jī)器之心
先看幾張效果圖！
《老友記》多人照片轉(zhuǎn)換效果：
還有男神基努 · 里維斯
效果是不是出奇的好？更有意思的是，這種創(chuàng)作線稿的方法并沒有使用大多數(shù)類似工具會用到的生成對抗網(wǎng)絡(luò) GAN。
目前，該項(xiàng)目在 Reddit 上已經(jīng)有超高熱度，項(xiàng)目名為 ArtLine，github star 量也已經(jīng)超過 700。如果你想嘗試一下自己的照片，項(xiàng)目作者 Vijish Madhavan 也把代碼放在了 Google Colab 上，運(yùn)行即可。
項(xiàng)目鏈接：
https://github.com/vijishmadhavan/ArtLine
Colab 地址：https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb
技術(shù)細(xì)節(jié)
效果驚艷的 ArtLine 都用到了什么技術(shù)呢？這里有詳細(xì)的技術(shù)細(xì)節(jié)介紹，包括自注意機(jī)制、逐步調(diào)整圖片大小以及生成器損失函數(shù)。
自注意機(jī)制借鑒的相關(guān)研究是 Ian Goodfellow 等人的論文《Self-Attention Generative Adversarial Networks 》。
論文：https://arxiv.org/pdf/1805.08318.pdf
項(xiàng)目作者介紹，生成器是經(jīng)過頻譜歸一化和自注意機(jī)制預(yù)訓(xùn)練的 UNET，也借鑒了 Jason Antic 的 DeOldify 項(xiàng)目，從而獲得有關(guān)面部特征的適當(dāng)細(xì)節(jié)。
DeOldify 項(xiàng)目地址：https://github.com/jantic/DeOldify
看到這里，也許有讀者會質(zhì)疑，不是說沒有用到 GAN 嗎？項(xiàng)目作者給出的解釋是，GAN did not make much of a difference so I was happy with No GAN.
在逐步增加圖片大小上，作者分別借鑒了英偉達(dá)與首爾國立大學(xué)的兩項(xiàng)相關(guān)研究：
論文：https://arxiv.org/pdf/1710.10196.pdf
論文：https://arxiv.org/pdf/1707.02921.pdf
在這個(gè)項(xiàng)目中，圖像尺寸逐漸增加，學(xué)習(xí)率也得到了調(diào)整。逐步調(diào)整圖片大小，可以幫助模型更好地泛化，因?yàn)樗梢钥吹礁嗖煌膱D像。
該項(xiàng)目使用到的最后一項(xiàng)技術(shù)源于 2016 年斯坦福大學(xué)李飛飛團(tuán)隊(duì)的研究論文《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》。
論文鏈接：https://arxiv.org/pdf/1603.08155.pdf
這項(xiàng)研究提出利用感知損失函數(shù)來訓(xùn)練圖像轉(zhuǎn)換中的前饋網(wǎng)絡(luò)，結(jié)果表明，在風(fēng)格遷移任務(wù)中，該研究得到了與其他方法類似的效果，但運(yùn)行速度提升了數(shù)個(gè)數(shù)量級。
轉(zhuǎn)換效果雖好，但項(xiàng)目作者表示，該項(xiàng)目依然存在著以下一些局限：
獲得良好的輸出效果取決于燈光、背景、陰影和照片質(zhì)量。一開始通常會獲得好的輸出效果，但也可能出現(xiàn)問題。模型需要調(diào)整以適應(yīng)所有用戶；
模型會混淆陰影與頭發(fā)，這也是項(xiàng)目作者正努力解決的問題；
500px 以下的低質(zhì)量圖片輸出效果不佳；
由于項(xiàng)目作者并非碼農(nóng)，代碼和實(shí)現(xiàn)會比較困難，未來更新版本將會改進(jìn)。
--End--
近期熱門推薦?4、30 個(gè) Python 的最佳實(shí)踐、小貼士和技巧
7、打馬賽克就安全了嗎？AI消除馬賽克，GitHub開源項(xiàng)目上線三天收獲近7000星
8、垃圾分類的正確姿勢？用 OpenCV 人工智能圖像識別技術(shù)來進(jìn)行
9、Python 游戲編程之實(shí)現(xiàn)飛機(jī)大戰(zhàn)(含源代碼)
10、用 Hypothesis 快速測試你的 Python 代碼
關(guān)注公眾號，回復(fù)“001”領(lǐng)取Python入門+進(jìn)階+實(shí)戰(zhàn)開發(fā)92天全套視頻教程
點(diǎn)贊最大的支持?