B站開源：動(dòng)漫修復(fù)，超分二次元
來源?量子位
為了讓你能高清重溫童年的XXX，AI近來沒少努力。
最近我們就發(fā)現(xiàn)了一個(gè)專為動(dòng)漫圖像而生的畫質(zhì)修復(fù)模型：
Real-CUGAN。
這個(gè)開源模型在今天登上了GitHub熱榜，還來自b站官方。
它的效果也比此前倆個(gè)挺火的超分模型要更進(jìn)一步，推理速度、兼容性什么的也都更快、更好。
“老二刺猿”了就是說[狗頭]。
結(jié)構(gòu)魔改自Waiuf2x
Real-CUGAN，全名Real Cascade U-Nets for Anime Image Super Resolution。
其結(jié)構(gòu)魔改自此前大火的圖片無損放大/降噪神器——Waiuf2x?（GitHub標(biāo)星23k），并可以與之無縫兼容；訓(xùn)練代碼基本來自騰訊去年剛出品的RealESRGAN?（GitHub標(biāo)星9.1k）。
Waiuf2x出自日本的一位“技術(shù)宅”，原理大概就是把一堆二次元圖片縮小再和原圖放一起，通過算法讓模型自己學(xué)會了如何放大拉伸圖片。
Waiuf2x有免費(fèi)的網(wǎng)頁版供大家使用。
RealESRGAN，主要通過模擬高分辨率圖像變低分辯率過程中的各種“退化”過程，然后讓模型看到一張糊圖后倒推出來它的高清圖。
它是對超分“前輩”ESRGAN的進(jìn)一步改進(jìn)，后者曾贏得ECCV2018 PIRM-SR挑戰(zhàn)賽中的第一名。
相比這兩位，Real-CUGAN都有什么獨(dú)到之處呢？
首先在訓(xùn)練集方面，前兩者都是采用私有二次元訓(xùn)練集，量級與質(zhì)量未知，Real-CUGAN則用了百萬級高清的二次元數(shù)據(jù)集。
在推理耗時(shí)方面（目標(biāo)為1080P），如果以Waiuf2x為基線，RealESRGAN要耗費(fèi)2.2x的時(shí)間，Real-CUGAN則只需1x。
在強(qiáng)度調(diào)整方面，Waiuf2x可以支持多種降噪強(qiáng)度，RealESRGAN沒法調(diào)整，Real-CUGAN則支持4種降噪強(qiáng)度與保守修復(fù)，未來還會提供不同程序的去模糊、去JPEG偽影、銳化等功能。
此外，Waiuf2x只能實(shí)現(xiàn)1倍和2倍分辨率修復(fù)，RealESRGAN只支持4倍，Real-CUGAN則2～4倍都可以（1倍還在訓(xùn)練中）。
當(dāng)然，最最最重要的還是效果。
來看一些最直觀的對比圖：
可以看到，Real-CUGAN和Waiuf2x的結(jié)果都差不多，但是RealESRGAN卻沒有處理好地板紋理。
在這組對比圖中，Waiuf2x明顯不如后兩者線條清晰，而相比Real-CUGAN，RealESRGAN中人物嘴巴和下顎處的線條是虛的，有雜線。
而在這組“極致渣清型”圖片的超分效果中，Waiuf2x仍然明顯不夠清晰。
而RealESRGAN整體清晰是清晰，卻仍然出現(xiàn)了雜線，以及和明顯的偽影——只有Real-CUGAN畫面干干凈凈，表現(xiàn)最好。
面向4類玩家提供不同參數(shù)配置
為了方便更多的創(chuàng)造者，Real-CUGAN面向4類群體開源了不同的推理參數(shù)設(shè)置。
Windows 玩家
Real-CUGAN為Windows用戶打包了一個(gè)可執(zhí)行環(huán)境（下載鏈接可在文末的倉庫里自?。?/span>。
通過congfig文件可進(jìn)行通用參數(shù)設(shè)置：在mode中填寫video或者image決定超視頻還是超圖像。
模型分三類，具體選哪種也給了參考：
Waifu2x-caffe玩家
提供了兩套參數(shù)：Real-CUGAN2x標(biāo)準(zhǔn)版(denoise-level3) 和Real-CUGAN2x無切割線版。
Python玩家
需torch>=1.0.0，配備numpy、opencv-python、moviepy模塊。
VapourSynth玩家（專業(yè)視頻壓制）
這個(gè)就不細(xì)說了，相應(yīng)的讀者可以參見倉庫的Readme說明～
最后，Real-CUGAN也正在計(jì)劃更新更多：包括快速模型、簡單的GUI、一步超到任意指定分辨率功能以及對本身效果的改進(jìn)（優(yōu)化紋理保留，削減模型處理痕跡）。
心動(dòng)的朋友可以戳下方鏈接試試手：
https://github.com/bilibili/ailab/tree/main/Real-CUGAN
猜您喜歡：
附下載 |?《可解釋的機(jī)器學(xué)習(xí)》中文版
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》
附下載 |《計(jì)算機(jī)視覺中的數(shù)學(xué)方法》分享
《基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述》