GAN方法去模糊-DeblurGANv2
? ?作者：晟 沚? ? ? ? ??
? ? ? ??
作者將FPN架構(gòu)引入到去模糊問題中，同時(shí)采用了不同的backbone進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)，配合GAN以及內(nèi)容損失的訓(xùn)練學(xué)習(xí)，DeblurGANv2取得了更快更優(yōu)的性能。論文的創(chuàng)新點(diǎn)包含：
Framework Level。對(duì)于生成器，為了更好的保準(zhǔn)生成質(zhì)量,作者構(gòu)建了一個(gè)基于FPN的去模糊框架，判別器方面采用帶有最小開方損失（least-square loss ）的相對(duì)判別器（relativisticdiscriminator），并且分別結(jié)合了全局（global (image) ）和局部（local (patch) ）2個(gè)尺度的判別loss。
Backbone Level。采用了3種骨架網(wǎng)絡(luò)，分別為Inception-ResNet-v2，MobileNet，MobileNet-DSC。Inception-ResNet-v2具有最好的精度，MobileNet和MobileNet-DSC具有更快的速度。?
Experiment Level。在3個(gè)指標(biāo)PSNR, SSIM, perceptual quality 都取得了很好的結(jié)果?；贛obileNet-DSC的DeblurGAN-v2比DeblurGAN快了11倍，并且只有4M大??；同時(shí)作者也表明該框架同樣適用于更廣義的圖像復(fù)原任務(wù)。
01
網(wǎng)絡(luò)結(jié)構(gòu)
上圖給出了DeblurGANv2的架構(gòu)示意圖。下面將從不同的方面對(duì)其進(jìn)行簡單的介紹。
1
FPN
現(xiàn)有的圖像復(fù)原任務(wù)往往采用類ResNet架構(gòu)，或者采用多尺度輸入方式進(jìn)行圖像去模糊。然而，多尺度方式較為耗時(shí)且占用過多內(nèi)存。作者將目標(biāo)檢測中的FPN引入到圖像去模糊應(yīng)用中。
作者所設(shè)計(jì)的FPN包含5個(gè)尺度的特征輸出，這些特征被上采樣到原始輸入四分之一大小并拼接作為一個(gè)整體(它包含多尺度信息)，后接兩個(gè)上采樣模塊以復(fù)原到原始圖像大小并減少偽影。類似DeblurGAN，它同樣引入了全局殘差連接。輸入圖像歸一化到[-1, 1]，在輸出部分添加tanh激活以確保生成圖像的動(dòng)態(tài)范圍。FPN除具有多尺度特征匯聚功能外，它還在精度與效率之間取得均衡。
2
Backbone
該FPN框架支持多種backbone選擇，基于該即插即用屬于，可以根據(jù)性能與效率需求設(shè)計(jì)各式各樣的網(wǎng)絡(luò)架構(gòu)。作者默認(rèn)采用基于ImageNet預(yù)訓(xùn)練(包含更多語義相關(guān)特征)的模型的骨干網(wǎng)絡(luò)。以Inception-ResNet-v2作為骨干網(wǎng)絡(luò)追求更高的性能，其他如SE-ResNeXt同樣有效。
為追求更高效以切合終端設(shè)備應(yīng)用，作者選擇將MobileNetv2及其變種作為骨干網(wǎng)絡(luò)，這兩個(gè)網(wǎng)絡(luò)命名為：FPN-MobileNet，F(xiàn)PN-MobileNet-DSC。
除了上述提到的骨干網(wǎng)絡(luò)外，其他相關(guān)骨干網(wǎng)絡(luò)均可作為該架構(gòu)的選擇。
3
雙尺度判別器
不同于DeblurGAN選擇了WGAN-GP，作者在LSGAN基礎(chǔ)上適配了relativistic，該RaGAN-LS損失定義如下所示。相比WGAN-GP，它可以使得訓(xùn)練更快、更穩(wěn)定，同時(shí)生成的結(jié)果具有更高的感知質(zhì)量、更優(yōu)的銳利度。
?作者提到：對(duì)于高度非均勻模糊圖像，尤其是包含復(fù)雜目標(biāo)運(yùn)動(dòng)的圖像，全局尺度有助于判別器集成全空間上下文信息。為充分利用全局與局部特征，作者提出了采用雙尺度判別器進(jìn)行訓(xùn)練(它使得DeblurGANv2可以處理更大更復(fù)雜的真實(shí)模糊)。
最終，作者構(gòu)建的損失函數(shù)定義如下：
02
訓(xùn)練過程
?在實(shí)驗(yàn)過程中，采用了GoPro、DVD以及NFS三個(gè)數(shù)據(jù)。在制作數(shù)據(jù)時(shí)，將原始240fps視頻通過視頻插幀方法變?yōu)?840fps視頻，然后再同一時(shí)間窗下采用均值池化方式制作模糊數(shù)據(jù)。這種方式可以產(chǎn)生更為平滑而連續(xù)的模糊(可參考下圖ac為無插幀模糊，bd為插幀模糊)。
GoPro數(shù)據(jù)集 ：3214 blurry/clear 圖片對(duì)，其中2103作訓(xùn)練，1111做測試。
DVD數(shù)據(jù)集?：6708 blurry/clear 圖片對(duì)
NFS 數(shù)據(jù)集：75個(gè)視頻
03
實(shí)驗(yàn)結(jié)果
下圖給出了在GoPro測試集上的性能對(duì)比
上表中數(shù)據(jù)看出：DeblurGANv2取得了SOTA性能。SRN在PSNR指標(biāo)上稍優(yōu)，這是因?yàn)镈eblurGANv2的不是基于純MSE訓(xùn)練，但DeblurGANv2具有更高的SSIM指標(biāo)同時(shí)更低的計(jì)算量，節(jié)省了約78%的推理耗時(shí)。相比其他兩個(gè)次之去模糊方法，輕量型版本取得了類似性能但具有超100倍更快速度。值得一提的是，MobileNet-DSC僅需0.04s，近乎達(dá)到了實(shí)時(shí)性要求，這是截止目前僅有的更快且具有高性能的去模糊算法。
下圖給出了Kohler數(shù)據(jù)及上的效果以及指標(biāo)對(duì)比。盡管SRN具有更高的指標(biāo)，但DeblurGANv2具有更快的速度以及視覺效果，而SRN甚至出現(xiàn)了彩色偽影。
代碼地址：https://github.com/VITA-Group/DeblurGANv2
本文給出分別使用開源的模型的結(jié)果如下，先放一張模糊的原圖
fpn_inception模型結(jié)果
fpn_mobilenet模型結(jié)果
?
END
機(jī)器學(xué)習(xí)算法工程師
? ??? ? ? ? ? ? ? ? ? ? ? ??????????????????一個(gè)用心的公眾號(hào)
?
