【CV】CVPR2020丨SPSR：基于梯度指導的結構保留超分辨率方法
作者 | Alan
授權轉(zhuǎn)載自 |?https://zhuanlan.zhihu.com/p/121721537
CVPR2020：Structure-Preserving Super Resolution with Gradient Guidance
論文：https://arxiv.org/pdf/2003.13081.pdf
代碼：https://github.com/Maclory/SPSR
我們知道，結構信息在超分辨率問題中相當重要。目前已經(jīng)有很多感知驅(qū)動的方法(SRGAN、ESRGAN、EnhanceNet)使用 GAN Loss 和 Perceptual Loss 生成較為逼真，且細節(jié)豐富的超分圖像。然而，在這些恢復的圖像中總是存在一些我們并不希望它出現(xiàn)的結構變形，如下圖1所示。
僅僅使用 L1 Loss 的RCAN生成圖像的輪廓邊緣雖然相對規(guī)則，但是整體較為模糊。SRGAN、ESRGAN、NatSR等生成的圖像則存在明顯的結構變形。
因此，論文提出了結構保留超分辨率方法 SPSR，以緩解結構變形的同時，保留 GAN 方法生成豐富紋理細節(jié)的優(yōu)點。特別的是，論文使用了圖像的梯度信息去指導圖像復原。
如何通過梯度信息指導圖像復原？
主要有兩點：
1.SPSR 采用了一個額外的梯度分支網(wǎng)絡，生成高分辨率梯度圖，作為額外的結構先驗。
2.SPSR 引入了新的梯度損失，對超分辨率圖像施加了二次約束。
因此，梯度信息以及梯度 Loss 能夠進一步幫助生成網(wǎng)絡更多的關注圖像的幾何結構。除此之外，SPSR 這個方法同樣適用于其它 SR 模型方法。
從圖 1 可以看到， SPSR 不僅能夠生成比 RCAN 更清晰的結果，同時保留更加精細的幾何結構。
網(wǎng)絡結構
1.梯度圖 Gradient Map
首先SPSR 從 LR 圖像中提取 LR 梯度圖，通過計算相鄰像素之間的差異獲得：
基于公式自己實現(xiàn)的代碼如下(具體實現(xiàn)請參考源碼)：
import torch
import torch.nn as nn
class Gradient_Map(nn.Module):
def __init__(self):
super(Gradient_Map,self).__init__()
self.pad = nn.ReplicationPad2d((1,0,1,0))
def get_gray(self,x):
'''
Convert image to its gray one.
'''
gray_coeffs = [65.738, 129.057, 25.064]
convert = x.new_tensor(gray_coeffs).view(1, 3, 1, 1) / 256
x_gray = x.mul(convert).sum(dim=1)
return x_gray.unsqueeze(1)
def forward(self,x):
x = self.pad(x)
x = self.get_gray(x)
h = x.size()[2]
w = x.size()[3]
I_x = torch.pow((x[:,:,1:,1:]-x[:,:,:h-1,1:]),2)
I_y = torch.pow((x[:,:,1:,1:]-x[:,:,1:,:w-1]),2)
M_I = torch.pow(I_x+I_y,0.5)
return M_I2.梯度分支網(wǎng)絡Gradient branch
從圖2中可以看到，梯度分支網(wǎng)絡中的模塊首先會合并來自SR分支網(wǎng)絡的幾個中間層輸出特征，這是由于SR分支網(wǎng)絡中間層包含豐富的結構信息，這對于梯度圖的恢復有著關鍵的作用。其次，在梯度分支網(wǎng)絡末端，梯度圖的特征信息又會合并到 SR 分支網(wǎng)絡，用于指導SR 重建過程。
3.SR分支網(wǎng)絡 SR branch
對于SR分支網(wǎng)絡一共有兩個部分：
第一部分：采用了與 ESRGAN 相同的網(wǎng)絡結構，一共有23個 RRDB 模塊。并且第5，10，15，20個RRDB 模塊的輸出用于合并到梯度分支網(wǎng)絡。
第二部分：連接從梯度分支網(wǎng)絡獲得的SR梯度特征圖，再使用一個 RRDB 模塊+一個卷積層生成最后的SR 特征。
PS：關于網(wǎng)絡模型的實現(xiàn)細節(jié)論文中并沒有做過多的介紹，因此具體的實現(xiàn)還需要等待作者公開源碼。
目標函數(shù)和損失
1.傳統(tǒng) Loss：
首先使用了 L1 Loss 和 Perceptual Loss：
同時還引入 GAN Loss：
2.梯度 Loss：
為了說明梯度 Loss 的作用，論文作者給出了一個1-D 情況下的示例?？梢钥吹剑绻麅H通過L1損失在圖像空間中對模型進行優(yōu)化，當給定輸入測試序列后，通常得到的SR序列，如圖3（b）所示，而其GT序列 如圖3（a）所示。
該模型無法恢復鋒利的邊緣，原因在于該模型傾向于從訓練數(shù)據(jù)中給出所有的HR序列統(tǒng)計的中位數(shù)值。于是再這種情況下，如果計算并顯示兩個序列的梯度值，則可以觀察到SR梯度是平坦且峰值較低，而HR的梯度是一個尖峰。兩者梯度分布相差明顯。
因此，引入梯度 Loss ，模型則能夠更好地從梯度空間中學習圖像特征。它有助于模型將注意力集中在圖像鄰域，以便可以更適當?shù)赝茢喑鰣D像銳度的局部強度。于是，當圖像梯度信息，如圖3(f)的所示，被模型捕捉到，那么 SR 方法則能夠更好地在這些梯度信息引導中，避免過度模糊或者過度銳化的復原，從而生成更加逼真的超分辨率圖像。
梯度 Loss 的具體形式如下：
?用于衡量SPSR 網(wǎng)絡中生成的SR梯度特征圖與真實梯度特征圖之間的絕對誤差。
SPSR 設計了額外的一個梯度判別網(wǎng)絡用于優(yōu)化以下?lián)p失函數(shù)，梯度特征圖為 SR 圖像的梯度特征圖：
梯度判別網(wǎng)絡通過對抗學習也能夠監(jiān)督SR 圖像的生成網(wǎng)絡：
值得注意的是：梯度提取操作符?
?是可微的，因此模型可以直接端到端進行訓練。
整體優(yōu)化目標函數(shù)為：
其中，?
?是不同 Loss的權重參數(shù)，論文中分別設置為?
?。
實驗結果和分析
為了說明 SPSR 的有效性，論文從定量和定性的比較進行了說明。
首先從定量的角度，論文選取了 SFTGAN，SRGAN，ESRGAN，NatSR 等基于 GAN 網(wǎng)絡的SR 模型與 SPSR 進行對比。評價指標使用了PI 、PSNR、SSIM、LPIPS 4個指標?？梢钥吹?SPSR 在 LPIPS指標和 PI 指標上取得了最佳的性能表現(xiàn)。
然后通過生成圖像的可視化對比，可以看到其它方法生成的圖像局部區(qū)域幾何結構上都存在較為明顯的形變，SPSR 生成的結果則更加自然而且真實。除此之外，SPSR 圖像更加純凈沒有明顯的偽影和形變。以上也充分說明了 SPSR 方法的有效性。
總結
論文提出了一個基于梯度指導的結構保留超分辨率方法SPSR，緩解了感知驅(qū)動方法生成的SR結果中普遍存在的幾何變形問題。不僅設計了梯度分支網(wǎng)絡用于生成SR 梯度特征圖，同時引入梯度 Loss 做了進一步的約束。這也給后續(xù)超分辨率方法的研究提供了一個新的思路，利用不同的圖像先驗信息作為約束，指導 SR 模型訓練，以促使SR模型生成更自然和真實的圖像。
往期精彩回顧
獲取本站知識星球優(yōu)惠券，復制鏈接直接打開：
https://t.zsxq.com/qFiUFMV
本站qq群704220115。
加入微信群請掃碼：