使用深度學(xué)習(xí)來(lái)實(shí)現(xiàn)超分辨率的介紹

重磅干貨，第一時(shí)間送達(dá)

作者：Bharath Raj

編譯：ronghuaiyang

超分辨率是從給定的低分辨率(LR)圖像中恢復(fù)高分辨率(HR)圖像的過(guò)程。由于較小的空間分辨率(即大小)或退化的結(jié)果(如模糊)，圖像可能具有“較低的分辨率”。我們可以將HR圖像和LR圖像通過(guò)如下公式聯(lián)系起來(lái)：LR = degradation(HR)`

顯然，在應(yīng)用退化函數(shù)時(shí)，我們可以從高分辨率圖像中得到低分辨率圖像。但是，我們可以反過(guò)來(lái)做嗎？在理想情況下，是的！如果我們知道精確的退化函數(shù)，通過(guò)對(duì)LR圖像應(yīng)用它的逆函數(shù)，我們可以恢復(fù)HR圖像。

但是，問(wèn)題就在這里。我們通常事先不知道退化函數(shù)。直接估計(jì)逆退化函數(shù)是一個(gè)不適定的問(wèn)題。盡管如此，深度學(xué)習(xí)技術(shù)已被證明是有效的超分辨率方法。

本博客主要介紹如何通過(guò)使用監(jiān)督訓(xùn)練方法使用深度學(xué)習(xí)來(lái)進(jìn)行超分辨率。還討論了一些重要的損失函數(shù)和度量。很多內(nèi)容都來(lái)自于這篇文獻(xiàn)綜述：https://arxiv.org/abs/1902.06068，讀者可以參考一下。

如前所述，深度學(xué)習(xí)可以用給定的低分辨率圖像來(lái)估計(jì)高分辨率圖像。通過(guò)使用高分辨率圖像作為目標(biāo)(或 ground-truth)和LR圖像作為輸入，我們可以將其視為監(jiān)督學(xué)習(xí)問(wèn)題。

在本節(jié)中，我們將按照卷積層的組織方式對(duì)各種深度學(xué)習(xí)方法進(jìn)行分組。在我們繼續(xù)討論組之前，先介紹一下數(shù)據(jù)準(zhǔn)備和卷積類型。用于優(yōu)化模型的損失函數(shù)在本博客的最后單獨(dú)給出。

獲取低分辨率數(shù)據(jù)的一個(gè)簡(jiǎn)單方法是對(duì)高分辨率數(shù)據(jù)進(jìn)行退化。這通常是通過(guò)模糊或添加噪聲來(lái)實(shí)現(xiàn)的。較低空間分辨率的圖像也可以通過(guò)經(jīng)典的上采樣方法進(jìn)行縮放，比如Bilinear或Bicubic插值。還可以引入JPEG和量化噪聲來(lái)降低圖像的質(zhì)量。

需要注意的一件重要事情是，建議以未壓縮(或無(wú)損壓縮)格式存儲(chǔ)高分辨率圖像。這是為了防止由于有損壓縮而導(dǎo)致的高分辨率圖像質(zhì)量下降，這可能會(huì)導(dǎo)致性能不佳。

除了經(jīng)典的2D卷積，網(wǎng)絡(luò)中還可以使用一些有趣的變體來(lái)改進(jìn)結(jié)果。Dilated卷積可以提供更有效的視場(chǎng)，因此可以使用相隔很遠(yuǎn)的信息。Skip connections、Spatial Pyramid Pooling和Dense Blocks推動(dòng)了低級(jí)特征和高級(jí)特征的結(jié)合，以提高性能。

上面的圖片提到了一些網(wǎng)絡(luò)設(shè)計(jì)策略。有關(guān)更多信息，可以參考這篇論文：https://arxiv.org/abs/1902.06068。關(guān)于深度學(xué)習(xí)中常用的不同類型卷積的入門知識(shí)，你可以參考這個(gè)博客：https://towardsdatascience.com/types-of-convolutions-in-deep-learning-717013397f4d。

第1組：前置上采樣

該方法首先對(duì)低分辨率圖像進(jìn)行插值，得到“粗”的高分辨率圖像?，F(xiàn)在，CNNs被用來(lái)學(xué)習(xí)從插值的低分辨率圖像到高分辨率圖像的端到端映射。這個(gè)方法的直覺(jué)是，使用傳統(tǒng)方法(如雙線性插值)對(duì)低分辨率圖像進(jìn)行上采樣，然后對(duì)結(jié)果進(jìn)行細(xì)化，可能比學(xué)習(xí)從低維空間到高維空間的直接映射更容易。

您可以參考這篇文章的第5頁(yè)：https://arxiv.org/abs/1902.06068，了解使用這種技術(shù)的一些模型。優(yōu)點(diǎn)是，由于上采樣是用傳統(tǒng)的方法處理的，CNN只需要學(xué)習(xí)如何對(duì)粗圖像進(jìn)行細(xì)化，這更加簡(jiǎn)單。此外，由于我們這里沒(méi)有使用轉(zhuǎn)置卷積，checkerboard artifacts可能會(huì)被繞過(guò)。然而，缺點(diǎn)是預(yù)定義的上采樣方法可能會(huì)放大噪聲并導(dǎo)致模糊。

第2組：后置上采樣

在這種情況下，低分辨率圖像被傳遞到CNNs。上采樣在最后一層使用可學(xué)習(xí)層來(lái)執(zhí)行。

該方法的優(yōu)點(diǎn)是在較低維空間(上采樣前)進(jìn)行特征提取，從而降低了計(jì)算復(fù)雜度。此外，通過(guò)使用一個(gè)可學(xué)習(xí)的上采樣層，可以對(duì)模型進(jìn)行端到端的訓(xùn)練。

第3組：逐步上采樣

在上面的組中，雖然計(jì)算復(fù)雜度降低了，但是只使用了一個(gè)上采樣卷積。這使得大尺度縮放的學(xué)習(xí)過(guò)程更加困難。為了解決這個(gè)缺陷，Laplacian Pyramid SR Network和progressive SR采用了漸進(jìn)上采樣的框架。在這種情況下，模型使用級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)在較小的尺度上每一步逐步重建高分辨率的圖像。

通過(guò)將一個(gè)困難的任務(wù)分解成更簡(jiǎn)單的任務(wù)，可以大大降低學(xué)習(xí)難度，獲得更好的性能。此外，像curriculum learning這樣的學(xué)習(xí)策略可以進(jìn)一步降低學(xué)習(xí)難度，提高最終的performance。

第4組：迭代上下采樣

另一種流行的模型架構(gòu)是hourglass(或U-Net)結(jié)構(gòu)。有些變體，如Stacked Hourglass網(wǎng)絡(luò)使用幾個(gè)連續(xù)的hourglass結(jié)構(gòu)，有效地在上采樣和下采樣過(guò)程之間交替。

該框架下的模型能夠更好地挖掘出低分辨率圖像和高分辨率圖像對(duì)之間的深層關(guān)系，從而提供更高質(zhì)量的重建結(jié)果。

利用損失函數(shù)來(lái)測(cè)量生成的高分辨率圖像與ground truth高分辨率圖像之間的差異。然后用這個(gè)差(誤差)來(lái)優(yōu)化監(jiān)督學(xué)習(xí)模型。存在幾種類型的損失函數(shù)，每一種函數(shù)都對(duì)生成的圖像的不同方面進(jìn)行懲罰。

通常，通過(guò)對(duì)每個(gè)損失函數(shù)的誤差分別加權(quán)和求和，可以使用多個(gè)損失函數(shù)。這使得模型能夠同時(shí)關(guān)注多個(gè)損失函數(shù)所貢獻(xiàn)的方面。

 total_loss = weight_1 * loss_1 + weight_ 2 * loss_2 + weight_3 * loss_3

在本節(jié)中，我們將探索用于訓(xùn)練模型的一些流行的損失函數(shù)。

像素?fù)p失是最簡(jiǎn)單的一類損失函數(shù)，其中生成的圖像中的每個(gè)像素都直接與ground-truth圖像中的每個(gè)像素進(jìn)行比較。使用流行的損失函數(shù)，如L1或L2損失，或高級(jí)變體，如smooth L1損失。

PSNR度量(下面討論)與像素?fù)p失高度相關(guān)，因此最小化像素?fù)p失可以直接最大化PSNR度量值(表明性能良好)。然而，像素?fù)p失并沒(méi)有考慮到圖像質(zhì)量，而且模型常常輸出感知上不令人滿意的結(jié)果(通常缺乏高頻細(xì)節(jié))。

這種損失是基于圖像的感知質(zhì)量來(lái)評(píng)估圖像質(zhì)量的。一種有趣的方法是比較生成的圖像和ground truth圖像的高層特征。我們可以讓圖像通過(guò)一個(gè)預(yù)先訓(xùn)練好的圖像分類網(wǎng)絡(luò)(如VGG-Net或ResNet)來(lái)獲得這些高級(jí)特征。

上面的函數(shù)計(jì)算ground-truth圖像和生成的圖像之間的內(nèi)容損失，給定pre-trained網(wǎng)絡(luò)(Φ)，和第I層的輸出，網(wǎng)絡(luò)計(jì)算這兩者的損失。這種損失鼓勵(lì)生成的圖像在感知上類似于ground-truth圖像。由于這個(gè)原因，它也被稱為感知損失。

為了使生成的圖像具有與ground-truth圖像相同的樣式(紋理、顏色、對(duì)比度等)，使用紋理?yè)p失(或樣式重建損失)。根據(jù)Gatys et. al的描述，圖像的紋理被定義為不同特征通道之間的相關(guān)性。特征通道通常用預(yù)訓(xùn)練的圖像分類網(wǎng)絡(luò)(Φ)來(lái)提取。

特征圖之間的相關(guān)關(guān)系用Gram矩陣(G)表示，G是矢量化特征圖i和j在圖層I上的內(nèi)積(見(jiàn)上圖)。一旦對(duì)兩幅圖像計(jì)算了Gram矩陣，計(jì)算紋理?yè)p失就很簡(jiǎn)單，如下圖所示：

通過(guò)使用這種損失，推動(dòng)模型來(lái)創(chuàng)建真實(shí)的紋理和視覺(jué)上更令人滿意的結(jié)果。

利用Total Variation (TV)損失抑制生成圖像中的噪聲。它取相鄰像素之間的絕對(duì)差值之和，并測(cè)量圖像中有多少噪聲。對(duì)于生成的圖像，TV loss計(jì)算如下：

這里, i,j,k 分別對(duì)高度，寬度和通道進(jìn)行迭代。

生成對(duì)抗網(wǎng)絡(luò)(GANs)已越來(lái)越多地用于包括超分辨率在內(nèi)的幾種基于圖像的應(yīng)用。GANs通常由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成——生成器和鑒別器——相互競(jìng)爭(zhēng)。

給定一組目標(biāo)樣本，生成器嘗試生成樣本，以欺騙鑒別器，使其相信它們是真實(shí)的。鑒別器試圖從假(生成的)樣本中分辨出真實(shí)(目標(biāo))樣本。使用這種迭代訓(xùn)練方法，我們最終得到一個(gè)生成器，它非常擅長(zhǎng)生成與目標(biāo)示例類似的示例。下圖顯示了一個(gè)典型GAN的結(jié)構(gòu)。

為了提高性能，對(duì)基本GAN體系結(jié)構(gòu)進(jìn)行了改進(jìn)。例如，Park et. al使用特征級(jí)鑒別器來(lái)捕捉真實(shí)高分辨率圖像的更有意義的潛在屬性。你可以查看這個(gè)blog：https://medium.com/beyondminds/advances-in-geners-adversarialnetworks-7bad57028032?

通常情況下，進(jìn)行對(duì)抗損失訓(xùn)練的模型具有更好的感知質(zhì)量，即使它們?cè)赑SNR上可能比那些進(jìn)行像素?fù)p失訓(xùn)練的模型要差。一個(gè)小缺點(diǎn)是，GAN的訓(xùn)練過(guò)程有點(diǎn)困難和不穩(wěn)定。但是，目前正在積極研究穩(wěn)定的GAN的訓(xùn)練的方法。

一個(gè)大問(wèn)題是我們?nèi)绾味康卦u(píng)估模型的性能。許多圖像質(zhì)量評(píng)估(IQA)技術(shù)(或度量)用于相同的目的。這些指標(biāo)可以大致分為兩類——主觀指標(biāo)和客觀指標(biāo)。

主觀度量基于人類觀察者的感知評(píng)價(jià)，而客觀度量基于試圖評(píng)估圖像質(zhì)量的計(jì)算模型。主觀度量通常更“感知上準(zhǔn)確”，但是其中一些度量不方便、耗時(shí)或計(jì)算成本高昂。另一個(gè)問(wèn)題是這兩類度量標(biāo)準(zhǔn)可能不一致。因此，研究人員經(jīng)常使用這兩類指標(biāo)來(lái)顯示結(jié)果。

在本節(jié)中，我們將簡(jiǎn)要探討一些廣泛使用的度量標(biāo)準(zhǔn)，以評(píng)估超級(jí)分辨率模型的性能。

峰值信噪比(PSNR)是一種常用的客觀指標(biāo)，用于測(cè)量有損變換的重建質(zhì)量。PSNR與ground truth圖像與生成圖像的均方誤差(MSE)的對(duì)數(shù)成反比。

在上面的公式中，L是可能的最大像素值(對(duì)于8位RGB圖像，它是255)。不足為奇的是，由于PSNR只關(guān)心像素值之間的差異，它并不能很好地代表感知質(zhì)量。

結(jié)構(gòu)相似度(SSIM)是一種基于亮度、對(duì)比度和結(jié)構(gòu)三個(gè)相對(duì)獨(dú)立的比較來(lái)衡量圖像之間結(jié)構(gòu)相似度的主觀度量。抽象地說(shuō)，SSIM公式可以表示為亮度、對(duì)比度和結(jié)構(gòu)比較的加權(quán)乘積，分別計(jì)算。

式中，α，β和γ分別為亮度、對(duì)比度和結(jié)構(gòu)比較函數(shù)的權(quán)重。常用的SSIM公式表示如下：

在上面的公式中μ(I)代表了一個(gè)特定圖像的均值，σ(I)表示了特定圖像的方差，σ(I,I’)表示了兩張圖像的協(xié)方差，C1, C2是設(shè)置的常量，避免計(jì)算的不穩(wěn)定。為簡(jiǎn)潔起見(jiàn)，這里沒(méi)有解釋這些術(shù)語(yǔ)的意義和確切的推導(dǎo)過(guò)程，感興趣的讀者可以在本文中查看第2.3.2節(jié)：https://arxiv.org/abs/1902.06068。

由于圖像統(tǒng)計(jì)特征可能分布不均或失真，局部評(píng)估圖像質(zhì)量比全局更可靠。均值SSIM (MSSIM)是一種局部評(píng)估質(zhì)量的方法，它將圖像分割成多個(gè)窗口，并對(duì)每個(gè)窗口獲得的SSIM進(jìn)行平均。

無(wú)論如何，由于SSIM是從人類視覺(jué)系統(tǒng)的角度來(lái)評(píng)價(jià)重建質(zhì)量的，所以它更符合感知評(píng)價(jià)的要求。

下面列出了其他一些評(píng)估圖像質(zhì)量的方法。感興趣的讀者可以參考這篇論文：https://arxiv.org/abs/1902.06068了解更多細(xì)節(jié)。

• 平均意見(jiàn)評(píng)分(MOS)

• 基于任務(wù)的評(píng)價(jià)

• 信息保真度準(zhǔn)則(IFC)

• 視覺(jué)信息保真度(VIF)

—END—

英文原文：https://medium.com/beyondminds/an-introduction-to-super-resolution-using-deep-learning-f60aff9a499d