【盲圖像超分】IKC解析與深度思考

【AI侃侃】知道IKC 一文有一年多，但一直沒有深入看過論文，code也未曾仔細看過，潛意識中認為IKC太復雜了，所以一直拖、一直拖，直到看了DAN的兩個版本，看到了DAN中附帶了IKC的code，才覺得IKC可能是與DAN相類似的方法。趁著周末，花了近一天時間去看了IKC的原理以及code。

arXiv：https://arxiv.org/abs/1904.03377

code：https://github.com/yuanjunchai/IKC

Abstract

因其優(yōu)異的有效性與高效率，深度學習已成為圖像超分領域主流方案。現(xiàn)有圖像超分方案往往假設下采樣過程中的模糊核是固定/已知(比如bicubic)。然而，實際應用場景中的退化模糊核往往是復雜且未知的 ，進而導致已有方案在實際應用中的嚴重性能退化。

本文提出一種迭代核估計方法用于盲超分中的模糊核估計。 本文思想源自：核不匹配會導致有規(guī)律的偽影(過度退化或者過度模糊)，而這種規(guī)律可以用于對不精確的模糊核進行校正 。因此，我們提出一種迭代校正機制IKC，它可以取得比直接核估計更好的結(jié)果。與此同時，我們還提出一種基于SFT(Spatial Feature Transformer)的超分網(wǎng)絡SFTMD用于處理多模糊核。

合成數(shù)據(jù)與真實場景上的實驗表明：所提SFTMD+IKC可以生成視覺友好效果，同時在盲超分領域取得了SOTA性能。

本文主要貢獻包含以下幾點：

• 提出一種直觀且有效的深度學習框架用于模糊核估計；
• 提出一種基于SFT的非盲超分模型用于多模糊核圖像超分；
• 所提SFTMD+IKC在盲超分領域取得了SOTA性能。

Method

Problem Formulation

盲圖像超分問題可以描述如下：

已有研究往往采用各項同性高斯模糊核，此外，各項異性模糊核(可視作運動模糊+各項同性模糊核的組合)也開始得到關注。為簡單起見，本文主要聚焦于各項同性模糊核 。延續(xù)SRMD，我們采用了高斯模糊+bicubic下采樣 退化方式。在真實場景中，LR圖像往往還存在加性噪聲退化。噪聲假設同樣延續(xù)了SRMD中的高斯分布。

Motivation

接下來，我們將思考正確模糊核在超分過程中的重要性 。假設 為帶核信息輸入的預訓練超分模 型，當輸入正確模糊核，生成的超分圖像不會存在偽影。盲超分問題就等價于尋找合適的模糊核以使得超 分模型生成視覺友好的結(jié)果 。一種直接的方案是采用預測器(Predictor) 直接從LR估計模糊 核 , 該預測器可通過最小化 損失得到:

然而，對模糊核進行精確估計不太可能。此外，超分模型對于估計誤差非常敏感，不精確的模糊核會導致生成的結(jié)果包含偽影。

上圖給出了超分模型關于核不匹配的敏感性可視化圖，從中可以看到：

• 當超分模型中的核比真實核銳利時，即 , 超分結(jié)果會過于模糊;
• 當超分模型中的核比真實核模糊時，即 , 超分結(jié)果會過度銳化;
• 當超分模型中的核與真實核相當時，即 , 超分結(jié)果更為自然。

為解決核不匹配問題，我們提出了迭代校正模糊核以得到無偽影超分結(jié)果。為校正估計模糊核 , 我們構(gòu)建 了一個Corrector度量估計核與真實核之間的差異。核心思想在于：利用中間超分結(jié)果進行模糊核校正 。Corrector可以通過最小估計核與真實核之間的 損失優(yōu)化：

Corrector基于超分結(jié)果的特征對模糊核進行調(diào)整，調(diào)整后的模糊核又將優(yōu)化超分模型以得到具有更少偽影的結(jié)果。

上圖給出了迭代次數(shù)與性能的對比，可以看到：

• 僅僅一次校正的結(jié)果并不是非常好；
• 多次迭代可以有效提升PSNR/SSIM指標，直到達到飽和。

Proposed Method

Overall Framework  所提IKC方案包含超分模型 、預測器 以及校正器 。下圖給出了IKC的實現(xiàn)偽代碼。

Network Architecture of SR Model  作為最成功的處理多模糊核退化的超分方案，SRMD將輸入圖像與退化信息拼接到一起作為模型輸入，然后通過級聯(lián)卷積與PixelShuffle進行圖像超分。然而，SRMD中的拼接方式并非僅有的、也并非最優(yōu)選擇，原因有二：

• 核map并不包含圖像信息，直接采用聚氨基對其處理可能會引入與圖像無關的干擾；
• 核信息的影響僅在第一層得到了體驗，深層特征難以收到該核信息的影響。

為解決上述問題，我們提出了一種基于SFT的超分模型SFTMD，SFT通過對特征執(zhí)行仿射變換提升模糊核的影響，該仿射變化并不是直接包含在圖像處理圖像中，因而可以提供更好的性能。

上圖給出了所提SFTMD架構(gòu)示意圖, 它通過引入SFT對SRResNet進行擴展。SFT則基于模糊核特征H對于特 征F進行仿射變換：

注：仿射變換系數(shù) 通過另一個輕量CNN計算得到。

Network Architecture of Predictor and Corrector 預測器與校正器的網(wǎng)絡架構(gòu)見下圖。預測器由 4個卷積層(后接Leaky ReLU)+GAP組成；校正器則同時將超分圖像與已有估計 作為輸入。

Experiments

我們按照前述退化模型合成訓練數(shù)據(jù)集, 各項同性高斯模塊的核寬分別為 以對 應x2、x3以及 , 核尺寸固定為 ; 當應用于真實圖像時，我們添加了 的加性高斯噪聲 。訓練 數(shù)據(jù)為DIV2K+Flickr2K。

為定量評估所提方案，我們還提供了一個測試集Gaussian8：它包含8個各項同性模糊核，核寬范圍分別為

SFTMD與IKC均在合成訓練數(shù)據(jù)集上進行訓練。首先，采用MSE訓練SFTMD；然后，固定SFTMD參數(shù)，交替訓練預測器與校正。

Experiments of SFTMD

上表對比了所提SFTMD與其他盲超分方案的性能，從中可以看到：

• 相比SRCNN-CAB與SRMD，所提SFTMD在所有配置與數(shù)據(jù)集上均取得了顯著性能提升；
• 相比兩個基于SRResNet的基線模型，所提SFTMD同樣取得了最佳結(jié)果。

Experiments on Synthetic Test Images

上表給出了Gaussian8數(shù)據(jù)集上不同方案的性能對比，從中可以看到：

• 當退化核非bicubic時，在bicubic下采樣退化下表現(xiàn)好的模型出現(xiàn)了嚴重的性能下降；
• 盡管無核校正的的方案已經(jīng)取得了與現(xiàn)有方案相當?shù)慕Y(jié)果，但是，提升迭代次數(shù)仍可極大提升模型性能。

上圖對比了模糊核迭代校正過程中的超分結(jié)果，可以看到：

• 直接采用預測器估計的模糊核生成的結(jié)果并不好，或者過于模糊或者存在振鈴偽影；
• 隨著迭代次數(shù)提升，PSNR指標逐漸提升，同時視覺效果也逐漸變好。

上表對所提方案的泛化性能進行了驗證，從中可以看到：

• 所提IKC仍可保持其性能 ，說明IKC具有良好的泛化性；
• 移除PCA會造成性能下降，說明PCA有助于提升IKC的泛化性。

Experiments on Real Image Set

上圖對比了不同方案在真實圖像上的超分效果，可以看到：盡管退化模糊核未知，IKC仍可生成無偽影、邊緣銳利的超分結(jié)果 。

上圖提供了通過網(wǎng)格搜索優(yōu)化模糊核+SRMD與IKC在Chip圖像上的超分結(jié)果對比，從中可以看到：

• 盡管SRMD具有更銳利邊緣、高對比度，但存在輕度偽影；
• IKC可以自動生成視覺友好的超分結(jié)果，盡管對比度稍低，但仍具有銳利而自然的邊緣。

個人思考

因為最近一年確實看過不少盲超分的paper，所以第一遍看完IKC后只感覺不過如此。在做筆記時，思考了IKC這一類方案的時間線時才真的意識到IKC的巧妙之處。

上圖簡單梳理了自SRMD以來用于多模糊核退化的圖像超分方案，SRMD、DPSR、USRNet、DPIR以及MANet是Kai Zhang及其團隊成員的工作，IKC則是Jinjin Gu、Chao Dong團隊的成果，DANv1&DANv2是中科院Tieniu Tan團隊的成果。

SRMD首次成功的將核先驗、噪聲先驗信息嵌入到超分模型中 ；而后續(xù)的工作則針對模糊核的迭代估計進行探索，后續(xù)的工作延續(xù)了兩條不同的路線：

• 路線一：基于MAP思想進行迭代估計，像DPSR、USRNet以及DPIR采用了類似的思路，將傳統(tǒng)方法MAP逐漸嵌入到迭代優(yōu)化中；
• 路線二：基于CNN進行迭代估計，像IKC、DANv1以及DANv2均采用了深度學習的思想進行模糊核的迭代優(yōu)化。

作為路線二的探索者，IKC以核不匹配造成的偽影 作為切入點，深入分析了估計核與真實核之間過渡時的現(xiàn)象，提出了模糊核迭代優(yōu)化機制IKC。針對SRMD中核先驗與LR圖像的拼接處理方式可能存在弊端(核信息只影響一次、對深層難產(chǎn)生影響)，引入SFT以加深核先驗的影響。

當然，作為“吃螃蟹”的工作，它肯定會留下一些“坑”留給后來者去填。這些坑是啥呢？感興趣的可以先去看一下DANv2，或者等待筆者的解讀亦可。

如果覺得有用，就請分享到朋友圈吧！