【CV】CVPR2020丨重新思考圖像超分辨率的數(shù)據(jù)增強(qiáng)：綜合分析和一個(gè)新的策略
作者 | Alan
授權(quán)轉(zhuǎn)載自 |?https://zhuanlan.zhihu.com/p/121721537
CPVR2020論文：Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy
論文：https://arxiv.org/abs/2004.00448
代碼：https://github.com/clovaai/cutblur
數(shù)據(jù)增強(qiáng)是一種被認(rèn)為能夠有效提高模型性能的方法，而許多數(shù)據(jù)增強(qiáng)的方法也都是用于High-level 的視覺(jué)任務(wù)，并不適合圖像超分辨率任務(wù)。這篇論文對(duì)現(xiàn)有目前應(yīng)用于圖像超分辨率任務(wù)的數(shù)據(jù)增強(qiáng)方法進(jìn)行了綜合的分析，發(fā)現(xiàn)通過(guò)對(duì)圖像像素或者特征操作或者丟棄的方法會(huì)嚴(yán)重影響圖像復(fù)原，這是因?yàn)閳D像的空間關(guān)系很重要，但是這些操作破壞了圖像的空間關(guān)系。
基于這樣的分析，論文提出了新的數(shù)據(jù)增強(qiáng)方法——CutBlur。它通過(guò)將低分辨率圖像中的圖像塊裁剪并張貼在高分辨率圖像中的對(duì)應(yīng)位置，反之也一樣。CurBlur 的關(guān)鍵在于讓模型不僅知道如何超分，同時(shí)也知道哪里需要超分。
通過(guò)這樣的方法，模型能夠自適應(yīng)地去決定圖像多大程度上去應(yīng)用超分而不是盲目地對(duì)所有像素進(jìn)行超分。
CurBlur
假設(shè)給定LR 圖像?
?和 HR 圖像塊?
?，其中?
?是放大倍數(shù)。如圖2所示，由于 CurBlur 需要匹配LR 圖像和 HR圖像的分辨率，所以會(huì)對(duì) LR 圖像進(jìn)行 s 倍的雙三次插值。CurBlur 然后就會(huì)生成成對(duì)的訓(xùn)練樣本?
?：
其中，?
?為二值Mask，用于決定哪里需要被替換掉。
源碼如下：
def cutblur(im1, im2, prob=1.0, alpha=1.0):
if im1.size() != im2.size():
raise ValueError("im1 and im2 have to be the same resolution.")
if alpha <= 0 or np.random.rand(1) >= prob:
return im1, im2
cut_ratio = np.random.randn() * 0.01 + alpha
h, w = im2.size(2), im2.size(3)
ch, cw = np.int(h*cut_ratio), np.int(w*cut_ratio)
cy = np.random.randint(0, h-ch+1)
cx = np.random.randint(0, w-cw+1)
# apply CutBlur to inside or outside
if np.random.random() > 0.5:
im2[..., cy:cy+ch, cx:cx+cw] = im1[..., cy:cy+ch, cx:cx+cw]
else:
im2_aug = im1.clone()
im2_aug[..., cy:cy+ch, cx:cx+cw] = im2[..., cy:cy+ch, cx:cx+cw]
im2 = im2_aug
return im1, im2需要注意的是：輸入兩個(gè)圖像的維度必須一樣，生成的結(jié)果示例如下圖所示。
數(shù)據(jù)增強(qiáng)相關(guān)方法分析
圖4展示了不同 DA 方法處理圖像之后的結(jié)果。Blend 方法和 RGB permute 方法會(huì)改變圖像的色彩信息，但不會(huì)去改變圖像的結(jié)構(gòu)信息。Cutout 方法則通過(guò)裁剪矩形區(qū)域使得一部分區(qū)域的圖像像素值為0，這里裁剪比例控制為0.1%，這是因?yàn)椴眉舯壤^(guò)大會(huì)導(dǎo)致 SR 性能的急劇下降 (25%會(huì)使得性能下降0.1dB)。Mixup、CutMix、CutMixup（由論文作者提出） 則通過(guò)組合不同的圖像內(nèi)容信息進(jìn)行混合，同時(shí)改變圖像的色彩和結(jié)構(gòu)信息。
為了對(duì)比現(xiàn)有數(shù)據(jù)增強(qiáng)方法對(duì) SR 模型性能的影響，論文應(yīng)用不同的數(shù)據(jù)增強(qiáng)方法和DIV2K 數(shù)據(jù)集和 RealSR 數(shù)據(jù)集，從頭開始訓(xùn)練 EDSR x4模型。
PS：由于 CutBlur 生成的圖像與 GT 圖像尺寸相同，因此論文中用于訓(xùn)練的SR模型+CutBlur 網(wǎng)絡(luò)前端會(huì)加入一個(gè)?desubpixel?層（逆次像素卷積），用于將輸入?
?轉(zhuǎn)為?
?。
從表1可以看到，不同的數(shù)據(jù)增強(qiáng)方法也都能在一定程度上提升SR 模型性能。不過(guò)CutMix提升較為微弱，這可能是因?yàn)镃utMix 方法使得圖像內(nèi)容信息變化較為劇烈，生了明顯的邊界。Mixup 雖然能夠提升性能，但是它也會(huì)存在圖像內(nèi)容混淆，從而使得模型無(wú)法很好地分辨圖像內(nèi)容信息。
于是作者提出了Mixup和CutMix的變體，CutMixup能夠取得比 Baseline以及前兩個(gè) DA 方法更好的性能。CutMixup 能夠最小化邊界效應(yīng)以及混合圖像上下文信息的比率。最后RGB permute和 Blend 方法 能夠明顯提升 SR 性能。
當(dāng)應(yīng)用CutBlur時(shí)，比其它DA 方法更能明顯提升SR 性能，并且真實(shí)數(shù)據(jù)集RealSR上的提升比模擬數(shù)據(jù)集更大。
為什么 CutBlur 適用于 SR？
從之前不同 DA 方法對(duì)比，可以看到，圖像內(nèi)容信息的急劇變化，圖像塊的混疊，或者是丟失像素的相關(guān)性都能夠損害SR 的性能。因此，用于 SR 的良好的DA方法不應(yīng)存在不符合實(shí)際的模式或信息丟失，并且應(yīng)該為SR模型良好的正則。
CutBlur能夠滿足以上的條件：
1.它僅僅在 HR 和 LR 圖像塊之間進(jìn)行裁剪和粘貼，因此能夠最小化邊界效應(yīng)。
2.它可以利用整個(gè)圖像信息，同時(shí)由于樣本具有隨機(jī)的HR比率和位置，CutBlur具有正則化效果。
模型通過(guò)CutBlur 能夠?qū)W習(xí)到什么？
與其他DA 方法防止分類模型過(guò)分自信地做出決策的相似，CurBlur 可以很好地避免SR 模型過(guò)度銳化圖像。圖 5 和圖 6可以看到，當(dāng)直接使用HR 圖像作為輸入時(shí)，模型會(huì)產(chǎn)生過(guò)度銳化的結(jié)果，在邊緣位置尤為明顯。CutBlur可以通過(guò)在訓(xùn)練階段直接向模型提供此類示例來(lái)解決此問(wèn)題。因?yàn)?HR 圖像是 CutBlur 方法生成的圖像的特殊樣例。
使用 CutBlur的 EDSR 方法能夠大大降低殘差強(qiáng)度圖中的數(shù)值，意味著與GT圖像之間的誤差更小。因此，CurBlur很可能是通過(guò)約束SR模型以區(qū)別地將超分辨率應(yīng)用于圖像，實(shí)現(xiàn)了這樣的效果。這是因?yàn)槟Ｐ屯瑫r(shí)需要去學(xué)習(xí)如何以及在哪里超分圖像，從而使得模型需要多大程度去應(yīng)用超分，從而為 SR 模型訓(xùn)練提供了有益的正則化效果。
實(shí)驗(yàn)
首先論文研究了不同模型和數(shù)據(jù)集使用 CutBlur 的影響。
不同規(guī)模的SR模型
對(duì)于小模型如 SRCNN和CARN，使用 DA 的概率為?
?，對(duì)于大模型EDSR 和 RCAN，?
??？梢钥吹?，CutBlur在小模型上的提升并不明顯。這主要是模型嚴(yán)重的欠擬合，模型表征不足使得 DA 的作用非常小。這也可以看到RCAN 和 EDSR 在使用了 CutBlur 之后，性能得到了明顯的提升。
不同規(guī)模的數(shù)據(jù)集
當(dāng)訓(xùn)練數(shù)據(jù)的規(guī)模不同的時(shí)候，可以看到 SRCNN 和 CARN的提升并不明顯，甚至在 SRCNN 上還會(huì)有下降，但是另外一方面，Cutblur 能夠使得RCAN 和 EDSR 得到較大的提升，并且 RCAN 僅僅使用一半的數(shù)據(jù)進(jìn)行訓(xùn)練就能夠達(dá)到原有的性能表現(xiàn)。
Benchmark 對(duì)比
從表3中可以看到，當(dāng)使用了 CutBlur 對(duì)模型進(jìn)行訓(xùn)練，模型在測(cè)試集上的性能得到了明顯的提升，尤其是在 RealSR 數(shù)據(jù)集上，所有模型至少得到了0.22dB 的提升。而 CARN則能夠在 RealSR測(cè)試集上達(dá)到 SOTA 性能（RCAN basline），性能與 LP-KPN近似，使用參數(shù)量?jī)H為 LP-KPN 的22%。從圖7也可以看到，殘差強(qiáng)度圖在使用 CutBlur 方法后得到誤差明顯的下降。
CutBlur應(yīng)用于真實(shí)圖像
圖8對(duì)比了不同的 baseline 和 CutBlur 模型在真實(shí)圖像上生成結(jié)果。左邊圖來(lái)源于互聯(lián)網(wǎng)，右邊圖則直接由 iphone11 pro 直接拍攝?？梢钥吹絙aseline 模型在草叢上添加額外不真實(shí)的細(xì)節(jié)(左邊)，而在右邊圖像中會(huì)在硬幣和字體周圍生成明顯的鬼影。而CutBlur模型適當(dāng)?shù)貙?duì)圖像的前景和背景進(jìn)行超分，并且不會(huì)添加任何不真實(shí)的失真。
除了超分之外，論文還將 CutBlur 方法應(yīng)用于其它 Low-level的任務(wù)。以下是一些效果對(duì)比圖，具體的細(xì)節(jié)就不過(guò)多介紹了，有興趣的小伙伴可以去閱讀原 Paper。
總結(jié)
論文提出了一個(gè)新的數(shù)據(jù)增強(qiáng)方法 CutBlur ，用于有監(jiān)督的訓(xùn)練 SR 模型。通過(guò)學(xué)習(xí)如何以及在哪里對(duì)圖像進(jìn)行超分，模型能夠根據(jù)區(qū)域內(nèi)的圖像信息進(jìn)行判斷，多大程度上去應(yīng)用超分辨率。因而實(shí)驗(yàn)證明，CutBlur 能夠明顯提升 SR 模型的性能，尤其是在 Real-world 數(shù)據(jù)集上效果更優(yōu)。除此之外，在其他 Low-level 任務(wù)如圖像去噪，JPEG 偽影去除等上都表現(xiàn)出出色的性能增強(qiáng)。
因此它是一種非常有效的，用于SR 任務(wù)的數(shù)據(jù)增強(qiáng)方法。其實(shí)仔細(xì)去想，CutBlur之所以有效，一個(gè)不可忽視的點(diǎn)在于，它將 HR 圖像部分信息引入到 LR 圖像，而這些信息也包涵LR 圖像中丟失的高頻信息，并且將HR 圖像信息與位置相關(guān)聯(lián)，從而模型不僅需要去學(xué)習(xí)超分過(guò)程，還需要學(xué)習(xí)如何根據(jù)當(dāng)前位置信息進(jìn)行判斷是否進(jìn)行超分。想法確實(shí)很新奇，值的好好去思考思考。
往期精彩回顧
獲取本站知識(shí)星球優(yōu)惠券，復(fù)制鏈接直接打開：
https://t.zsxq.com/qFiUFMV
本站qq群704220115。
加入微信群請(qǐng)掃碼：