計(jì)算高效，時(shí)序一致，超清還原！清華&NYU 提出 RRN：視頻超分新型遞歸網(wǎng)絡(luò)

paper: https://arxiv.org/2008.05765

code: https://github.com/junpan19/RRN（即將開(kāi)源）

Abstract

視頻超分在監(jiān)控視頻分析與超高清視頻顯示中扮演著非常重要的作用，它在工業(yè)界與學(xué)術(shù)界獲得了非常多的關(guān)注。盡管有許多基于深度學(xué)習(xí)的視頻超分方法已被提出，但是往往難以直接對(duì)這些方法進(jìn)行對(duì)比，這是因?yàn)?1) 不同的損失函數(shù)；(2) 不同的訓(xùn)練數(shù)據(jù)等因素對(duì)于超分結(jié)果影響非常大。

該文仔細(xì)研究并對(duì)了視頻超分中的三種時(shí)序建模方案(2D-CNN, 3D-CNN, RNN)，同時(shí)還提出了一種新穎的遞歸殘差模塊用于高效視頻超分，其中殘差學(xué)習(xí)用于穩(wěn)定訓(xùn)練并提升超分性能。

作者通過(guò)充分的實(shí)驗(yàn)表明：所提RRN計(jì)算高效同時(shí)可以生成時(shí)序一致的超分結(jié)果，且具有更好的紋理細(xì)節(jié)。除此之外，所提方法在公開(kāi)基準(zhǔn)數(shù)據(jù)集取得了SOTA性能。

該文的貢獻(xiàn)主要包含兩方面：

• 精心研究并對(duì)比了視頻超分中常用的三種時(shí)序建模方法；
• 提出了一種新穎的隱狀態(tài)用于遞歸網(wǎng)絡(luò)，它在所有時(shí)序建模方法中取得最佳性能，并在三個(gè)公開(kāi)數(shù)據(jù)集取得了SOTA性能。

Method

接下來(lái)，我們將重點(diǎn)介紹一下該文所提整理系統(tǒng)方案以及時(shí)序建模方法的細(xì)節(jié)。整個(gè)視頻超分系統(tǒng)包含兩個(gè)部分：(1) 時(shí)序建模網(wǎng)絡(luò)；(2) 圖像/視頻重建網(wǎng)絡(luò)；(3) 損失函數(shù)。該文的重點(diǎn)是1與3兩個(gè)部分。在時(shí)序建模網(wǎng)絡(luò)方面，作者重點(diǎn)研究了2DCNN快融合(見(jiàn)下圖A)、3DCNN慢融合(見(jiàn)下圖B)以及RNN(見(jiàn)下圖C)三種時(shí)序建模方案?；诓煌７桨傅姆治龆岢隽嗽撐牡腞RN建模方案(見(jiàn)下圖D)。

如前所述，該文考慮了三種形式的時(shí)序建模方案。接下來(lái)，我們就針對(duì)這三種方案進(jìn)行介紹與分析。

2DCNN快融合

該方案以多幀作為輸入，直接通過(guò)concat方式進(jìn)行融合，然后采用堆疊2D卷積提取特征。受EDSR啟發(fā)，作者了采用改進(jìn)2D殘差模塊設(shè)計(jì)了2DCNN快融合模塊。該融合過(guò)程可以描述為：

的輸入維度為，其中。表示2D卷積的權(quán)值。該2DCNN的輸出殘差特征的維度為，然后通過(guò)depth-to-space方式進(jìn)行上采樣，最后將所得殘差圖與原始輸入中間幀的bicubic結(jié)果相加得到最終的超分結(jié)果。

3DCNN慢融合

該方案以視頻序列作為輸入，然后采用堆疊3D卷積提取空-時(shí)信息。類似2DCNN，作者采用了相似的方式進(jìn)行空-時(shí)信息提取，區(qū)別在于卷積由2D編程了3D。相比2DCNN，3DCNN中的時(shí)序信息融合更慢，該過(guò)程可以描述為：

其他的處理過(guò)程與2DCNN的過(guò)程基本相似，這里濾過(guò)不計(jì)。

RNN融合

相比CNN時(shí)序建模方法，RNN采用更少的幀與隱狀態(tài)作為輸入，并采用遞歸方式處理長(zhǎng)視頻序列。一般而言，時(shí)序t的隱狀態(tài)包含三部分：(1) 前一幀的超分結(jié)果；(2) 前一幀的隱狀態(tài)特征；(3) 兩個(gè)相鄰幀。直觀上講，前后幀的像素往往具有非常強(qiáng)的相似性，t時(shí)刻的高頻紋理可以通過(guò)前一幀的補(bǔ)充信息進(jìn)行進(jìn)一步精煉調(diào)整。類似其他視頻處理任務(wù)，VSR中的RNN往往存在梯度消失問(wèn)題。

為解決上述問(wèn)題，作者提出了一種新穎的遞歸網(wǎng)絡(luò)RRN(Residual Recurrent Network)，它將殘差學(xué)習(xí)思想引入到RNN中。這種設(shè)計(jì)確保了流暢的信息流，有助于保持長(zhǎng)周期的紋理信息，進(jìn)而使得RNN可以處理更長(zhǎng)序列，同時(shí)降低了訓(xùn)練過(guò)程中的梯度消失風(fēng)險(xiǎn)。在t時(shí)刻，RNN采用如下方式生成隱狀態(tài)與輸出：

其中表示ReLU激活函數(shù)，表示恒等映射，即，而表示學(xué)習(xí)到的殘差特征圖。

Experiments

之前的方法往往采用不同的訓(xùn)練數(shù)據(jù)集(比如有的采用Vimeo90K，有的采用REDS，有的采用自己制作的數(shù)據(jù))、不同的下采樣核(有的采用bicubic，有的采用blur-down)，這就導(dǎo)致了不同方法無(wú)法公平對(duì)比。在該文中，作者采用Vimeo90K作為訓(xùn)練數(shù)據(jù)集，其中的LR采用blur-down方式制作。作者選用的測(cè)試數(shù)據(jù)集為Vid4、SPMCS以及UDM10三個(gè)公開(kāi)數(shù)據(jù)集。

對(duì)于2DCNN時(shí)序建模方案，作者設(shè)計(jì)了2DCNN-S與2DCNN-L兩種，分別采用5和10個(gè)2D殘差模塊，通道數(shù)為128；對(duì)于3DCNN時(shí)序建模方案，作者的設(shè)計(jì)類似2DCNN，故略過(guò)；為公平對(duì)比，對(duì)于RNN時(shí)序建模，作者也分別采用5和10個(gè)殘差模塊作為隱狀態(tài)，即RNN-S與RNN-L，通道數(shù)同樣為128，時(shí)刻的隱狀態(tài)初始化為0。

在訓(xùn)練過(guò)程中，2DCNN的學(xué)習(xí)率為0.0001，3DCNN的學(xué)習(xí)率為0.001，每10epoch衰減0.1，總計(jì)訓(xùn)練30epoch；RNN的學(xué)習(xí)率為0.0001，每60epoch衰減0.1，總計(jì)訓(xùn)練70epoch。所有模型均采用損失函數(shù)、Adam優(yōu)化器。CNN建模方案的Batch=64，RNN建模方案的Batch=4

下表給出了不同建模方案在公開(kāi)數(shù)據(jù)集上的性能以及耗時(shí)對(duì)比。很明顯，(1) 3DCNN時(shí)序建模方案以極大優(yōu)勢(shì)優(yōu)于2DCNN，然而它非常耗時(shí)。(2) 相比3DCNN時(shí)序建模方案，RNN計(jì)算高效，參數(shù)量更少，同時(shí)具有更好的性能指標(biāo)。(3)RRN-S能夠以33fps生成720p視頻，RRN-L能夠以22fps生成720p視頻。

作者同時(shí)還對(duì)比了不同建模方案的時(shí)序一致性，見(jiàn)下圖。RRN方案可以生成時(shí)序一致的結(jié)果同時(shí)具有更少的偽影問(wèn)題。

為更好說(shuō)明RRN的有效性，作者還對(duì)比了不帶殘差學(xué)習(xí)時(shí)的性能對(duì)比，見(jiàn)下表?？梢钥吹讲惶砑託埐顚W(xué)習(xí)存在嚴(yán)重的梯度消失問(wèn)題。

最后，作者給出了所提方法與其他視頻超分方案的性能與效果對(duì)比。

全文到此結(jié)束，對(duì)該文感興趣的同學(xué)可以去看一下原文。最后，期待作者能盡快開(kāi)源TGA、RSDN以及RRN的代碼以及預(yù)訓(xùn)練模型，期待ing！