SR-LUT | 比bicubic還快的圖像超分，延世大學(xué)提出將查找表思路用于圖像超分

點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)

本文是延世大學(xué)在圖像超分方面的顛覆性之作，它首次提出采用LUT進(jìn)行圖像超分，盡管該方法的性能僅比傳統(tǒng)插值方法稍好，甚至不如FSRCNN性能高。但是，該方案最大的優(yōu)勢(shì)在于推理速度快，比雙三次插值還要快。SR-LUT斜眼看到插值方案以及深度學(xué)習(xí)方案，輕輕的說(shuō)了句：“論速度，還有誰(shuí)！”

Abstract

從上古時(shí)代的“插值方法”到中世紀(jì)的“自相似性方案”，再到 前朝時(shí)代的“稀疏方案”，最后到當(dāng)前主流的“深度學(xué)習(xí)方案”，圖像超分領(lǐng)域誕生了數(shù)以千計(jì)的方案，他們均期望對(duì)低分辨率圖像遺失的紋理細(xì)節(jié)進(jìn)行復(fù)原重建。伴隨著移動(dòng)設(shè)備、硬件顯示設(shè)備的普及，實(shí)用超分的需求進(jìn)一步提升。盡管當(dāng)前主流的深度學(xué)習(xí)方案具有更好的視覺(jué)質(zhì)量，但它們往往依賴于并行計(jì)算模組(比如GPU)，而在手機(jī)或者TV端的部署難度非常大(主要體現(xiàn)在速度方面，輸入動(dòng)不動(dòng)就上2M，8M，16M，此時(shí)我們就非常羨慕檢測(cè)和分類領(lǐng)域不超過(guò)500x500輸入，??)。

為此，通過(guò)采用查找表，我們提出一種高效且實(shí)用的超分方案。我們采用小感受野訓(xùn)練超分網(wǎng)絡(luò)并將期輸出值遷移到查找表；在測(cè)試階段，我們根據(jù)輸入從LUT中索引與計(jì)算的HR輸出。由于不需要大量的浮點(diǎn)計(jì)算，所提方法計(jì)算非?？臁?/p>

最后，我們通過(guò)實(shí)驗(yàn)驗(yàn)證了所提方法的效率與有效性。值得一提的是，所提方法具有比雙三次插值更快、更好多的視覺(jué)效果。下圖給出了三星S7手機(jī)上的度量對(duì)比(輸入為，輸出為)。

Method

上圖給出了本文所提方案SR-LUT訓(xùn)練與測(cè)試示意圖，整個(gè)過(guò)程包含這樣幾個(gè)步驟：

• 首先，訓(xùn)練一個(gè)具有非常小感受野的的超分網(wǎng)絡(luò)，見(jiàn)上圖a；
• 然后，將上述訓(xùn)練網(wǎng)絡(luò)的輸出遷移到SR-LUT，見(jiàn)上圖c；
• 最后，在對(duì)于輸入圖像塊，其對(duì)應(yīng)的HR像素可以通過(guò)SR-LUT得到。

對(duì)于一個(gè)實(shí)用SR-LUT，超分網(wǎng)絡(luò)的感受野應(yīng)當(dāng)足夠小，因?yàn)镾R-LUT的大小會(huì)隨感受野指數(shù)增加。上表對(duì)比了不同感受野時(shí)的SR-LUT大小對(duì)比。從中可以看到：

• 當(dāng)感受野為2，超分倍率為4時(shí)，SR-LUT的大小為1M；
• 當(dāng)感受野為3、4、5時(shí)，SR-LUT的大小迅速增長(zhǎng)到256M、64G、1T。

當(dāng)感受野尺寸大于3時(shí)，SR-LUT的大小非常大，不利于實(shí)際應(yīng)用。在本文，我們令Ours-V表示感受野為2，Ours-F的感受野為3，Ours-S的感受野為4。接下來(lái)的內(nèi)容，我們主要以感受野為4的Ours-S為例進(jìn)行介紹，其他感受野的同樣適用。

Training Deep SR Network

Network Architecture 受限于感受野，過(guò)多的卷積層并不會(huì)提升性能但會(huì)加速收斂。因此，我們構(gòu)建了一個(gè)6層的超分網(wǎng)絡(luò)。對(duì)于感受野為4而言，我們固定第一層的卷積為，其他卷積層的尺寸為1。通道數(shù)設(shè)為64，最后一層的輸出通道數(shù)設(shè)為。注：網(wǎng)絡(luò)的層數(shù)并不會(huì)影響最終的推理耗時(shí)，因其僅用于構(gòu)建SR-LUT。

Rotational Ensemble Training 一般來(lái)說(shuō)，更多的像素有助于提升超分性能。然而，感受野為4的模型對(duì)于HR圖像估計(jì)而言太小了。比如FSRCNN需要169個(gè)像素，甚至雙三次插值都需要16個(gè)像素。為探索LR輸入更多區(qū)域，我們?cè)谟?xùn)練階段采用了旋轉(zhuǎn)集成策略(即常見(jiàn)的0-90-180-270旋轉(zhuǎn))，通過(guò)這種方式其感受野就擴(kuò)充到了9個(gè)像素。此時(shí)，最終的輸出可以表示如下：

超分網(wǎng)絡(luò)的訓(xùn)練采用常規(guī)的訓(xùn)練方式即可。

旋轉(zhuǎn)自集成策略往往用于在測(cè)試階段提升模型的性能，而本文則將其用到了訓(xùn)練階段提升模型性能。

Transferring to LUT

完成超分模型訓(xùn)練后，我們構(gòu)建一個(gè)4D尺寸的SR-LUT。對(duì)于全LUT，我們計(jì)算超分模型的所有可能輸出并將其保存到LUT。輸入值則作為L(zhǎng)UT的索引，對(duì)應(yīng)位置保存對(duì)應(yīng)的輸出值。

實(shí)際上，我們?nèi)绻捎镁鶆虿捎肔UT，SR-LUT會(huì)非常大，約64GB。具體來(lái)收，我們將輸入空間采樣均勻的拆分為，也就是說(shuō)，我們對(duì)原始輸入范圍進(jìn)行下采樣。因此，下采樣的后的值變成了，SR-LUT的大小就變成了1.274MB。在測(cè)試階段，非采樣點(diǎn)的值通過(guò)近鄰采樣點(diǎn)插值，這個(gè)地方有點(diǎn)類似與3DLUT。

Testing Using SR-LUT

一旦完成SR-LUT的構(gòu)建，我們就可以通過(guò)SR-LUT進(jìn)行圖像超分。為得到最終的輸出，我們還需要應(yīng)用了插值，這里我們已線性插值作為基線。線性、三次、四次等插值與SR-LUT則構(gòu)成了2D、3D、4D、5D+SR-LUT。實(shí)際上，我們采用了四面體插值，它比三次插值更快。下圖對(duì)比了不同插值方法的計(jì)算量對(duì)比，相比三次插值，四面體插值計(jì)算量少了2.5倍。

為更好的理解四面體插值，我們以下圖為例進(jìn)行簡(jiǎn)單的說(shuō)明。對(duì)于輸入，我們首先將其拆分為高4位和低四位，兩者的高4位分別位1和3，用于確定近鄰采樣點(diǎn)，低4位分別位8和12，用于確定加權(quán)值。兩個(gè)邊界頂點(diǎn)位；另一個(gè)邊界頂點(diǎn)通過(guò)比較確定，由于，所以選擇。每個(gè)頂點(diǎn)的加權(quán)值對(duì)應(yīng)了其對(duì)角面積：。最終輸出值計(jì)算:.

四面體插值可以擴(kuò)展到4D空間，此時(shí)僅需5個(gè)邊界頂點(diǎn)，下表給出了示意說(shuō)明。

Experiments

訓(xùn)練數(shù)據(jù)為DIV2K，訓(xùn)練方式略。直接看結(jié)果吧。

從上表對(duì)比可以看到：

• 相比雙三次插值，所提Ours-V速度快45ms，PSNR指標(biāo)高0.8dB；
• 相比雙三次插值，所提Ours-F速度快26ms，PSNR指標(biāo)高1.35dB；
• 相比雙三次插值，所提Ours-S速度慢31ms，PSNR指標(biāo)高1.40dB；
• 相比稀疏編碼方法，所提方法具有具有更快的推理速度、更高PSNR指標(biāo)，且LUT比起字典更??；
• 相比FSRCNN，所提方案指標(biāo)稍低，但推理速度快25倍；
• 總而言之，所提方法具有超快的推理速度，同時(shí)具有比插值方法更優(yōu)的性能。

上圖對(duì)比了不同方案的視覺(jué)效果對(duì)比，從中可以看到：

• 由于較小的感受野，Ours-V與Ours-S存在一定程度的偽影問(wèn)題；
• 相比雙三次插值，所提方案生成結(jié)果更為銳利。

【論文與code】下載
鏈接:https://pan.baidu.com/s/1YS5YY06W7l5zrh-vXOREAQ  
密碼:3e4n


努力分享優(yōu)質(zhì)的計(jì)算機(jī)視覺(jué)相關(guān)內(nèi)容，歡迎關(guān)注：

個(gè)人微信（如果沒(méi)有備注不拉群！）
請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱


下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
點(diǎn)亮 ，告訴大家你也在看