CVPR2022|Low-level領(lǐng)域不容錯(cuò)過的幾篇paper

點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)

今天給大家推薦幾篇筆者曾經(jīng)解讀過也非常喜歡的幾篇paper，其他優(yōu)秀的paper正在趕來的路上，哈哈。

1讓Dropout在圖像超分領(lǐng)域重?zé)ü獠剩?/span>

原文鏈接

Dropout有助于緩解high-level視覺任務(wù)中的過擬合問題，但在low-level視覺任務(wù)(如圖像超分)中卻鮮少應(yīng)用。作為經(jīng)典的回歸問題，SR具有與high-level任務(wù)不同的行為：對(duì)dropout操作非常敏感?。

然而，本文研究表明：合理的使用dropout有益于SR模型，提升其泛化性能?。具體來說，dropout更適合于嵌入到網(wǎng)絡(luò)的尾部?，并對(duì)于多退化情形幫助極大。下圖給出了不同配置下采用Dropout前后的性能對(duì)比，可以看到：引入dropout可以大幅提升模型的泛化性能?，甚至可以將SRResNet的提升到優(yōu)于RRDB的程度。重要的是，添加dropout僅需一行code。真可謂：One line of code is worth a ten-fold increase in the model parameters?.

該發(fā)現(xiàn)打破了我們的常識(shí)并啟發(fā)我們探索其工作機(jī)理。我們采用兩種分析工具(Channel Saliency Map與Deep Degradation Representation)進(jìn)行分析，分析結(jié)果為實(shí)驗(yàn)發(fā)現(xiàn)提供了佐證并為SR模型的理解提供了新視角。

2RealBasicVSR：BasicVSR再次升級(jí)，破局真實(shí)場(chǎng)景視頻超分

原文鏈接

真實(shí)場(chǎng)景視頻數(shù)據(jù)的多樣性、退化的復(fù)雜性為視頻超分帶來了極大的挑戰(zhàn)。盡管時(shí)序上的長(zhǎng)距離傳播可以有效改善輕度的重建質(zhì)量，但真實(shí)場(chǎng)景的重度退化則會(huì)伴隨長(zhǎng)距離傳播損害重建質(zhì)量。

為平衡細(xì)節(jié)生成與偽影抑制，我們發(fā)現(xiàn)：預(yù)清洗(pre-cleaning)對(duì)于降低噪聲與偽影不可或缺?。武裝上精心設(shè)計(jì)的預(yù)清洗模塊后，所提RealBasicVSR在重建質(zhì)量與效率方面超越了已有方案。

3NTIRE2021競(jìng)賽"三冠一亞"方案BasicVSR++，Vid4新巔峰29.04dB

原文鏈接

由于需要利用額外的時(shí)序信息，視頻超分往往比圖像超分包含更多的模塊，這就導(dǎo)致了各式各樣的復(fù)雜結(jié)構(gòu)。該文作者對(duì)視頻超分進(jìn)行了梳理并重新審查了視頻超分的四個(gè)基本模塊：Propagation,?Alignment,?Aggregation以及Upsampling。通過復(fù)用現(xiàn)有方案的模塊并添加微小改動(dòng)，作者提出了一種簡(jiǎn)單方案：BasicVSR，它在推理速度、復(fù)原質(zhì)量方面取得了引人注目的提升。

作者對(duì)BasicVSR進(jìn)行了系統(tǒng)的分析，解釋了性能提升的原因所在，同時(shí)也討論了其局限性。在BasicVSR的基礎(chǔ)上，作者進(jìn)一步提出了“信息寄存(information-refile)”與“耦合傳播(coupled propagation)”兩種機(jī)制促進(jìn)信息集成。所提BasicVSR及其改進(jìn)IconVSR將視頻超分的性能進(jìn)行了更進(jìn)一步的提升，可以作為視頻超分領(lǐng)域的一個(gè)更強(qiáng)的基準(zhǔn)。

下圖給出了所提方案與其他視頻超分方案在性能與推理速度放慢的對(duì)比，可以看到BasicVSR與IconVSR遙遙領(lǐng)先。