CVPR 2023 | 去雨去噪去模糊,圖像low-level任務(wù),視覺(jué)AIGC系列
基于Transformer的方法在圖像去雨任務(wù)中取得了顯著的性能，因?yàn)樗鼈兛梢詫?duì)重要的非局部信息進(jìn)行建模，這對(duì)高質(zhì)量的圖像重建至關(guān)重要。本文發(fā)現(xiàn)大多數(shù)現(xiàn)有的Transformer通常使用查詢(xún)-鍵對(duì)中的所有token的相似性進(jìn)行特征聚合。然而，如果查詢(xún)中的token與鍵中的token不同，從這些token估計(jì)的自關(guān)注值也會(huì)涉及到特征聚合，這相應(yīng)地會(huì)干擾清晰的圖像恢復(fù)。
為了克服這個(gè)問(wèn)題，提出了一種有效的去雨網(wǎng)絡(luò)，稀疏Transformer（DRSformer），它可以自適應(yīng)地保留特征聚合的最有用的自關(guān)注值，以便聚合的特征更好地促進(jìn)高質(zhì)量的圖像重建。具體而言，開(kāi)發(fā)了一個(gè)可學(xué)習(xí)的前k選擇運(yùn)算符，以便為每個(gè)查詢(xún)自適應(yīng)保留最重要的鍵的自關(guān)注分?jǐn)?shù)，進(jìn)行更好的特征聚合。同時(shí)，由于Transformer中的簡(jiǎn)單前饋網(wǎng)絡(luò)不能模擬對(duì)潛在清晰圖像恢復(fù)很重要的多尺度信息，開(kāi)發(fā)了一種有效的混合尺度前饋網(wǎng)絡(luò)，以生成更好的圖像去雨特征。為了學(xué)習(xí)一個(gè)豐富的混合特征集，結(jié)合了CNN運(yùn)算符的局部上下文，配備了專(zhuān)家特征補(bǔ)償器混合的模型，以呈現(xiàn)協(xié)作細(xì)化去雨方案。
實(shí)驗(yàn)結(jié)果表明，與最先進(jìn)的方法相比，所提出的方法在通常使用的基準(zhǔn)測(cè)試中實(shí)現(xiàn)了有利的性能。源代碼和訓(xùn)練模型在 https://github.com/cschenxiang/DRSformer
Masked Image Training for Generalizable Deep Image Denoising
當(dāng)捕捉和存儲(chǔ)圖像時(shí)，設(shè)備不可避免地會(huì)引入噪點(diǎn)。減少這種噪點(diǎn)是稱(chēng)為圖像去噪的關(guān)鍵任務(wù)。深度學(xué)習(xí)已經(jīng)成為圖像去噪的事實(shí)標(biāo)準(zhǔn)方法，特別是在出現(xiàn)了基于Transformer的模型之后，在各種圖像任務(wù)上取得了顯著的最先進(jìn)結(jié)果。然而，基于深度學(xué)習(xí)的方法通常缺乏泛化能力。例如，在高斯噪聲上訓(xùn)練的深度模型可能在其他噪聲分布上測(cè)試時(shí)表現(xiàn)不佳。
為了解決這個(gè)問(wèn)題，提出了一種增強(qiáng)去噪網(wǎng)絡(luò)的泛化性能的新方法，稱(chēng)為掩蔽訓(xùn)練。方法涉及掩蔽輸入圖像的隨機(jī)像素，并在訓(xùn)練期間重構(gòu)缺失的信息。還掩蔽了自注意層中的特征，以避免訓(xùn)練-測(cè)試不一致性的影響。方法展現(xiàn)出比其他深度學(xué)習(xí)模型更好的泛化能力，并直接適用于實(shí)際場(chǎng)景。此外，可解釋性分析證明了方法的優(yōu)越性。https://github.com/haoyuc/Masked
Uncertainty-Aware Unsupervised Image Deblurring with Deep Residual Prior
非盲去模糊方法在準(zhǔn)確模糊核假設(shè)（accurate blur kernel assumption）下能夠?qū)崿F(xiàn)良好的性能。然而，在實(shí)踐中模糊核的不確定性（模糊核誤差）是不可避免的，因此建議采用半盲去模糊方法，通過(guò)引入模糊核（或誘導(dǎo)）誤差的先驗(yàn)來(lái)處理它。但是，如何為模糊核（或誘導(dǎo)）誤差設(shè)計(jì)合適的先驗(yàn)仍然具有挑戰(zhàn)性。手工制作的先驗(yàn)通常表現(xiàn)良好，但當(dāng)模糊核（或誘導(dǎo)）誤差復(fù)雜時(shí)可能會(huì)導(dǎo)致性能下降?；跀?shù)據(jù)驅(qū)動(dòng)的先驗(yàn)過(guò)度依賴(lài)于訓(xùn)練數(shù)據(jù)的多樣性和豐度，容易受到超出分布的模糊和圖像的影響。
為了解決這一挑戰(zhàn)，提出了一種針對(duì)模糊核誘導(dǎo)誤差kernel induced error（稱(chēng)為殘差residual）的無(wú)數(shù)據(jù)集深度殘差先驗(yàn)（dataset-free deep residual prior），該方法由自定義的未訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)表示，它使我們能夠在實(shí)際場(chǎng)景中靈活適應(yīng)不同的模糊和圖像。通過(guò)有機(jī)地整合深度先驗(yàn)和手工制作的先驗(yàn)的各自?xún)?yōu)勢(shì)，提出了一種無(wú)監(jiān)督的半盲去模糊模型，它可將清晰的圖像從模糊的圖像和不準(zhǔn)確的模糊核中恢復(fù)出來(lái)。為了處理這個(gè)模型，使用了一個(gè)高效的交替最小化算法。實(shí)驗(yàn)表明，與模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)方法相比，所提出的方法在圖像質(zhì)量和對(duì)不同類(lèi)型模糊核誤差的穩(wěn)健性方面具有良好的性能。
?
關(guān)注公眾號(hào)【機(jī)器學(xué)習(xí)與AI生成創(chuàng)作】，更多精彩等你來(lái)讀：
深入淺出stable diffusion：AI作畫(huà)技術(shù)背后的潛在擴(kuò)散模型論文解讀
深入淺出ControlNet，一種可控生成的AIGC繪畫(huà)生成算法！?
?
戳我，查看GAN的系列專(zhuān)輯~！
一頓午飯外賣(mài)，成為CV視覺(jué)的前沿弄潮兒！
最新最全100篇匯總！生成擴(kuò)散模型Diffusion Models ECCV2022 | 生成對(duì)抗網(wǎng)絡(luò)GAN部分論文匯總
CVPR 2022 | 25+方向、最新50篇GAN論文
?ICCV 2021 | 35個(gè)主題GAN論文匯總
超110篇！CVPR 2021最全GAN論文梳理
超100篇！CVPR 2020最全GAN論文梳理
附下載 |?《可解釋的機(jī)器學(xué)習(xí)》中文版
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》
附下載 |《計(jì)算機(jī)視覺(jué)中的數(shù)學(xué)方法》分享
《基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法綜述》
《基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述》
《禮記·學(xué)記》有云：獨(dú)學(xué)而無(wú)友，則孤陋而寡聞
點(diǎn)擊? 一頓午飯外賣(mài)，成為CV視覺(jué)的前沿弄潮兒！ ，領(lǐng)取優(yōu)惠券，加入? AI生成創(chuàng)作與計(jì)算機(jī)視覺(jué) ?知識(shí)星球！