大尺度爱爱视频,成人综合一区二区,亚欧美在线视频中文字幕,性爱无码AV,国内自拍观看,欧美精品国产亚洲日韩字在线观看 ,欧美综合社区,日韩黄色免费

論文：NBNet: Noise Basis Learning for Image Denoising with Subspace Projection

鏈接：https://arxiv.org/abs/2012.15028

代碼：https://github.com/pminhtam/NBNet

Abstact

該文提出一種新穎的框架NBNet用于圖像降噪，它從新的角度出發(fā)設(shè)計：通過圖像自適應(yīng)投影進(jìn)行降噪。具體來說，NBNet通過訓(xùn)練這樣的網(wǎng)絡(luò)進(jìn)行信號與噪聲的分離：在特征空間學(xué)習(xí)一組重建基；然后，圖像降噪可以通過將輸入圖像映射到特征空間并選擇合適的重建基進(jìn)行噪聲重建。

該文的關(guān)鍵洞察在于：投影可以自然的保持輸入信號的局部結(jié)構(gòu)信息。這種特性尤其適合于low-light區(qū)域/弱紋理區(qū)域。為此，作者提出了一種新穎的子空間注意力模塊(SubSpace Attention, SSA)顯示的進(jìn)行重建基生成、子空間投影。與此同時，作者進(jìn)一步將SSA與NBNet(一種UNet改進(jìn))相結(jié)合進(jìn)行端到端圖像降噪。

Image denoising

圖像去噪是一項具有挑戰(zhàn)性的任務(wù)，需要從包含噪聲 $n$ 的噪聲圖片 $y$ 中還原成沒有噪聲的清晰圖片 $x$ ，其可以總結(jié)成一個數(shù)學(xué)公式：

$y = x + n$ 大多數(shù)情況下，圖像降噪都是ill-posed的問題。因為通過有噪音的觀察，總是無法逆向求得唯一正確的干凈圖片。就好像讓你解一個超越方程一樣，不借助其他額外的條件信息，是沒有唯一解的。許多去噪方法利用圖像前導(dǎo)和噪聲模型來估計來自嘈雜觀察的圖像或噪聲。降噪的本質(zhì)，是要從觀測值中分離噪音，保留圖像。

2.1 傳統(tǒng)方法

去噪的傳統(tǒng)方法通常利用圖像的局部相似性和噪聲的獨(dú)立性過濾噪聲，如NLM和BM3D，通過設(shè)計濾波器對圖像進(jìn)行處理。特點(diǎn)是速度往往比較快，很多卷積濾波可以借助快速傅里葉變化來加速。

2.2 深度學(xué)習(xí)方法

基于深度神經(jīng)網(wǎng)絡(luò)的去噪方法通常隱含地利用從大量配對訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的圖像前望和噪聲分布。如果說解決逆問題的關(guān)鍵，是尋找一個好的圖像約束器（regularizer），那么我們?yōu)槭裁床挥靡粋€最好的約束器？深度學(xué)習(xí)方法的精髓，就在于通過大量的數(shù)據(jù)，學(xué)習(xí)得到一個高復(fù)雜度（多層網(wǎng)絡(luò)結(jié)構(gòu)）的圖片約束器，從而將學(xué)習(xí)外部先驗條件這一途徑推到極限。

2.3 挑戰(zhàn)

盡管以前的基于CNN的方法已經(jīng)取得了巨大的成功，但是要在困難的場景（例如弱紋理或高頻細(xì)節(jié)）中恢復(fù)高質(zhì)量圖像仍然具有挑戰(zhàn)性。作者發(fā)現(xiàn)，卷積網(wǎng)絡(luò)通常取決于局部濾波器對分離的噪聲和信號的響應(yīng)。在低信噪比（SNR）的情況下，無附加全局結(jié)構(gòu)信息，就很容易混淆本地響應(yīng)。

Method

3.1 Subspace Projection with Neural Network

如圖2所示，NBNet的投影方法有兩個主要步驟：

a）Basis generation：從圖像特征映射生成子空間基向量（Basis Set）;

b）Projection：將特征映射轉(zhuǎn)換為信號子空間。

定義 $X_1, X_2 ∈ R^{H \times W \times C }$ 是從單張圖片獲取的兩個特征圖，它們是CNN的中間激活，它們可以在不同的層中，但具有相同的尺寸。首先基于特征圖 $X_1$ 和 $X_2$ 估計 $K$ 個基礎(chǔ)向量 $[v_1, v_2, ..., v_k]$ ，并且每個vi $v∈R^{N}$ 都是信號子空間的基礎(chǔ)矢量，其中 $N = HW$ , 然后將 $X_1$ 投影到上述子空間 ${v}$

Basis generation

f_{\theta}:\left(\mathbb{R}^{H \times W \times C}, \mathbb{R}^{H \times W \times C}\right) \rightarrow \mathbb{R}^{N \times K}

是

\theta

的函數(shù)，Basis generation的過程可以寫成:

\boldsymbol{V}=f_{\theta}\left(\boldsymbol{X}_{1}, \boldsymbol{X}_{2}\right)

其中

X_1

和

X_2

是特征圖，由

V

是由基礎(chǔ)向量

[v_1, v_2, ..., v_k]

組成的矩陣，NBNet用一個小的卷積網(wǎng)絡(luò)實現(xiàn)函數(shù)

f_{\theta}

的工作，首先，對

X_1

和

X_2

在通道的維度上進(jìn)行拼接成

X \in\mathbb{R}^{H \times W \times C}

然后將其反饋入具有K個輸出通道的淺層殘差卷積模塊，如圖3(b)所示，其輸出可以很容易重塑為

H \times W \times C

。在訓(xùn)練過程中以端對端的方式更新基礎(chǔ)生成模塊的權(quán)重和偏差。

Projection

通過 $f_{\theta}$ 獲得的矩陣 $V$ ，其列是 $K$ 維信號子空間 $V$ 的基向量，然后可以通過正交線性投影將圖像特征圖 $X_1$ 投影到 $V$ 上。 $\boldsymbol{P}: \mathbb{R}^{N} \rightarrow \mathcal{V}$ 是信號子空間的正交投影矩陣， $P$ 可以由 $V$ 計算得到，公式如下： $\boldsymbol{P}=\boldsymbol{V}\left(\boldsymbol{V}^{\boldsymbol{\top}} \boldsymbol{V}\right)^{-1} \boldsymbol{V}^{\boldsymbol{\top}}$

由于Basis generation的過程不能確?；蛄勘舜苏?，因此需要?dú)w一化項 $\left(\boldsymbol{V}^{\boldsymbol{\top}} \boldsymbol{V}\right)^{-1}$ 。最后，圖像特征圖 $X_1$ 可以在信號子空間中重構(gòu)為 $Y$ ,公式如下： $\boldsymbol{Y} = \boldsymbol{P}\boldsymbol{X_1}$ 基礎(chǔ)生成和子空間投影相結(jié)合形成NBNet的SSA模塊，其結(jié)構(gòu)如圖3（c）所示。

3.2 NBNet Architecture and Loss Function

NBNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖3(a)所示，其整體結(jié)構(gòu)基于經(jīng)典的UNET結(jié)構(gòu)，NBNet由4個編碼器和4個相應(yīng)的解碼器組成，編碼器的下采樣操作由步長為2的

4 \times4

卷積，每經(jīng)過一個編碼器特征圖尺寸縮小一半，解碼器的上采樣操作由

2 \times2

的反卷積實現(xiàn)。Skip connection 將尺寸大的低特征圖從每個編碼器傳遞到其相應(yīng)的解碼器。編碼器，解碼器和Skip connection中的基本卷積模塊遵循圖3（b）中所示的相同殘差卷積結(jié)構(gòu)。并且使用LeakyReLU作為每個卷積層的激活函數(shù)。

NBNet的SSA模塊放置在每個skip connection中。由于低級特征圖包含更詳細(xì)的原始圖像信息，因此NBNet將低級特征圖作為

X_1

，將高級特征圖作為

X_2

，并將其輸入到SSA模塊中。換句話說，來自skip connection的低級特征圖被投影到由上采樣的高級特征引導(dǎo)的信號子空間中。然后將投影所得特征進(jìn)一步與原始的高級特征融合并送入下一個解碼器。

與傳統(tǒng)的類似UNet的架構(gòu)（在每個解碼器階段直接融合低級和高級特征圖）相比，NBNet的主要區(qū)別在于，低級特征是在融合之前由SSA模塊投影形成的。

最后一個解碼器的輸出通過線性3×3卷積層作為噪聲輸入的全局殘差，并輸出去噪結(jié)果。

網(wǎng)絡(luò)是用成對的干凈和嘈雜的圖像訓(xùn)練的，NBNet使用干凈圖像和去噪結(jié)果之間的簡單 $\ell_{1}$ 距離作為損失函數(shù)，寫為： $\mathcal{L}(G, \boldsymbol{x}, \boldsymbol{y})=\|\boldsymbol{x}-G(\boldsymbol{y})\|_{1}$ 其中 $G(\boldsymbol{.})$ 代表NBNet，x代表清晰的圖片，y代表噪聲圖片。