推薦 | 深度學(xué)習(xí)反卷積最易懂理解

圖像反卷積

最早支持反卷積是因?yàn)閳D像去噪跟去模糊，知道圖像去模糊時(shí)候會(huì)使用反卷積技術(shù)，那個(gè)是真正的反卷積計(jì)算，會(huì)估算核，會(huì)有很復(fù)雜的數(shù)學(xué)推導(dǎo)，主要用在圖像的預(yù)處理與數(shù)字信號(hào)處理中。

反卷積本質(zhì)上是一種圖像復(fù)原技術(shù)，典型的圖像模糊可以看成事圖像卷積操作得到的結(jié)果，把模糊圖像重新復(fù)原為清晰圖像的過程常常被稱為去模糊技術(shù)，根據(jù)模糊的類別不同可以分為運(yùn)動(dòng)模糊與離焦模糊，OpenCV支持對(duì)這兩張模糊圖像進(jìn)行反卷積處理得到清晰圖像。

反卷積的基本原理就是把圖像轉(zhuǎn)換到頻率域，通過估算圖像的核函數(shù)，在頻率域?qū)D像點(diǎn)乘計(jì)算之后，重新獲取圖像信息，轉(zhuǎn)回為空間域。 主要操作都在頻率域，轉(zhuǎn)換通過離散傅里葉（DFT）變換與反變換，通過維納濾波處理獲取反模糊信息，OpenCV支持反卷積采用維納濾波方式的去模糊，但是參數(shù)調(diào)整事一個(gè)大坑，基本上每張圖像的參數(shù)都不一樣，很難有相同的結(jié)果。

最近這些年，圖像反模糊逐步被深度學(xué)習(xí)的方法引領(lǐng)，OpenCV提供的那幾個(gè)函數(shù)越來越少的人知道，主要是通用性很差。貼一張圖：

OpenCV反模糊之后的效果：

深度學(xué)習(xí)中的反卷積

深度學(xué)習(xí)中典型網(wǎng)絡(luò)就是卷積神經(jīng)網(wǎng)絡(luò)，對(duì)圖像分類，對(duì)象檢測(cè)都可以取得很好的效果。但是在語義分割任務(wù)中，網(wǎng)絡(luò)模型涉及到上采樣操作，最常見的就是通過填充0或者最近鄰插值的方式來完成上采樣。

在ICCV 2015年的一篇論文中提出了可學(xué)習(xí)的反卷積網(wǎng)絡(luò)，不再通過簡(jiǎn)單粗暴的填充0或者最近鄰插值方法來完成上采樣，讓整個(gè)過程變成可學(xué)習(xí)，在圖像語義分割網(wǎng)絡(luò)中實(shí)現(xiàn)了對(duì)上采樣過程的訓(xùn)練。論文中提到的反卷積操作實(shí)現(xiàn)上采樣跟圖像處理中反卷積實(shí)現(xiàn)圖像去模糊有本質(zhì)區(qū)別，這里的反卷積更加準(zhǔn)確的說法應(yīng)該是轉(zhuǎn)置卷積。

卷積操作

圖中第二行就是卷積與反卷積的示意圖，下面通過一個(gè)簡(jiǎn)單的例子來解釋上圖的內(nèi)容。假設(shè)有4x4大小的二維矩陣D，有3x3大小的卷積核C，圖示如下：

直接對(duì)上述完成卷積操作（不考慮邊緣填充）輸出卷積結(jié)果是2x2的矩陣。

其中2x2卷積的輸出結(jié)果來自D中第二行第二列像素位置對(duì)應(yīng)輸出，相關(guān)的卷積核與數(shù)據(jù)點(diǎn)乘的計(jì)算為：

0x3+1x3+2x2+2x0+2x0+0x1+0x3+1x1+2x2=12，可以看出卷積操作是卷積核在矩陣上對(duì)應(yīng)位置點(diǎn)乘線性組合得到的輸出，對(duì)D=4x4大小的矩陣從左到右，從上到下，展開得到16個(gè)維度的向量表示如下：

我們同樣可以把3x3的卷積核表示如下：

為了獲得卷積核的4x4的向量表示，我們可以對(duì)其余部分填充零，那么卷積核在D上面移動(dòng)的位置與對(duì)應(yīng)的一維向量表示如下：

考慮到卷積核C與D的點(diǎn)成關(guān)系，合并在一起還可以寫成如下形式：

把上面卷積核中的字符表示替換為實(shí)際卷積核C，得到：

所以上述的卷積操作可以簡(jiǎn)單的寫為：（D^T為（1,12）的矩陣，C為(12,4)的矩陣，所以矩陣相乘，結(jié)果為(1,4）的矩陣）

重排以后就得到上面的2x2的輸出結(jié)果。

轉(zhuǎn)置卷積

現(xiàn)在我們有2x2的數(shù)據(jù)塊，需要通過卷積操作完成上采樣得到4x4的數(shù)據(jù)矩陣，怎么完成這樣的操作，很容易，我們把2x2轉(zhuǎn)換為1x4的向量E，然后對(duì)卷積核C轉(zhuǎn)置，再相乘，表示為：，就得到16維度向量，重排以后就得到了4x4的數(shù)據(jù)塊。這個(gè)就是深度學(xué)習(xí)中的卷積與反卷積最通俗易懂的解釋。

終極解釋 | 一維轉(zhuǎn)置卷積

什么！還不明白，那我最后只能放一個(gè)大招了！我搞了個(gè)一維的轉(zhuǎn)置卷積的例子：

有個(gè)前提，你得先理解什么是卷積跟一維卷積，二維卷積等基本概念。這個(gè)例子就很直接，我用Excel繪制的，先看圖：解釋一下，一維卷積的本來是1xN，轉(zhuǎn)置變?yōu)镹x1的，然后同樣用輸入的數(shù)據(jù)跟卷積核點(diǎn)乘，點(diǎn)成的方式如上，如果有重疊的部分，就加在一起就好啦，這部分還可以通過代碼來驗(yàn)證演示一波，pytorch的代碼演示如下：你好

from __future__ import print_functionimport torchimport numpy as np# 輸入一維數(shù)據(jù)d = torch.tensor([1.,2.])# 一維卷積核f = torch.tensor([3.0,4.0])# 維度轉(zhuǎn)換ddd = d.view(1,1,2)f = f.view(1,1,2)# 一維轉(zhuǎn)置卷積ct1d = torch.nn.ConvTranspose1d(in_channels=1, out_channels=1, kernel_size=2, stride=2, bias=0)ct1d.weight = torch.nn.Parameter(f);# 打印輸出print("輸入數(shù)據(jù):", d)print("輸出上采樣結(jié)果:", ct1d(d))

運(yùn)行結(jié)果如下：根據(jù)我的手繪Excel圖，可以認(rèn)為:

[x, y] = [1, 2]，
卷積核[a, b] = [3, 4]，
輸出結(jié)果[ax, bx, ay, by] = [3, 4, 6, 8]

這個(gè)就是轉(zhuǎn)置卷積上采樣！這下還不明白我真的沒法啦！

參考鏈接：

https://iksinc.online/2017/05/06/deconvolution-in-deep-learning/ 

2015 ICCV論文《Learning Deconvolution Network for Semantic Segmentation》

如果覺得有用，就請(qǐng)分享到朋友圈吧！