成人深爱激情网,国产精品无码AV无码,亚洲日韩一区二区三区四区丨高清,成人五月丁香婷,日日夜夜拍,51妺嘿嘿午夜福利视频,男女拍拍拍拍免费视频,成人AV麻豆系列

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達(dá)

背景介紹

在常見的卷積神經(jīng)網(wǎng)絡(luò)中，采樣幾乎無處不在，以前是max_pooling，現(xiàn)在是strided卷積。

以vgg網(wǎng)絡(luò)為例，里面使用到了相當(dāng)多的max_pooling

同樣，在做語義分割或者目標(biāo)檢測的時候，我們用到了相當(dāng)多的上采樣，或者轉(zhuǎn)置卷積

以前，我們在分類網(wǎng)絡(luò)的最后幾層使用fc，后來fc被證明參數(shù)量太大泛化性能不好，被global average pooling替代掉了，最早出現(xiàn)在network in network中，

從此，分類網(wǎng)絡(luò)的范式變?yōu)?Relu已經(jīng)被隱式帶在了onv和deconv里面)，

Input-->Conv-->DownSample_x_2-->Conv-->DownSample_x_2-->Conv-->DownSample_x_2-->GAP-->Conv1x1-->Softmax-->Output

而分割網(wǎng)絡(luò)的范式變?yōu)椋ㄗ罱囊恍┪恼乱苍诳紤]用upsample+conv_1x1代替deconv），

Input-->Conv-->DownSample_x_2-->Conv-->DownSample_x_2-->Conv-->DownSample_x_2-->Deconv_x_2-->Deconv_x_2-->Deconv_x_2-->Softmax-->Output

這里暫時不考慮任何shortcut。

可是，我們不得不去想，下采樣，上采樣真的是必須的嗎？可不可能去掉呢？

空洞卷積和大卷積核的嘗試

一個很自然的想法，下采樣只是為了減小計算量和增大感受野，如果沒有下采樣，要成倍增大感受野，只有兩個選擇，空洞卷積和大卷積核。所以，第一步，在cifar10的分類上，我嘗試去掉了下采樣，將卷積改為空洞卷積，并且膨脹率分別遞增，模型結(jié)構(gòu)如下所示，

這是一個典型的四層的VGG結(jié)構(gòu)，每層卷積的dilation_rate分別為1，2，4，8。在訓(xùn)練了80個epoch后，測試集準(zhǔn)確率曲線如下所示，

最終的準(zhǔn)確率達(dá)到了76%，相同參數(shù)的vgg結(jié)構(gòu)的卷積網(wǎng)絡(luò)能夠達(dá)到的準(zhǔn)確率基本就在這附近。

從另一種思路出發(fā)，為了擴(kuò)大卷積的感受野，也可以直接增加卷積的kernel_size，與上面對比，保持dilationrate為1不變，同時逐層增大卷積的kernel_size，分別為3，5，7，9，訓(xùn)練80個epoch后得到如下準(zhǔn)確率曲線，

和之前改變dilation_rate的方式比較，收斂過程很一致，略微震蕩一點(diǎn)，但是最終的結(jié)果很一致，都在76%上下，這說明影響最終精度的因素只有感受野和每層的通道數(shù)。

為了說明下采樣在性能方面沒有提升，用有下采樣的網(wǎng)絡(luò)對對比。即在不修改其他任何參數(shù)的情況下，對原本使用dilation的卷積層使用下采樣，stride都設(shè)置為2，同樣訓(xùn)練80個epoch，收斂結(jié)果如下，

最終收斂到了73%上下，比上面兩個實(shí)驗(yàn)低了大約3個點(diǎn)，這說明下采樣的信息損失確實(shí)不利于CNN的學(xué)習(xí)。

把三種參數(shù)的結(jié)果放在一起對比，更能夠說明問題，

為了嚴(yán)謹(jǐn)性，補(bǔ)上訓(xùn)練1000輪的結(jié)果，

為了驗(yàn)證這種想法的通用性，使用resnet18結(jié)構(gòu)的網(wǎng)絡(luò)，并在原本需要下采樣的卷積層使用dilation_rate不斷增大的空洞卷積替代。訓(xùn)練80個epoch后，最終得到的準(zhǔn)確率曲線如下所示，

在沒有其他任何調(diào)參的情況下，最后收斂到了87%的準(zhǔn)確率。

?

小卷積核的嘗試

我們知道，大卷積核的感受野通?？梢酝ㄟ^疊加多個小卷積核得到，vggnet首先發(fā)現(xiàn)5x5卷積可以用兩個3x3卷積代替，極大減少了參數(shù)量。

同樣的7x7卷積可以用三個3x3卷積級聯(lián)，9x9可以用四個3x3卷積級聯(lián)。

為了獲得和上面四層卷積網(wǎng)絡(luò)相同的感受野，我設(shè)計了一個十層的只有3x3卷積的網(wǎng)絡(luò)，每層之間依然有非線性。因?yàn)閷訑?shù)多了很多，為了確定中間層的通道數(shù)，我做了幾組實(shí)驗(yàn)。同時，為了不極大增加參數(shù)量，我又在卷積中間插入depthwise卷積，這樣保持對應(yīng)感受野上的通道數(shù)不變，而參數(shù)量不至于增加很多。訓(xùn)練結(jié)果，

可以看到，只有三個網(wǎng)絡(luò)結(jié)構(gòu)在精度上優(yōu)于之前的設(shè)計，而這三個網(wǎng)絡(luò)的參數(shù)量都是之前的數(shù)倍。使用depthwise卷積的網(wǎng)絡(luò)參數(shù)量并沒有增加太多，但是精度還是略低于之前的設(shè)計。

為了說明問題，增加每層的通道數(shù)，比如之前16-32-48-64的設(shè)計，改為64-128-256-512的設(shè)計，基本上對于這個深度的網(wǎng)絡(luò)來說，容量已經(jīng)接近上界了，結(jié)果如下，

可以看到，空洞卷積網(wǎng)絡(luò)依然以較小的參數(shù)領(lǐng)先于depthwise卷積和3x3卷積混合網(wǎng)絡(luò)，并以數(shù)倍更少的參數(shù)優(yōu)勢，在精度上略低于3x3級聯(lián)網(wǎng)絡(luò)。

這個實(shí)驗(yàn)表明，對于CNN而言，深度之外，感受野以及該感受野上的通道數(shù)，真正決定了網(wǎng)絡(luò)的性能。

這和語音中的wavenet是相似的，

wavenet使用空洞因果卷積來降低計算量，原始wavenet的性能并沒有問題，但是計算量和參數(shù)量指數(shù)增長。

?

稀疏化方面的思考

小卷積核疊加和大卷積核的方法為了獲得和空洞卷積相同的性能，付出了參數(shù)上的巨大代價，而空洞卷積本身是稀疏的（大多數(shù)元素都是0），這促使我們思考，是否可以用稀疏化解決參數(shù)巨大的問題。

CNN的稀疏化最近研究很多，一般的卷積稀疏化見下圖，并注意到每層卷積的卷積參數(shù)都是四維的，即輸入通道數(shù)，輸出通道數(shù)，x方向的卷積尺寸，y方向的卷積尺寸。

我們常見的其實(shí)是通道維度的稀疏化，這相當(dāng)于減少通道數(shù)，也最容易加速，但是更有意義的稀疏化，我認(rèn)為是卷積核內(nèi)部的稀疏化，如下圖所示，

這種稀疏化能減少參數(shù)量（因?yàn)榱阒凳菦]有意義的），但是因?yàn)椴焕诠こ虒?shí)現(xiàn)，所以目前沒有明顯的加速效果。

近期的研究表明，CNN里大多數(shù)卷積核都是稀疏的，大約有50%以上都是稀疏的，也就是說有50%以上參數(shù)都是冗余的。如果能去掉冗余參數(shù)，那么大卷積核和多層小卷積核也能證明在感受野和特定感受野上的通道數(shù)對CNN性能的決定性影響，在不增加額外模型參數(shù)的前提下。

盡管很容易預(yù)測，但是接下來，我們還會證明這兩種方法的參數(shù)冗余。

10層3x3級聯(lián)網(wǎng)絡(luò)的可訓(xùn)練參數(shù)量是86404，4層空洞卷積網(wǎng)絡(luò)參數(shù)量是25474，4層大卷積核網(wǎng)絡(luò)參數(shù)量是172930。使用tensorfllow內(nèi)置的稀疏化功能，其官方github地址為https://github.com/tensorflow/model-optimization,原理即在訓(xùn)練過程中，按一定的準(zhǔn)則將卷積核的一些元素置為零，然后finetune。對于10層3x3級聯(lián)網(wǎng)絡(luò)，選擇稀疏率為25%，這樣稀疏化后的參數(shù)量為21601，對于大卷積核網(wǎng)絡(luò)，選擇常數(shù)稀疏率為15%，稀疏化的參數(shù)量為25940，這樣稀疏化后它們的參數(shù)都比空洞卷積網(wǎng)絡(luò)更少。為保證網(wǎng)絡(luò)不會繼續(xù)收斂了，訓(xùn)練1000個epoch，稀疏化從第200個epoch開始，稀疏化后的訓(xùn)練結(jié)果如下所示，

可以明顯的看到稀疏化后的3x3級聯(lián)網(wǎng)絡(luò)的性能是最好的，同時它的參數(shù)也是最少的，同時大卷積核的性能次之，這個時候空洞卷積的性能反而略低。

保持同樣的參數(shù)和稀疏度，在cifar100上訓(xùn)練的結(jié)果如下所示，

這個時候級聯(lián)3x3網(wǎng)絡(luò)的性能已經(jīng)遠(yuǎn)超其他兩個網(wǎng)絡(luò)了（對于cifar100上的baseline取多少合適，大家可以參閱一些文章或博客）。

稀疏化極限的思考

我們上面的討論基本就是，只要能保住某個感受野，稀疏化也是可行的，但是又不禁想知道稀疏化的極限在哪里，對于3x3的卷積核，在保住感受野的情況下，最少必須有兩個非零元素，但是這樣一來卷積核就退化了，從各向同性退化為各向異性，

學(xué)過線性代數(shù)的同學(xué)都知道，在二維線性空間至少有兩個基底向量，才能合成各種方向的梯度。如果卷積核退化成前面兩個的情況下，卷積核的二維性質(zhì)也許就損失掉了，但是同一層中只要有多個卷積核具有不同的方向性，那么這一層依然可能是各向同性的，方向性也許也是感受野的一個重要描述。關(guān)于感受野的方向性，一個來自視覺皮層實(shí)驗(yàn)的啟示如下，

人類視覺皮層中不同方向調(diào)諧的感受野分布

感受野的意義。只有大感受野才能感受到尺寸比較大的物體。感受野，深度和通道數(shù)，共同決定了cnn某一層的性能，一個衡量cnn性能的正確表述應(yīng)該是網(wǎng)絡(luò)在某一層有多大的深度和感受野，同時有多少通道。深度決定了網(wǎng)絡(luò)的抽象能力或者說學(xué)習(xí)能力，感受野決定了網(wǎng)絡(luò)某一層看到多大的范圍，通道數(shù)決定了網(wǎng)絡(luò)某一層的信息量，感受野和通道數(shù)可以共同表示網(wǎng)絡(luò)某一層學(xué)習(xí)到的有效空間和語義信息。

maxpooling的額外討論

這促使我們思考，采樣真的是必要的嗎？當(dāng)然，從工程的角度看，采樣能極大減小feature map的尺寸，從而大大降低計算量，但這個實(shí)驗(yàn)表明，采樣對提高cnn的性能并沒有幫助，max pooling有抑制噪聲的作用，所以有用，但max pooling可以用不下采樣的方式實(shí)現(xiàn)，這和經(jīng)典的中值濾波類似。

這也說明，cnn的每一層卷積都在編碼空間相關(guān)性，淺層特征編碼短距離相關(guān)性，更深的卷積層編碼更遠(yuǎn)距離的空間相關(guān)性，而到了某一層，再也沒有統(tǒng)計意義上的空間相關(guān)性了（這取決于有意義的物體在圖像中的尺寸），到這一層就可以用GAP聚合空間特征了。

分割網(wǎng)絡(luò)的設(shè)計

在之前分類網(wǎng)絡(luò)的基礎(chǔ)上，去掉最后面的global average pooling和fully connected，換成conv1x1（相信很多人都知道，fc層形式上可以轉(zhuǎn)換成conv1x1，本以為只是工程上的trick，沒想到有本質(zhì)聯(lián)系）,直接變成分割網(wǎng)絡(luò)，在我制作的數(shù)據(jù)集m2nist上，訓(xùn)練結(jié)果如下所示，

使用訓(xùn)練好的模型進(jìn)行預(yù)測，可視化后的結(jié)果如下：

后續(xù)討論，對網(wǎng)絡(luò)設(shè)計的可能影響

如果沒有了采樣層，分類網(wǎng)絡(luò)的范式將如下所示

Input-->Conv(dilate_rate=1)-->Conv(dilate_rate=2)-->Conv(dilate_rate=4)-->Conv(dilate_rate=8)-->GAP-->Conv1x1-->Softmax-->Output

分割網(wǎng)絡(luò)的范式將如下所示，

Input-->Conv(dilate_rate=1)-->Conv(dilate_rate=2)-->Conv(dilate_rate=4)-->Conv(dilate_rate=8)-->Conv(dilate_rate=16)-->Conv(dilate_rate=32)-->Softmax-->Output

不再有decoder階段，因?yàn)榈搅薲ecoder，上采樣只是為了恢復(fù)分辨率，在無采樣的網(wǎng)絡(luò)結(jié)構(gòu)里，在最大感受野處，即之前加入global average pooling的地方可以直接接softmax進(jìn)行pixel level的分類，這還需要更多實(shí)驗(yàn)。

除此之外，在其他網(wǎng)絡(luò)中，在網(wǎng)絡(luò)的任何部分中，都可以使用沒有采樣的子網(wǎng)絡(luò)，比如hrnet的旁支網(wǎng)絡(luò)

對跨層連接的思考

如果沒有了采樣，那么所有feature map的分辨率都是一樣的，跨層連接也不會再區(qū)分bottom-up和up-bottom，所有的跨層連接本質(zhì)上都是在融合不同感受野的特征（這里待議，bottom-up應(yīng)該是在融合分辨率，常用在輸出側(cè)，up-bottom應(yīng)該是在融合來自不同感受野的特征，常用在特征提取側(cè)，當(dāng)沒有了分辨率的變換，bottom-up就不再被需要了）。

對目標(biāo)檢測的可能影響

如果沒有了分辨率的變化，那么檢測完全可以在網(wǎng)絡(luò)深層的某個感受野處叉開成為三支，分別檢測大中小物體，這個思想和tridentnet有類似之處

謝謝評論里的補(bǔ)充，dilated residual network確實(shí)已經(jīng)在resnet里面用類似的手法來處理分類和分割了，我之前并沒有注意到，但即使這樣，drn最后一層相當(dāng)于輸入依然有采樣過程，而本文試圖直接構(gòu)建沒有任何采樣的網(wǎng)絡(luò)。并且我的文章并無意于dilated卷積，我文章前面一部分的目的是為了詮釋是否需要采樣，并且試圖說明感受野，深度和通道數(shù)的辯證關(guān)系，也試圖說明感受野的方向性以及卷積的稀疏化本質(zhì)，最近，稀疏化卷積的研究其實(shí)越來越多，大家有興趣可以去arxiv上查閱，這里就不一一列舉了。

請意識到dilated convolution也不是必須，一個更大kernel size的卷積就可以替換它，但這勢必會引入更多參數(shù)，可能導(dǎo)致過擬合，當(dāng)然這可以用稀疏化的辦法解決，但是稀疏卷積目前不適合工程化，因?yàn)樾什⒉桓摺?/span>

類似的想法最早出現(xiàn)在deeplab的相關(guān)論文Rethinking Atrous Convolution for Semantic Image Segmentation（https://arxiv.org/abs/1706.05587）中，這篇文章中，空洞卷積主要是通過移除網(wǎng)絡(luò)最后幾層的降采樣操作以及對應(yīng)的濾波器核的上采樣操作，來提取更緊湊的特征，并且不增加新的額外學(xué)習(xí)參數(shù)。

總結(jié)一下本文。

雖然不利于加速，但是卷積核天生就應(yīng)該是稀疏的，下采樣損失了分辨率，一定會損失精度。深度之外，只有感受野和與之對應(yīng)的通道數(shù)最重要。

數(shù)學(xué)本質(zhì)的思考（這部分按需自行忽略，以后打算單獨(dú)討論）

最后一個小節(jié)擴(kuò)展成的另外一篇文章https://zhuanlan.zhihu.com/p/99193115，這篇文章的另一個作用，對于數(shù)學(xué)家分析CNN更加方便，不用再建模下采樣，只用證明卷積核稀疏性可以建模圖像識別，并且因?yàn)闆]有了采樣，卷積也就變成了連續(xù)空間上的卷積，（同時，激活函數(shù)也是可以軟化的），卷積核大小可以用函數(shù)支撐空間來描述（類似于高斯核的有效半徑）。下圖即高斯核函數(shù)??在不同的??下的圖像,

一句話說來，CNN是一種利用卷積實(shí)現(xiàn)二維泛函空間到二維泛函空間映射的神經(jīng)網(wǎng)絡(luò)。

以一維為例，這就相當(dāng)于把（-1，1）上的有界函數(shù)f映射到有界函數(shù)g的一個泛函，

為什么用卷積呢？眾所周知，卷積是最簡單的這樣一個泛函

并且它有著諸多良好的性質(zhì)，最重要的是，卷積有平移不變性，

它也有縮放不變性，

它有結(jié)合率和交換率

所以對于任意一個算子?

?,cnn的目的就是找到這樣一個?

但是直接尋找并不容易,那么就用一系列卷積去逼近它,其中?

?在這里是非線性激活函數(shù),

那么，cnn的策略就很明顯了，通過擬合的方式，用一組卷積去逼近任意泛函（注意，這個時候縮放不變性被非線性激活破壞了）。

為什么使用小卷積核之狄拉克函數(shù)與高斯函數(shù)

我們知道狄拉克函數(shù)

它是一個廣義函數(shù)，也就是說不是普通意義上的函數(shù)，當(dāng)高斯核函數(shù)的有效半徑無限趨近于0的時候，便得到了狄拉克函數(shù)。

它的卷積有如下性質(zhì)

這可以看成是1x1卷積，

它的n階導(dǎo)數(shù)有如下性質(zhì)

也就是說和它的n階導(dǎo)數(shù)做卷積便得到了自己的n階導(dǎo)數(shù)。

這個函數(shù)在應(yīng)用中必定是實(shí)現(xiàn)不了的，但是讓我們來看看高斯函數(shù)，它的導(dǎo)數(shù)是什么樣子，

可以看出來這些函數(shù)的有效半徑驚人的一致。如果使用這些函數(shù)，理論上可以使用卷積近似任意微分算子，而微分算子是性質(zhì)非常好的線性算子。

所以，為什么使用小卷積核，因?yàn)橹挥懈咚购瘮?shù)的有效半徑趨近于0的時候，它才能近似狄拉克函數(shù)，它的導(dǎo)數(shù)才能近似于狄拉克函數(shù)的導(dǎo)數(shù)。

（小卷積核的意義待議，這里提供另一個思考方式，因?yàn)閳D像不是普通函數(shù)，卷積在頻率空間變成乘法，小卷積核更容易產(chǎn)生高頻（類比高斯核函數(shù)），所以卷積后更容意放大高頻信息，（其實(shí)，這和上面的解釋并不完全沖突）使得高頻信息不容易被非線性的激活函數(shù)抹去，而高頻信息對于圖像來說，有非常重要的作用，比如說邊緣，比如說角點(diǎn)）。

稍大卷積核的意義

其實(shí)高斯核還有一個性質(zhì)，與被高斯核作用后（相當(dāng)于高斯平均）后求n階導(dǎo)數(shù)，相當(dāng)于與高斯核的n階導(dǎo)數(shù)作卷積,也就是說,

同時,高斯核還有以下性質(zhì)

所以,我們有高斯核作為基底向量,有

這樣求相當(dāng)與求解一系列線性系數(shù)?

?,請自行將?

?對應(yīng)到卷積核大小上

那么這樣稍大卷積核的意義就是變換在高斯平均后的空間里的微分算子，而且卷積核越大，這個平滑效應(yīng)越強(qiáng)。

而在圖像領(lǐng)域，因?yàn)橛嬎銠C(jī)和信息論離散化的表現(xiàn)形式，我們使用采樣和量化來處理它，并以此減少計算量

請持續(xù)關(guān)注本文的源代碼github倉庫（https://github.com/akkaze/cnn-without-any-downsampling）

作者：知乎-akkaze-鄭安坤

地址：https://www.zhihu.com/people/kkk-37-60

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺」公眾號后臺回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項目52講

在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實(shí)戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實(shí)戰(zhàn)項目，助力快速學(xué)校計算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項目20講

在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實(shí)戰(zhàn)項目20講，即可下載含有20個基于OpenCV實(shí)現(xiàn)20個實(shí)戰(zhàn)項目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~

CNN真的需要下采樣（上采樣）嗎?

在常見的卷積神經(jīng)網(wǎng)絡(luò)中，采樣幾乎無處不在，以前是max_pooling，現(xiàn)在是strided卷積。

?

?

在常見的卷積神經(jīng)網(wǎng)絡(luò)中，采樣幾乎無處不在，以前是max_pooling，現(xiàn)在是strided卷積。