SoftPool使用softmax進(jìn)行加權(quán)池化，能夠保持特征的表達(dá)性并且是可微操作。從性能和準(zhǔn)確率來看，SoftPool是目前的常規(guī)池化方法的一個不錯的替代品

來源：曉飛的算法工程筆記 公眾號

論文: Refining activation downsampling with SoftPool

• 論文地址：https://arxiv.org/abs/2101.00440v2
• 論文代碼：https://github.com/alexandrosstergiou/SoftPool

Introduction

? 池化層是當(dāng)今卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)算子，用于降低特征圖的大小以及網(wǎng)絡(luò)的計(jì)算量，能夠達(dá)成平移不變性以及增大后續(xù)卷積的感受域。目前的池化方法大多基于最大池化或平均池化，雖然計(jì)算很快內(nèi)存占用少，但其有很大的提升空間，主要在于更好地維持特征圖的重要信息。

? 為此，論文提出了SoftPool，基于softmax加強(qiáng)進(jìn)行特征圖的池化操作。從實(shí)驗(yàn)結(jié)果來看，SoftPool在保持計(jì)算和內(nèi)存高效的情況下，能夠很好的保留特征圖的重要信息，提升模型的準(zhǔn)確率。

SoftPool Downsampling

? 定義大小為 的特征圖 的局部區(qū)域 ， 為2D空間區(qū)域，大小等同于池化核大小 ，輸出為 ，對應(yīng)的梯度為 。

Exponential maximum kernels

? SoftPool的核心思想在于softmax的利用，根據(jù)特征值非線性地計(jì)算區(qū)域 的特征值權(quán)重：

? 權(quán)重 能夠保證重要特征的傳遞，區(qū)域 內(nèi)的特征值在反向傳遞時都至少會有預(yù)設(shè)的最小梯度。在得到權(quán)重 后，通過加權(quán)區(qū)域 內(nèi)的特征值得到輸出：

? SoftPool能夠很好地參照區(qū)域內(nèi)的激活值分布，服從一定的概率分布，而基于最大池化和平均池化的方法的輸出則是無分布的。

Gradient calculation

? SoftPool是可微的，在反向傳播計(jì)算時，SoftPool梯度根據(jù)前向時的激活值比例進(jìn)行計(jì)算，若梯度過小，將直接賦予預(yù)設(shè)的非零最小梯度值。

Feature preservation

? 下采樣的目的是在保持特征表達(dá)的同時降低分辨率，如果損失了特征的表達(dá)，勢必會降低整體網(wǎng)絡(luò)的性能。而論文通過可視化發(fā)現(xiàn)，相對于其它池化操作，SoftPool能夠很好的保留特征表達(dá)，算是最大池化和平均池化的折中。

Spatio-temporal kernels

? 論文提到，CNN網(wǎng)絡(luò)可以擴(kuò)展處理3D輸入，SoftPool也可以進(jìn)行對應(yīng)的適配。假設(shè)輸入的特征維度為 ， 為時間維度，SoftPool的處理區(qū)域則從原來的2D區(qū)域加上時間維度。

Experiment

? SSI、Pix Sim和EMD為3種不同的相似度度量方法，這里主要對比特征的丟失以及計(jì)算性能。SoftPool雖然加入了softmax加權(quán)，但其速度依然很快。在實(shí)現(xiàn)時，先對整圖計(jì)算 ，然后將得到的圖特征圖與原圖進(jìn)行element-wise相乘，然后進(jìn)行平均池化。

? 多種池化方法的對比。

? 多個主干網(wǎng)絡(luò)上的分類準(zhǔn)確率對比。

Discussion

? 論文列舉了許多池化操作的示意圖，從圖中可以看到，其實(shí)SoftPool和早前提出的LIP很像，都是用到了softmax加權(quán)，只是LIP額外加了一個小網(wǎng)絡(luò)對激活值進(jìn)行線性變換，這么看來，SoftPool可以算是LIP的一個特例。感覺整體論文的內(nèi)容以及亮點(diǎn)不夠多，另外實(shí)驗(yàn)部分的baseline的準(zhǔn)確率有點(diǎn)低，不知道作者是怎么得來的。

Conclusion

? SoftPool使用softmax進(jìn)行加權(quán)池化，能夠保持特征的表達(dá)性并且是可微操作。從性能和準(zhǔn)確率來看，SoftPool是目前的常規(guī)池化方法的一個不錯的替代品。

       

        個人微信（如果沒有備注不拉群！）
       
       

        請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
       
       

        

       


下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


     

      

     
     

      下載3 CVPR2020
     
     

      

     
     

      在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR2020，即可下載1467篇CVPR 2020論文
     


    

     

      

       

        
覺得不錯就點(diǎn)亮在看吧