華為提出DyNet：動(dòng)態(tài)卷積
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
本文轉(zhuǎn)自 | 視覺算法
背景
《DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks》是華為掛出的論文，其核心思想和谷歌的CondConv類似，產(chǎn)生kernel的方式有細(xì)微的不同，同時(shí)也取得了很高的性能漲點(diǎn)。
論文地址：http://de.arxiv.org/abs/2004.10694
一、 研究動(dòng)機(jī)：
該論文利用了動(dòng)態(tài)卷積來做神經(jīng)網(wǎng)絡(luò)的加速。該文章對(duì)activation進(jìn)行了協(xié)方差的分析和可視化，從而提出了Coefficient prediction模塊和Dynamic generation模塊來產(chǎn)生動(dòng)態(tài)卷積。相比于標(biāo)準(zhǔn)卷積，相同的通道數(shù)下，動(dòng)態(tài)卷積的性能有明顯的提升。
二、研究方法
整體思路如圖所示：
其核心思想和谷歌提出的條件卷積類似，通過activation生成一組權(quán)重，然后對(duì)fixed 權(quán)重進(jìn)行加權(quán)求和生成動(dòng)態(tài)卷積的權(quán)重。和CondConv主要區(qū)別在于該論文生成的權(quán)重參數(shù)更多，對(duì)于谷歌而言，一組卷積核的權(quán)重是共享的，而該論文是不共享的。
具體來看：
首先作者對(duì)現(xiàn)有網(wǎng)絡(luò)的輸出進(jìn)行了協(xié)方差的統(tǒng)計(jì)和可視化：
其中S代表相關(guān)性最強(qiáng)，M、W、N依次減少。
可以看到，VGG的網(wǎng)絡(luò)輸出有較強(qiáng)的相關(guān)性。MobileNetv2的相關(guān)性相對(duì)較小，對(duì)于裁剪算法也較難進(jìn)行裁剪。
協(xié)方差預(yù)測(cè)模塊：
主要是生成卷積核采用一個(gè)全局pooling，然后采用全連接生成對(duì)應(yīng)的權(quán)重。注意此處c的維度應(yīng)該是 的。而在谷歌Condconv此處對(duì)應(yīng)的應(yīng)該是gt。
動(dòng)態(tài)卷積核生成模塊：
如前圖所示，是各個(gè)group中的加權(quán)求和。
訓(xùn)練算法：
在訓(xùn)練過程中，由于每張圖的卷積核都是不一致的，所以在一個(gè)batch里并行計(jì)算是困難的（在曠視DRConv中，是用過將batch方向的并行計(jì)算堆疊到c方向通過group卷積實(shí)現(xiàn)），該論文通過等效在特征圖上進(jìn)行等效加權(quán)，這樣就類似于通道上的注意力機(jī)制：（
作者給出了mobileNet、shuffleNet、resnet18、resnet50上的增加動(dòng)態(tài)卷積的方式：
三、實(shí)驗(yàn)結(jié)果：
可以看到，在相近的計(jì)算量下，Dy-MobileNetv3-small的性能更高；在性能接近的情況下，Dy-ResNet50的計(jì)算量減少了三分之二。
從可視化的角度看：
從可視化上看，MobileNetv2的activation的協(xié)方差來的更小。
四、總結(jié)分析：
該論文從輕量設(shè)計(jì)的角度提出了DyNet，能夠有效地降低模型的計(jì)算量。思路上和CondConv較為接近，在實(shí)現(xiàn)上類似于通道注意力機(jī)制，另一方面該論文的訓(xùn)練采用了cosine學(xué)習(xí)率、label smooth等技巧。
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~