↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

來源丨CVer

極市導(dǎo)讀

?

本文盤點(diǎn)了6月22日以來關(guān)于“即插即用”網(wǎng)絡(luò)模塊的重要論文，共計(jì)10篇，相信能對(duì)大家的科研工作有所幫助。

前言

最近出現(xiàn)了很多"即插即用"的網(wǎng)絡(luò)模塊，比如用來替換傳統(tǒng)的卷積層，可以使你的網(wǎng)絡(luò)輕松漲點(diǎn)！

本文就來盤點(diǎn)一下近期（6.22-至今）較為亮眼的論文，也許對(duì)你目前的科研工作會(huì)有所幫助，或者有所啟發(fā)。有意思的是Amusi統(tǒng)計(jì)出正好10篇論文，其實(shí)每一篇都可以單獨(dú)寫出文章來分享，但這里匯總成大盤點(diǎn)系列，方便做對(duì)比和參考。

1 DO-Conv

替換傳統(tǒng)卷積！阿里等提出DO-Conv：Depthwise Over-parameterized卷積層

DO-Conv: Depthwise Over-parameterized Convolutional Layer

作者單位：阿里巴巴&山東大學(xué)&北大等

代碼：https://github.com/yangyanli/DO-Conv

論文：https://arxiv.org/abs/2006.12030

僅用DO-Conv層替換常規(guī)卷積層就可以提高CNN在許多經(jīng)典視覺任務(wù)（如分類，目標(biāo)檢測(cè)和分割等）上的性能。PyTorch、TF和GluonCV版本代碼剛剛開源！

卷積層是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的核心構(gòu)建模塊。在本文中，我們提出通過附加的depthwise卷積來增強(qiáng)卷積層，其中每個(gè)輸入通道都使用不同的2D kernel進(jìn)行卷積。兩個(gè)卷積的組成構(gòu)成了over-parameterization，因?yàn)樗黾恿丝蓪W(xué)習(xí)的參數(shù)，而生成的線性運(yùn)算可以由單個(gè)卷積層表示。我們將此depthwise over-parameterized卷積層稱為DO-Conv。我們通過大量實(shí)驗(yàn)表明，僅用DO-Conv層替換常規(guī)卷積層就可以提高CNN在許多經(jīng)典視覺任務(wù)（例如圖像分類，檢測(cè)和分割）上的性能。此外，在推理階段，深度卷積被折疊為常規(guī)卷積，從而使計(jì)算量精確地等于卷積層的計(jì)算量，而沒有over-parameterization。由于DO-Conv引入了性能提升，而不會(huì)導(dǎo)致推理的計(jì)算復(fù)雜性增加，因此我們提倡將其作為傳統(tǒng)卷積層的替代方法。

在圖像分類、目標(biāo)檢測(cè)和語義分割任務(wù)上的性能表現(xiàn)：

2 PyConv

金字塔卷積(PyConv)：重新思考用于視覺任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)

Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition

作者單位：起源人工智能研究院（IIAI）

代碼：https://github.com/iduta/pyconv

論文：https://arxiv.org/abs/2006.11538

PyConv具有影響幾乎所有計(jì)算機(jī)視覺任務(wù)的潛力，如分類PyConvResNet、分割PyConvSegNet，檢測(cè)PyConvSSD等，在提高性能的同時(shí)(漲點(diǎn)明顯)，不增加計(jì)算量和參數(shù)，代碼剛剛開源！

這項(xiàng)工作引入了金字塔卷積（PyConv），它能夠在多個(gè)filter尺度上處理輸入。PyConv包含一個(gè)kernel金字塔，其中每個(gè)level涉及大小和深度不同的不同類型的filters，它們能夠捕獲場(chǎng)景中不同level的細(xì)節(jié)。除了這些改進(jìn)的識(shí)別功能之外，PyConv還是高效的，并且按照我們的公式，與標(biāo)準(zhǔn)卷積相比，它不會(huì)增加計(jì)算成本和參數(shù)。而且，它非常靈活和可擴(kuò)展，為不同的應(yīng)用提供了大量的潛在網(wǎng)絡(luò)體系結(jié)構(gòu)。

PyConv具有影響幾乎所有計(jì)算機(jī)視覺任務(wù)的潛力，在這項(xiàng)工作中，我們針對(duì)視覺識(shí)別的四個(gè)主要任務(wù)提出了基于PyConv的不同體系結(jié)構(gòu)：圖像分類，視頻動(dòng)作分類/識(shí)別，目標(biāo)檢測(cè)和語義圖像分割/解析。與基線相比，我們的方法顯示出對(duì)所有這些核心任務(wù)的顯著改進(jìn)。例如，在圖像識(shí)別方面，我們的50層網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上的識(shí)別性能優(yōu)于其具有152層的對(duì)應(yīng)基準(zhǔn)ResNet，同時(shí)參數(shù)減少了2.39倍，計(jì)算復(fù)雜度降低了2.52倍，層減少了3倍以上。在圖像分割方面，我們新穎的框架為具有挑戰(zhàn)性的場(chǎng)景解析ADE20K基準(zhǔn)設(shè)置了新的技術(shù)。

PyConv 在圖像分類、語義分割等任務(wù)上的性能表現(xiàn)：

3 GENet

漲點(diǎn)神器！GENet(組集成網(wǎng)絡(luò))：在單個(gè)ConvNet中學(xué)習(xí)ConvNet的集成

Group Ensemble: Learning an Ensemble of ConvNets in a single ConvNet

作者單位：馬里蘭大學(xué)帕克分校

論文：https://arxiv.org/abs/2007.00649

ResNet-50 + GE從原23.54降低至21.81錯(cuò)誤率，ResNeXt-50 + GE從原 22.13降低至20.3錯(cuò)誤率，還可應(yīng)用于其他CV任務(wù)，如目標(biāo)檢測(cè)、行為識(shí)別等。

集成學(xué)習(xí)是提高機(jī)器學(xué)習(xí)準(zhǔn)確性的通用技術(shù)。但是，ConvNets集合的繁重計(jì)算限制了其在深度學(xué)習(xí)中的使用。在本文中，我們介紹了組集成網(wǎng)絡(luò)（GENet），一種將ConvNet集成到單個(gè)ConvNet中的體系結(jié)構(gòu)。通過基于共享和多頭的結(jié)構(gòu)，GENet被分為幾個(gè)組，以使在單個(gè)ConvNet中進(jìn)行顯式的集成學(xué)習(xí)成為可能。由于分組卷積和共享庫，GENet可以充分利用顯式集成學(xué)習(xí)的優(yōu)勢(shì)，同時(shí)保留與單個(gè)ConvNet相同的計(jì)算。此外，我們將“組平均”，“組Wagging”和“組Boosting”作為三種不同的策略來匯總這些成員。

最后，GENet優(yōu)于大型單一網(wǎng)絡(luò)，小型網(wǎng)絡(luò)的標(biāo)準(zhǔn)集成以及CIFAR和ImageNet上的其他最新技術(shù)。具體來說，對(duì)于ImageNet上的ResNeXt-50，group ensemble將top-1錯(cuò)誤減少1.83％。我們還將展示其在行為識(shí)別和目標(biāo)檢測(cè)任務(wù)上的有效性。

GENet 在圖像分類、目標(biāo)檢測(cè)和行為識(shí)別等任務(wù)上的性能表現(xiàn)：

4 ULSAM

ULSAM：用于緊湊型CNN的超輕量級(jí)子空間注意力模塊

ULSAM: Ultra-Lightweight Subspace Attention Module for Compact Convolutional Neural Networks

作者單位：印度理工學(xué)院

代碼：https://github.com/Nandan91/ULSAM

論文：https://arxiv.org/abs/2006.15102

即插即用！首次嘗試使用子空間注意力機(jī)制來提高緊湊型CNN的效率，并提高細(xì)粒度圖像分類性能，如MobileNetV2 + ULSAM，其FLOP和參數(shù)減少的同時(shí)，準(zhǔn)確率提高，代碼現(xiàn)已開源！

自注意力機(jī)制對(duì)long-range依賴關(guān)系進(jìn)行建模的能力已使其在視覺模型中的部署迅速發(fā)展。與卷積運(yùn)算符不同，自注意力提供了無限的感受野，并實(shí)現(xiàn)了對(duì)全局依賴關(guān)系的高效計(jì)算建模。但是，現(xiàn)有的最新注意力機(jī)制會(huì)導(dǎo)致較高的計(jì)算和/或參數(shù)開銷，因此不適合緊湊型卷積神經(jīng)網(wǎng)絡(luò)（CNN）。在這項(xiàng)工作中，我們提出了一個(gè)簡(jiǎn)單而有效的“超輕量子空間注意力機(jī)制”（ULSAM），它為每個(gè)特征圖子空間推斷出不同的注意力圖。我們認(rèn)為，針對(duì)每個(gè)特征子空間傾斜單獨(dú)的注意力圖可以實(shí)現(xiàn)多尺度和多頻率的特征表示，這對(duì)于細(xì)粒度的圖像分類而言更為理想。我們的子空間注意方法是正交的，并且與視覺模型中使用的現(xiàn)有最新注意機(jī)制互補(bǔ)。ULSAM可進(jìn)行端到端訓(xùn)練，并且可以作為現(xiàn)成的緊湊型CNN中的即插即用模塊進(jìn)行部署。值得注意的是，我們的工作是首次嘗試使用子空間注意力機(jī)制來提高緊湊型CNN的效率。

為了顯示ULSAM的功效，我們使用MobileNet-V1和MobileNet-V2作為ImageNet-1K和三個(gè)細(xì)粒度圖像分類數(shù)據(jù)集的主干架構(gòu)進(jìn)行了實(shí)驗(yàn)。在ImageNet-1K和細(xì)粒度圖像分類數(shù)據(jù)集上，我們分別使MobileNet-V2的FLOP和參數(shù)計(jì)數(shù)減少了約13％和約25％，在top-1準(zhǔn)確性方面分別提高了0.27％和1％以上。）。

5 Sandglass block

重新思考高效移動(dòng)網(wǎng)絡(luò)設(shè)計(jì)的Bottleneck結(jié)構(gòu)（ECCV 2020）

Rethinking Bottleneck Structure for Efficient Mobile Network Design

作者單位：新加坡國立大學(xué)&依圖科技

代碼：https://github.com/zhoudaquan/rethinking_bottleneck_design

論文：https://arxiv.org/abs/2007.02269

用sandglass block替換Inverted Residual Block，如提出MobileNeXt 性能優(yōu)于EfficientNet、GhostNet和FBNet等網(wǎng)絡(luò)，代碼即將開源！

最近，反向殘差模塊在移動(dòng)網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)中占主導(dǎo)地位。通過引入兩個(gè)設(shè)計(jì)規(guī)則，它改變了經(jīng)典的殘差bottleneck：學(xué)習(xí)反向殘差和使用線性bottleneck。在本文中，我們重新考慮了這種設(shè)計(jì)更改的必要性，發(fā)現(xiàn)它可能帶來信息丟失和梯度混淆的風(fēng)險(xiǎn)。因此，我們提出翻轉(zhuǎn)結(jié)構(gòu)并提出一種新穎的瓶頸設(shè)計(jì)，稱為“沙漏塊（sandglass block）”，該設(shè)計(jì)在更高的維度上執(zhí)行標(biāo)識(shí)映射和空間變換，從而有效地減輕了信息丟失和梯度混淆的麻煩。大量的實(shí)驗(yàn)表明，與通常的看法不同，這種瓶頸結(jié)構(gòu)比倒置的瓶頸對(duì)移動(dòng)網(wǎng)絡(luò)更有利。

在ImageNet分類中，只需簡(jiǎn)單地用我們的沙漏塊替換 inverted residual block，而無需增加參數(shù)和進(jìn)行計(jì)算，則與MobileNetV2相比，分類精度可以提高1.7％以上。在Pascal VOC 2007測(cè)試集上，我們觀察到目標(biāo)檢測(cè)的mAP也提高了0.9％。通過將其添加到神經(jīng)體系結(jié)構(gòu)搜索方法DARTS的搜索空間中，我們進(jìn)一步驗(yàn)證了沙漏塊的有效性。通過減少25％的參數(shù)，分類精度比以前的DARTS模型提高了0.13％。

6?DGC

DGC：用于加速卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)分組卷積（ECCV 2020）

Dynamic Group Convolution for Accelerating Convolutional Neural Networks

作者單位：奧盧大學(xué)&華南理工大學(xué)&國防科技大學(xué)

代碼：https://github.com/zhuogege1943/dgc

論文下：https://arxiv.org/abs/2007.04242

為每個(gè)組配備一個(gè)小的特征選擇器，以自動(dòng)選擇以輸入圖像為條件的最重要的輸入通道，性能優(yōu)于FLGC、SGC和CGNet等分組網(wǎng)絡(luò)，代碼剛剛開源！

用分組卷積代替普通卷積可以顯著提高現(xiàn)代深度卷積網(wǎng)絡(luò)的計(jì)算效率，這已在緊湊型網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計(jì)中廣泛采用。但是，現(xiàn)有的分組卷積會(huì)永久性地切斷某些連接，從而破壞了原始網(wǎng)絡(luò)結(jié)構(gòu)，從而導(dǎo)致精度顯著下降。在本文中，我們提出了動(dòng)態(tài)分組卷積（DGC），它可以動(dòng)態(tài)地針對(duì)各個(gè)樣本自適應(yīng)地選擇在每個(gè)組內(nèi)連接輸入通道的哪一部分。具體來說，我們?yōu)槊總€(gè)組配備一個(gè)小的特征選擇器，以自動(dòng)選擇以輸入圖像為條件的最重要的輸入通道。多個(gè)組可以自適應(yīng)地捕獲每個(gè)輸入圖像的豐富且互補(bǔ)的視覺/語義特征。DGC保留了原始的網(wǎng)絡(luò)結(jié)構(gòu)，并且同時(shí)具有與常規(guī)分組卷積相似的計(jì)算效率。

在包括CIFAR-10，CIFAR-100和ImageNet在內(nèi)的多個(gè)圖像分類基準(zhǔn)上進(jìn)行的大量實(shí)驗(yàn)證明，它比現(xiàn)有的分組卷積技術(shù)和動(dòng)態(tài)執(zhí)行方法更具優(yōu)勢(shì)。

7?DCANet

增強(qiáng)注意力！DCANet：學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的連接注意力

DCANet: Learning Connected Attentions for Convolutional Neural Networks

作者單位：北德克薩斯州大學(xué)

代碼：https://github.com/eccv2020-4574/DCANet

論文：https://arxiv.org/abs/2007.05099

本文深入探索自注意力機(jī)制，并提出即插即用的DCA模塊，增強(qiáng)你的注意力模型，提高網(wǎng)絡(luò)性能！如DCA-CBAM/SE/SK-ResNet50組合，代碼即將開源！

盡管自注意力機(jī)制已在許多視覺任務(wù)中顯示出不錯(cuò)的性能，但它一次只考慮當(dāng)前的特征。我們表明，這種方式不能充分利用注意力機(jī)制。在本文中，我們介紹了深度連接的注意力網(wǎng)絡(luò)（DCANet），這是一種新穎的設(shè)計(jì)，可以在不對(duì)內(nèi)部結(jié)構(gòu)進(jìn)行任何修改的情況下增強(qiáng)CNN模型中的注意力模塊。為了實(shí)現(xiàn)這一點(diǎn)，我們將相鄰的注意力blocks互連，從而使信息在attention blocks之間流動(dòng)。使用DCANet，可以對(duì)CNN模型中的所有注意力模塊進(jìn)行聯(lián)合訓(xùn)練，從而提高了注意力學(xué)習(xí)的能力。我們的DCANet是通用的。它不限于特定的注意力模塊或基礎(chǔ)網(wǎng)絡(luò)體系結(jié)構(gòu)。

在ImageNet和MS COCO基準(zhǔn)測(cè)試上的實(shí)驗(yàn)結(jié)果表明，DCANet在所有測(cè)試用例中以最小的額外計(jì)算開銷始終勝過最新的注意力模塊。所有代碼和模型均公開提供。

8?PSConv

即插即用！PSConv：將特征金字塔壓縮到緊湊的多尺度卷積層中（ECCV 2020）

PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer

作者單位：香港科技大學(xué)&Intel Labs

代碼：https://github.com/d-li14/PSConv

論文：https://arxiv.org/abs/2007.06191

即插即用，漲點(diǎn)明顯！用在ResNet-50等CNN，直接漲了1個(gè)多點(diǎn)；用在Mask R-CNN等網(wǎng)絡(luò)上，直接漲近兩個(gè)點(diǎn)！代碼剛剛開源！

盡管具有強(qiáng)大的建模能力，但是卷積神經(jīng)網(wǎng)絡(luò)（CNN）通常對(duì)尺度敏感。為了增強(qiáng)CNN尺度變化的魯棒性，來自不同層或filters的多尺度特征融合在現(xiàn)有解決方案中引起了極大的關(guān)注，而更細(xì)粒度的kernel空間卻被忽略了。我們通過更精細(xì)地利用多尺度特征來彌合這種"遺憾"。所提出的卷積運(yùn)算被稱為“多尺度卷積（PSConv）”，它混合了一系列的dilation rates，并在每個(gè)卷積層的單個(gè)卷積內(nèi)核中巧妙地將它們分配給單個(gè)卷積層。具體地說，dilation rate沿著filter的輸入和輸出通道的軸周期性地變化，以整齊的樣式在大范圍的刻度上聚集特征。PSConv可以替代許多流行的CNN骨干中的vanilla卷積，從而在不引入其他參數(shù)和計(jì)算復(fù)雜性的情況下實(shí)現(xiàn)更好的表征學(xué)習(xí)。

在ImageNet和MS COCO基準(zhǔn)上進(jìn)行的全面實(shí)驗(yàn)驗(yàn)證了PSConv的出色性能。

9?WeightNet

WeightNet：重新探索Weight網(wǎng)絡(luò)的設(shè)計(jì)空間（ECCV 2020）

WeightNet: Revisiting the Design Space of Weight Networks

作者單位：香港科技大學(xué)&曠視研究院

代碼：https://github.com/megvii-model/WeightNet

論文：https://arxiv.org/abs/2007.11823

漲點(diǎn)神器！可較大提高ShuffleNetV2、ResNet50等CNN的性能，代碼剛剛開源！

我們提出了一個(gè)概念簡(jiǎn)單，靈活和有效的框架，用于weight 生成網(wǎng)絡(luò)。我們的方法通常是將兩個(gè)當(dāng)前截然不同且極為有效的SENet和CondConv合并到同一weight 空間框架中。稱為WeightNet的方法通過將另一組全連接的層簡(jiǎn)單添加到注意力激活層來泛化這兩種方法。我們使用完全由（分組的）全連接層組成的WeightNet直接輸出卷積權(quán)重。在內(nèi)核空間而不是特征空間上，WeightNet易于訓(xùn)練并且節(jié)省內(nèi)存。

由于具有靈活性，我們的方法在ImageNet和COCO檢測(cè)任務(wù)上均優(yōu)于現(xiàn)有方法，從而實(shí)現(xiàn)了更好的Accuracy-FLOP和Accuracy-Parameter權(quán)衡。靈活的重量空間上的框架有可能進(jìn)一步提高性能。

10?FPT

南京理工提出FPT：特征金字塔Transformer（ECCV 2020）

Feature Pyramid Transformer

作者單位：南京理工&南洋理工&合工大&阿里達(dá)摩院等

代碼：https://github.com/ZHANGDONG-NJUST/FPT

論文：https://arxiv.org/abs/2007.09451

即插即用！漲點(diǎn)明顯！本文提出FPT：特征金字塔新形態(tài)，Transformer大法好！可提高目標(biāo)檢測(cè)、語義/實(shí)例分割等任務(wù)性能，代碼剛剛開源！

跨空間和尺度的特征交互是現(xiàn)代視覺識(shí)別系統(tǒng)的基礎(chǔ)，因?yàn)樗鼈円肓擞幸娴囊曈X系統(tǒng)。按照慣例，空間上下文被被動(dòng)地隱藏在CNN越來越多的感受野中，或者被非局部卷積主動(dòng)地編碼。但是，非局部空間交互作用并不是跨尺度的，因此它們無法捕獲位于不同尺度的對(duì)象（或零件）的非局部上下文。

為此，我們提出了一種跨空間和尺度的完全活躍的特征交互功能，稱為特征金字塔Transformer（FPT）。通過使用self-level，自上而下和自下而上這三個(gè)交互方式的特殊設(shè)計(jì)的transformers，它將任何特征金字塔轉(zhuǎn)換為相同大小但具有更豐富上下文的另一個(gè)特征金字塔。FPT充當(dāng)通用的視覺骨干，具有合理的計(jì)算開銷。

我們使用各種backbone和head網(wǎng)絡(luò)在實(shí)例級(jí)（即，目標(biāo)檢測(cè)和實(shí)例分割）和像素級(jí)分割任務(wù)中進(jìn)行了廣泛的實(shí)驗(yàn)，并觀察了所有基線和最新方法的持續(xù)改進(jìn)。

推薦閱讀

• 1357篇ECCV 2020論文打包下載！獎(jiǎng)項(xiàng)公布：李飛飛高徒獲最佳論文獎(jiǎng)
  

• 極市直播回放丨第62期-魏愷軒：免調(diào)試即插即用的近端優(yōu)化算法
  

• 通道注意力超強(qiáng)改進(jìn)，輕量模塊ECANet來了！即插即用，顯著提高CNN性能｜已開源
  

極市七夕"CV俠侶"征稿活動(dòng)

極市征集了大家關(guān)于陪伴的故事

投票通道現(xiàn)已開啟

快來為你喜愛的TA加油吧！

極市平臺(tái)公眾號(hào)回復(fù)“七夕”即可獲取投票鏈接

每人每天有3次投票機(jī)會(huì)哦~

目前，活動(dòng)還在進(jìn)行中

大家可添加極小東微信（ID：cvmart3）投稿~

△ 掃碼添加極小東微信

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動(dòng)交流~

△長按添加極市小助手

覺得有用麻煩給個(gè)在看啦~??