深度學(xué)習(xí)CV領(lǐng)域最矚目的成果top46
點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
前言
如果06年Hinton的深度置信網(wǎng)絡(luò)是深度學(xué)習(xí)時(shí)代的開(kāi)啟，12年的Alexnet在ImageNet上的獨(dú)孤求敗是深度學(xué)習(xí)時(shí)代的爆發(fā)，那么至今也有近15年的發(fā)展歷程。15年足夠讓一個(gè)青澀懵懂的少年成長(zhǎng)為一個(gè)成熟穩(wěn)重的壯年。
本文盤(pán)點(diǎn)深度學(xué)習(xí)CV領(lǐng)域杰出的工作，由于本人方向相關(guān)，故從基礎(chǔ)研究、分類(lèi)骨架、語(yǔ)義分割、實(shí)例分割、目標(biāo)檢測(cè)、生成對(duì)抗、loss相關(guān)、部署加速、其他方面等篩選出最矚目的成果。而對(duì)于無(wú)監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、3D點(diǎn)云、圖像配準(zhǔn)、姿態(tài)估計(jì)、目標(biāo)跟蹤、人臉識(shí)別、超分辨率、NAS等領(lǐng)域，則不會(huì)納入，或者有小伙伴建議的話，后面考慮收入。
注意，本次盤(pán)點(diǎn)具有一定的時(shí)效性，是聚焦當(dāng)下的。有些被后來(lái)者居上的工作成為了巨人的肩膀，本文不會(huì)涉及。
本文會(huì)給出核心創(chuàng)新點(diǎn)解讀和論文鏈接。如果你是大牛的話，可以自查一下。如果你是小白的話，這是一份入門(mén)指引。每個(gè)工作本文都會(huì)有網(wǎng)絡(luò)結(jié)構(gòu)或核心思想的插圖，并會(huì)進(jìn)行導(dǎo)讀式解讀。水平有限，歡迎討論！
入圍標(biāo)準(zhǔn)
承上啟下，繼往開(kāi)來(lái)。或開(kāi)啟一個(gè)時(shí)代，或打開(kāi)一個(gè)領(lǐng)域，或引領(lǐng)一個(gè)潮流，或造就一段歷史。在學(xué)術(shù)界或工業(yè)界備受追捧，落地成果遍地開(kāi)花。共同構(gòu)建成深度學(xué)習(xí)的大廈，并源源不斷地給后人輸送靈感和啟迪。
入圍成果
基礎(chǔ)研究：Relu，Dropout，Adam，BN，AtrousConv，DCN系列
分類(lèi)骨架：VGG，ResNet(系列)，SeNet，NIN，Inception系列，MobileNet系列，ShuffleNet系列
語(yǔ)義分割：FCN，U-Net，PSPNet，Deeplab系列
實(shí)例分割：Mask R-CNN，PanNet
目標(biāo)檢測(cè)：Faster R-CNN，Yolo系列，F(xiàn)PN，SSD，CenterNet，CornerNet，F(xiàn)COS，Cascade R-CNN，DETR
生成對(duì)抗：GAN，CGAN，DCGAN，pix2pix，CycleGAN，W-GAN
loss 相關(guān)：Focalloss，IOUloss系列，diceloss， CTCloss
部署加速：tf int8，network-slimming，KD
其他方面：CAM，Grad-CAM，Soft-NMS，CRNN，DBNet
Relu
論文標(biāo)題：Deep Sparse Rectifier Neural Networks
核心解讀：Relu相比Sigmoid，訓(xùn)練速度更快，且不存在Sigmoid的梯度消失的問(wèn)題，讓CNN走向更深度成為的可能。因?yàn)樗笥?區(qū)間就是一個(gè)線性函數(shù)，不會(huì)存在飽和的問(wèn)題。對(duì)于Relu也有一些改進(jìn)，例如pRelu、leaky-Relu、Relu6等激活函數(shù)。單純的Relu在0點(diǎn)是不可導(dǎo)的，因此底層需要特殊實(shí)現(xiàn)，放心，框架早已做好了。
Dropout
論文標(biāo)題: Improving neural networks by preventing co-adaptation of feature detectors
核心解讀：在訓(xùn)練時(shí)，按照一定概率隨機(jī)丟棄掉一部分的連接。在測(cè)試時(shí)，不使用丟棄操作。一般的解釋是，Dropout作為一種正則化手段，可以有效緩解過(guò)擬合。因?yàn)樯窠?jīng)元的drop操作是隨機(jī)的，可以減少神經(jīng)元之間的依賴，提取獨(dú)立且有效的特征。為了保證丟棄后該層的數(shù)值總量不變，一般會(huì)除上（1-丟棄比例p）。多說(shuō)一句，目前由于BN的存在，很少在CNN網(wǎng)絡(luò)中看到Dropout的身影了。不過(guò)不能忽視其重要的意義，且在其他網(wǎng)絡(luò)中（例如transformer）依然扮演者重要的角色。
BN
論文標(biāo)題：Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift
核心解讀：首先Normalization被稱為標(biāo)準(zhǔn)化，它通過(guò)將數(shù)據(jù)進(jìn)行偏移和尺度縮放拉到一個(gè)特定的分布。BN就是在batch維度上進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化，注意FC網(wǎng)絡(luò)是batch維度，CNN網(wǎng)絡(luò)由于要保證每一個(gè)channel上的所有元素同等對(duì)待，因此是在BHW維度上進(jìn)行的標(biāo)準(zhǔn)化操作。其作用可以加快模型收，使得訓(xùn)練過(guò)程更加穩(wěn)定，避免梯度爆炸或者梯度消失。有了BN，你不必再小心翼翼調(diào)整參數(shù)。并且BN也起到一定的正則化作用，因此Dropout被替代了。上述公式中均值和方差通過(guò)滑動(dòng)平均的方式在訓(xùn)練的過(guò)程中被保存下來(lái)，供測(cè)試時(shí)使用。當(dāng)今CNN網(wǎng)絡(luò)，BN已經(jīng)成為了必不可少的標(biāo)配操作。另外還有LN（layer Normalization）、IN(instance Normalization )、GN（group Normalization）的標(biāo)準(zhǔn)化操作。不過(guò)是作用在不同維度上獲取的，不在贅述。
Adam
論文標(biāo)題：ADAM : A METHOD FOR STOCHASTIC OPTIMIZATION
核心解讀：應(yīng)用非常廣泛，SGD、momentum等方法的集大成者。SGD-momentum在SGD基礎(chǔ)上增加了一階動(dòng)量，AdaGrad和AdaDelta在SGD基礎(chǔ)上增加了二階動(dòng)量。而Adam把一階動(dòng)量和二階動(dòng)量都用起來(lái)—Adaptive + Momentum。Adam算法即自適應(yīng)時(shí)刻估計(jì)方法（Adaptive Moment Estimation），能計(jì)算每個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率。這個(gè)方法不僅存儲(chǔ)了AdaDelta先前平方梯度的指數(shù)衰減平均值，而且保持了先前梯度的指數(shù)衰減平均值，這一點(diǎn)與動(dòng)量類(lèi)似。
AtrousConv
論文標(biāo)題：MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS
核心解讀：我們常說(shuō)網(wǎng)絡(luò)的感受野非常重要，沒(méi)有足夠的感受野訓(xùn)練和測(cè)試會(huì)丟失特征，預(yù)測(cè)就不準(zhǔn)甚至錯(cuò)掉。AtrousConv被稱為空洞卷積或膨脹卷積，廣泛應(yīng)用于語(yǔ)義分割與目標(biāo)檢測(cè)等任務(wù)中，在不增加參數(shù)的情況下，提高卷積的感受野。也可以代替pooling操作增加感受野，捕獲多尺度上下文信息，并且不會(huì)縮小特征圖的分辨率?？梢酝ㄟ^(guò)設(shè)置不同的擴(kuò)張率實(shí)現(xiàn)不同感受野大小的空洞卷積。不過(guò)在實(shí)際的語(yǔ)義分割應(yīng)用中，發(fā)現(xiàn)會(huì)出現(xiàn)網(wǎng)格現(xiàn)象。
DCN系列
論文標(biāo)題：
v1: Deformable Convolutional Networks
v2: Deformable ConvNets v2: More Deformable, Better Results
核心解讀：傳統(tǒng)卷積只是在NXN的正方形區(qū)域提取特征，或稱為滑動(dòng)濾波?？勺冃尉矸e是卷積的位置是可變形的，為了增加網(wǎng)絡(luò)提取目標(biāo)幾何信息或形狀信息的能力。具體做法就是在每一個(gè)卷積采樣點(diǎn)加上了一個(gè)偏移量，而這個(gè)偏移量是可學(xué)習(xí)的。另外空洞卷積也是可變形卷積的一種特例。類(lèi)似的還有可變形池化操作。在V2中發(fā)現(xiàn)可變形卷積有可能引入了無(wú)用的上下文來(lái)干擾特征提取，會(huì)降低算法的表現(xiàn)。為了解決該問(wèn)題，在DCN v2中不僅添加每一個(gè)采樣點(diǎn)的偏移，還添加了一個(gè)權(quán)重系數(shù)
，來(lái)區(qū)分引入的區(qū)域是否為我們感興趣的區(qū)域。如果該區(qū)域無(wú)關(guān)重要，權(quán)重系數(shù)學(xué)習(xí)成0就可以了。在目前的目標(biāo)檢測(cè)等任務(wù)中，增加變形卷積都會(huì)有不同程度的漲點(diǎn)，可謂是漲點(diǎn)必備。
VGG
論文標(biāo)題：Very Deep Convolutional Networks For Large-Scale Image RecognitionVery Deep Convolutional Networks For Large-Scale Image Recognition
核心解讀：VGG采用連續(xù)的幾個(gè)3x3的卷積核代替AlexNet中的較大卷積核（11x11，7x7，5x5）?？梢垣@取等同的感受野，并且增加了網(wǎng)絡(luò)的深度和非線性表達(dá)能力，來(lái)保證學(xué)習(xí)更復(fù)雜的模式，并且所需的總參數(shù)量還會(huì)減小。從VGG開(kāi)始，深度學(xué)習(xí)向更深度邁進(jìn)。該結(jié)構(gòu)亦成為了早期目標(biāo)檢測(cè)、語(yǔ)義分割、OCR等任務(wù)的骨架網(wǎng)絡(luò)，例如Faster R-CNN、CRNN等。
NIN
論文標(biāo)題：Network In Network
核心解讀：本文有兩大貢獻(xiàn)：1，提出全局平均池化，也就是GAP(global average pooling)。有了GAP操作，可以輕易的將網(wǎng)絡(luò)適用到不同輸入尺度上。另外GAP層是沒(méi)有參數(shù)的，因?yàn)閰?shù)量少了，GAP也降低了過(guò)擬合的風(fēng)險(xiǎn)。GAP直接對(duì)特征層的空間信息進(jìn)行求和，整合了整個(gè)空間的信息，所以網(wǎng)絡(luò)對(duì)輸入的空間變化的魯棒性更強(qiáng)。2，提出1X1卷積，幾乎出現(xiàn)在目前所有的網(wǎng)絡(luò)上，起到通道升降維、特征聚合等作用。通過(guò)1X1卷積還可以實(shí)現(xiàn)全連接操作。單憑這兩點(diǎn)貢獻(xiàn)，NIN在該名單值得一席地位。
ResNet
論文標(biāo)題：Deep Residual Learning for Image Recognition
核心解讀：cvpr2016最佳論文獎(jiǎng)，ImageNet當(dāng)年的冠軍。論文提出的殘差連接幾乎可以在每一個(gè)CNN中看到身影。網(wǎng)絡(luò)的深度是提高網(wǎng)絡(luò)性能的關(guān)鍵，但是隨著網(wǎng)絡(luò)深度的加深，梯度消失問(wèn)題逐漸明顯，甚至出現(xiàn)退化現(xiàn)象。所謂退化就是深層網(wǎng)絡(luò)的性能竟然趕不上較淺的網(wǎng)絡(luò)。本文提出殘差結(jié)構(gòu)，當(dāng)輸入為x時(shí)其學(xué)習(xí)到的特征記為H(x)，現(xiàn)在希望可以學(xué)習(xí)到殘差F(x)= H(x) - x，因?yàn)闅埐顚W(xué)習(xí)相比原始特征直接學(xué)習(xí)更容易。當(dāng)殘差為0時(shí)，此時(shí)僅僅做了恒等映射，至少網(wǎng)絡(luò)性能不會(huì)下降。正如kaiming所說(shuō)“簡(jiǎn)單才能接近本質(zhì)”，就是一條線連一下。讓我想到了工程師劃線的典故，重點(diǎn)不是畫(huà)線，而是把線畫(huà)到哪。該論文提出了resnet18、resnet34、resnet50、resnet101、resnet152不同量級(jí)的結(jié)構(gòu)，依然是現(xiàn)在分類(lèi)網(wǎng)絡(luò)中的主流，以及目標(biāo)檢測(cè)、語(yǔ)義分割等算法的主流骨架網(wǎng)絡(luò)。
SeNet
論文標(biāo)題：Squeeze-and-Excitation Networks
核心解讀：它贏得了最后一屆ImageNet 2017競(jìng)賽分類(lèi)任務(wù)的冠軍。重要的一點(diǎn)是SENet思路很簡(jiǎn)單，很容易擴(kuò)展在已有網(wǎng)絡(luò)結(jié)構(gòu)中。SE模塊主要包括Squeeze和Excitation兩個(gè)操作。Squeeze操作：將一個(gè)channel上整個(gè)空間特征編碼為一個(gè)全局特征，采用GAP來(lái)實(shí)現(xiàn)，Sequeeze操作得到了全局描述特征。接下來(lái)利用Excitation操作將學(xué)習(xí)到的各個(gè)channel的激活值（sigmoid激活，值0~1）作用到原始特征上去。整個(gè)操作可以看成學(xué)習(xí)到了各個(gè)channel的權(quán)重系數(shù)，從而使得模型對(duì)各個(gè)channel的特征更有辨別能力，這應(yīng)該也算一種attention機(jī)制。
Inception系列
論文標(biāo)題：
v1: Going deeper with convolutions
v2: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
v3: Rethinking the Inception Architecture for Computer Vision
v4: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
核心解讀：該系列的前身都是GoogLenet，其提升網(wǎng)絡(luò)性能的方式就是增加網(wǎng)絡(luò)深度和寬度，深度指網(wǎng)絡(luò)層次數(shù)量、寬度指神經(jīng)元數(shù)量。于是就有了上圖的經(jīng)典inception結(jié)構(gòu)，簡(jiǎn)單來(lái)說(shuō)就是并行采用不同大小的卷積核處理特征，增加網(wǎng)絡(luò)的處理不同尺度特征的能力，最后將所有的特征concat起來(lái)送入下面的結(jié)構(gòu)。
v1: 把GoogLenet一些大的卷積層換成1*1, 3*3, 5*5的小卷積，這樣能夠大大的減小權(quán)值參數(shù)量。
v2: 就是大名鼎鼎BN那篇文章，網(wǎng)絡(luò)方面的改動(dòng)就是增加了BN操作，可以看BN那部分的介紹。
v3：利用分離卷積的思想，把googLenet里一些7*7的卷積變成了1*7和7*1的兩層串聯(lián)，3*3同理。這樣做的目的是為了加速計(jì)算，減少過(guò)擬合。
v4：把原來(lái)的inception加上了resnet中的殘差結(jié)構(gòu)。
MobileNet系列
論文標(biāo)題：
v1: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
v2: MobileNetV2: Inverted Residuals and Linear Bottlenecks
v3: Searching for MobileNetV3
核心解讀：輕量級(jí)網(wǎng)絡(luò)的代表作，核心操作就是把VGG中的標(biāo)準(zhǔn)卷積層換成深度可分離卷積，計(jì)算量會(huì)比下降到原來(lái)的九分之一到八分之一左右。
v1:原本標(biāo)準(zhǔn)的卷積操作分解成一個(gè)depthwise convolution和一個(gè)1*1的pointwise convolution操作;
v2:使用了Inverted residuals(倒置殘差)結(jié)構(gòu)，就是先利用1X1卷積將通道數(shù)擴(kuò)大，然后進(jìn)行卷積，再利用1X1卷積縮小回來(lái)，和Resnet的Bottleneck恰好相反。通過(guò)將通道數(shù)擴(kuò)大,從而在中間層學(xué)到更多的特征，最后再總結(jié)篩選出優(yōu)秀的特征出來(lái)。另外使用了Linear bottlenecks來(lái)避免Relu函數(shù)對(duì)特征的損失。
v3: 利用神經(jīng)結(jié)構(gòu)搜索（NAS）來(lái)完成V3，并繼承了V1的深度可分離卷積和v2的倒置殘差結(jié)構(gòu)。并且使用h-swish激活函數(shù)來(lái)簡(jiǎn)化swish的計(jì)算量，h的意思就是hard。對(duì)于網(wǎng)絡(luò)輸出的后端，也就進(jìn)行了優(yōu)化。
ShuffleNet系列
論文標(biāo)題：
v1: ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
v2: ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
核心解讀：ShuffleNet的核心是采用了point wise group convolution和channel shuffle操作，保持了精度的同時(shí)大大降低了模型的計(jì)算量。這里的shuffle打亂是均勻隨機(jī)打亂。在V2中，作者從Memory Access Cost和GPU并行性的方向分析了高效網(wǎng)絡(luò)設(shè)計(jì)準(zhǔn)則：1.使用輸入通道和輸出通道相同的卷積操作；2.謹(jǐn)慎使用分組卷積；3.減少網(wǎng)絡(luò)分支數(shù)；3.減少element-wise操作。
FCN
論文標(biāo)題：Fully Convolutional Networks for Semantic Segmentation
核心解讀：CVPR 2015年的最佳論文提名，也是CNN進(jìn)行語(yǔ)義分割的開(kāi)山之作。本文提出的全卷積、上采樣、跳躍結(jié)構(gòu)等也是非常具有意義的，對(duì)后來(lái)者影響巨大。
U-Net
論文標(biāo)題：U-Net: Convolutional Networks for Biomedical Image Segmentation
核心解讀：Unet 初衷是應(yīng)用在醫(yī)學(xué)圖像上，屬于 FCN 的一種變體。由于效果優(yōu)秀，被廣泛的應(yīng)用在語(yǔ)義分割的各個(gè)方向，比如衛(wèi)星圖像分割，工業(yè)瑕疵檢測(cè)等。尤其在工業(yè)方向大放異彩。Unet 網(wǎng)絡(luò)結(jié)構(gòu)是非常對(duì)稱的，形似英文字母 U 所以被稱為 Unet。非常經(jīng)典的跳層鏈接也有FPN的影子。另外，該結(jié)構(gòu)也是魔改的對(duì)象，類(lèi)似unet++、res-unet等不下于數(shù)十種，側(cè)面反應(yīng)該作品的確很棒。
PSPNet
論文標(biāo)題：Pyramid Scene Parsing Network
核心解讀：PSPNet也是在FCN上的改進(jìn)，利用金字塔池化引入更多的上下文信息進(jìn)行解決, 分別用了1x1、2x2、3x3和6x6四個(gè)尺寸，最后用1x1的卷積層計(jì)算每個(gè)金字塔層的權(quán)重。最后再通過(guò)雙線性恢復(fù)成原始尺寸。最終得到的特征尺寸是原始圖像的1/8。最后在通過(guò)卷積將池化得到的所有上下文信息整合，生成最終的分割結(jié)果。
DeepLab
論文標(biāo)題：
v1: SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS
v2:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs
v3: Rethinking Atrous Convolution for Semantic Image Segmentation
v3+: Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
核心解讀：
v1:通過(guò)空洞卷積提升網(wǎng)絡(luò)的感受野和上下文的捕捉能力，通過(guò)條件隨機(jī)場(chǎng)（CRF）作為后處理提高模型捕獲精細(xì)細(xì)節(jié)的能力。
v2:將最后幾個(gè)max-pooling用空洞卷積替代下采樣，以更高的采樣密度計(jì)算feature map。提出ASPP（astrous spatial pyramid pooling），既組合不同采樣率的空洞卷積進(jìn)行采樣。另外DeepLab基礎(chǔ)上將VGG-16換成ResNet。
v3: 改進(jìn)了ASPP：由不同的采樣率的空洞卷積和BN層組成，以級(jí)聯(lián)或并行的方式布局。大采樣率的3×33×3空洞卷積由于圖像邊界效應(yīng)無(wú)法捕獲長(zhǎng)程信息，將退化為1×11×1的卷積，我們建議將圖像特征融入ASPP。
v3+:提出一個(gè)encoder-decoder結(jié)構(gòu)，其包含DeepLabv3作為encoder和高效的decoder模塊。encoder decoder結(jié)構(gòu)中可以通過(guò)空洞卷積來(lái)平衡精度和運(yùn)行時(shí)間，現(xiàn)有的encoder-decoder結(jié)構(gòu)是不可行的。在語(yǔ)義分割任務(wù)中采用Xception模型并采用depthwise separable convolution，從而更快更有效。
Mask-RCNN
論文標(biāo)題：Mask R-CNN
核心解讀：本文是做實(shí)例分割的，也是經(jīng)典baseline。Mask-RCNN 在 Faster-RCNN 框架上改進(jìn)，在基礎(chǔ)特征網(wǎng)絡(luò)之后又加入了全連接的分割子網(wǎng)，由原來(lái)兩個(gè)任務(wù)（分類(lèi)+回歸）變?yōu)榱巳齻€(gè)任務(wù)（分類(lèi)+回歸+分割）。另外，，Mask RCNN中還有一個(gè)很重要的改進(jìn)，就是ROIAlign。可以將fasterrcnn的中的roipooling類(lèi)比成最近鄰插值，roialign就會(huì)類(lèi)比成雙線性插值。
PANet
論文標(biāo)題：Path Aggregation Network for Instance Segmentation
核心解讀：實(shí)例分割的路徑聚合網(wǎng)絡(luò)，PANet整體上可以看做是對(duì)Mask-RCNN做了多個(gè)改進(jìn)。其提出的FPN改進(jìn)版PAN-FPN增加了自底向上的連接。在目標(biāo)檢測(cè)任務(wù)上，例如yolov4和v5上也大放異彩，可以看作是FPN非常成功的改進(jìn)。
Faster R-CNN
論文標(biāo)題：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
核心解讀：經(jīng)典的不能再經(jīng)典，隨便一搜就可以找到無(wú)數(shù)篇的解讀。兩階段目標(biāo)檢測(cè)鼻祖一樣的存在，和Yolo等單階段網(wǎng)絡(luò)抗衡了3代之久。所謂兩階段就是第一個(gè)階段將前景的候選區(qū)域proposal出來(lái)，第二個(gè)階段利用proposals進(jìn)行分類(lèi)和精修。像RPN、anchor、roipooling、smooth L1 loss等影響深遠(yuǎn)的概念都來(lái)自于此。題外話：最近看了很多任意角度目標(biāo)檢測(cè)，其中兩階段的都是以Faster Rcnn作為baseline進(jìn)行魔改的，足見(jiàn)其地位。
YOLO系列
論文標(biāo)題：
v1: You Only Look Once: Unified, Real-Time Object Detection
v2: YOLO9000: Better, Faster, Stronger
v3: YOLOv3: An Incremental Improvement
v4: YOLOv4: Optimal Speed and Accuracy of Object Detection
v5: github.com/ultralytics/(沒(méi)有論文，只有代碼)
核心解讀：如果說(shuō)Faster RCNN是兩階段的第一人，那么YOLO系列就是單階段的第一人。單階段意味著速度更快，實(shí)現(xiàn)更簡(jiǎn)單。針對(duì)YOLO的魔改也不在少數(shù)，例如poly-YOLO、pp-YOLO、fast-YOLO等。下面分別簡(jiǎn)述各自的核心特點(diǎn)：
v1：顯式地將圖片等分為NXN個(gè)網(wǎng)格，物體的中心點(diǎn)落入網(wǎng)格內(nèi)，該網(wǎng)格負(fù)責(zé)預(yù)測(cè)該物體?？梢赃@樣理解，NXN個(gè)網(wǎng)絡(luò)意味者網(wǎng)絡(luò)最終輸出的tensor的尺度也是NXN，對(duì)應(yīng)特征向量負(fù)責(zé)回歸它該負(fù)責(zé)的物體。注意v1是沒(méi)有anchor的概念的，回歸的尺度是相對(duì)與整圖來(lái)看的。
v2：最大的改進(jìn)就是增加了anchor機(jī)制，和faster R-CNN、SSD、RetinaNet的手動(dòng)預(yù)設(shè)不同，YOLO系列全是利用kmeans聚類(lèi)出最終的anchor。這里的anchor只有寬高兩個(gè)屬性，位置依然是相對(duì)與網(wǎng)格的。有了anchor就有匹配規(guī)則，是利用iou來(lái)判定正、負(fù)、忽略樣本的。
v3：基本設(shè)定和v2一致，不過(guò)是加入個(gè)多尺度預(yù)測(cè)，基本思想和FPN一樣。為了適配不同尺度的目標(biāo)。也是目前工業(yè)界應(yīng)用最廣泛的模型。
v4：運(yùn)用了非常多現(xiàn)有的實(shí)用技巧，例如：加權(quán)殘差連接（WRC）、跨階段部分連接（CSP)、跨小批量標(biāo)準(zhǔn)化（CmBN）、自對(duì)抗訓(xùn)練（SAT）、Mish激活、馬賽克數(shù)據(jù)增強(qiáng)、CIoU Loss等，讓精度也上了一個(gè)臺(tái)階。另外說(shuō)一句，該團(tuán)隊(duì)最近出品的scaled-Yolov4將coco刷到55.4，強(qiáng)的沒(méi)有對(duì)手。
v5：馬賽克增強(qiáng)的作者，同樣是改進(jìn)了網(wǎng)絡(luò)的骨架和FPN等，另外為了增加正樣本的數(shù)量，改進(jìn)了匹配規(guī)則，就是中心網(wǎng)格附近的也可能分配到正樣本，提高了網(wǎng)絡(luò)的召回率。與v4相比，有過(guò)之而無(wú)不及。
FPN
論文標(biāo)題：Feature Pyramid Networks for Object Detection
核心解讀：本文提出FPN(特征金字塔)結(jié)構(gòu)，就是自上而下的路徑和橫向連接去結(jié)合低層高分辨率的特征。把高層的特征傳下來(lái)，補(bǔ)充低層的語(yǔ)義，可以獲得高分辨率、強(qiáng)語(yǔ)義的特征，有利于小目標(biāo)的檢測(cè)。也是目前主流網(wǎng)絡(luò)的常客，魔改版本也很多，例如前述的PAN-FPN、ASFF、BiFPN、NAS-FPN等等。
SSD
論文標(biāo)題：SSD: Single Shot MultiBox Detector
核心解讀：多尺度預(yù)測(cè)的先驅(qū)，在沒(méi)有FPN的時(shí)代采用了多尺度的特征圖，并設(shè)置anchor。采用VGG16作為backbone。名氣很大，但目前應(yīng)用是比較少了。我認(rèn)為由于不像Yolo有后續(xù)的版本持續(xù)發(fā)力導(dǎo)致的?，F(xiàn)在要是設(shè)計(jì)目標(biāo)檢測(cè)，VGG肯定不夠用了，換掉。FPN也要加上，等等，即便是baseline是SSD，那么魔改出來(lái)肯定不叫SSD了。
CornerNet
論文標(biāo)題：CornerNet: Detecting Objects as Paired Keypoints
核心解讀：雖然不是anchor-free的開(kāi)山之作，但一定是將anchor-free重新帶回大眾視野的作品。該論文采用bottom-up的做法，就是先找到所有的關(guān)鍵點(diǎn)，再進(jìn)行配對(duì)。論文使用目標(biāo)box的左上和右下兩個(gè)關(guān)鍵點(diǎn)來(lái)定位。為了后續(xù)的配對(duì)，網(wǎng)絡(luò)會(huì)額外預(yù)測(cè)embedding vector，使用推拉loss，形象比喻是將同一個(gè)目標(biāo)的點(diǎn)拉到一起，不同目標(biāo)的點(diǎn)推開(kāi)。bottom-up的思想非常值得借鑒。
CenterNet
論文標(biāo)題：Objects as Points
核心解讀：anchor-free中的典范之作，CenterNet不僅可以用于目標(biāo)檢測(cè)，還可以用于其他的一些任務(wù)，如肢體識(shí)別或者3D目標(biāo)檢測(cè)等等。網(wǎng)絡(luò)利用熱圖預(yù)測(cè)目標(biāo)中心點(diǎn)位置，增加分支預(yù)測(cè)寬高或其他屬性，為了降低熱圖縮小尺度輸出帶來(lái)的量化誤差，網(wǎng)絡(luò)還會(huì)額外預(yù)測(cè)offset分支。結(jié)構(gòu)簡(jiǎn)單，可擴(kuò)展性極強(qiáng)，并且anchor-free，沒(méi)有過(guò)多的超參可調(diào)。受到學(xué)術(shù)界和工業(yè)界的追捧，讓anchor-free有火熱起來(lái)。要說(shuō)缺點(diǎn)也有，就是沒(méi)有FPN多尺度的操作。應(yīng)用的話還是看場(chǎng)景吧！
FCOS
論文標(biāo)題：FCOS: Fully Convolutional One-Stage Object Detection
核心解讀：CornerNet是將anchor-free帶回大眾視野，CenterNet是將anchor-free受到追捧，那么FCOS就是使anchor-free走到巔峰，足以和anchor-base抗衡。本文利用FPN處理不同尺度的目標(biāo)預(yù)測(cè)，并創(chuàng)造性提出了centerness分支來(lái)過(guò)濾低質(zhì)量的樣本，提升網(wǎng)絡(luò)擊中的能力，并減輕后端NMS的壓力。和CenterNet只采用中心點(diǎn)作為正樣本的做法不同，該論文將目標(biāo)一定大小的中心區(qū)域都設(shè)置為正樣本，大大提高了正樣本的數(shù)量。不僅可以加速訓(xùn)練收斂，還可以提高召回率，nice work。
Cascade R-CNN
論文標(biāo)題：Cascade R-CNN: Delving into High Quality Object Detection
核心解讀：比賽的?？停f(shuō)明精度的確很高。由于Faster R-CNN的RPN提出的proposals大部分質(zhì)量不高，導(dǎo)致沒(méi)辦法直接使用高閾值的detector，Cascade R-CNN使用cascade回歸作為一種重采樣的機(jī)制，逐stage提高proposal的IoU值，從而使得前一個(gè)stage重新采樣過(guò)的proposals能夠適應(yīng)下一個(gè)有更高閾值的stage。利用前一個(gè)階段的輸出進(jìn)行下一階段的訓(xùn)練，階段越往后使用更高的IoU閾值，產(chǎn)生更高質(zhì)量的bbox。是一種refine的思想在里面。
DETR
論文標(biāo)題：End-to-End Object Detection with Transformers
核心解讀：真是打敗你的不是同行，而是跨界。Transorfmer在NLP領(lǐng)域已經(jīng)大殺四方，目前它的觸角悄悄伸到CV領(lǐng)域，可氣的是性能竟然不虛。DETR基于標(biāo)準(zhǔn)的Transorfmer結(jié)構(gòu)，首先利用CNN骨架網(wǎng)絡(luò)提取到圖像的特征，和常見(jiàn)的目標(biāo)檢測(cè)的做法一致。不過(guò)后端卻沒(méi)有了FPN和pixel-wise的head。替換而來(lái)的是Transorfmer的encoder和decoder結(jié)構(gòu)，head也換成了無(wú)序boxes的set預(yù)測(cè)。當(dāng)然什么anchor、nms統(tǒng)統(tǒng)見(jiàn)鬼去吧。一經(jīng)提出就引起了軒然大波，在很快的將來(lái)，會(huì)雨后春筍斑蓬勃發(fā)展的，例如后續(xù)發(fā)力版本Ddformable DETR。我覺(jué)得，不過(guò)還需要時(shí)間的考驗(yàn)。
GAN
論文標(biāo)題：Generative Adversarial Nets
核心解讀：祖師爺級(jí)別，腦洞大開(kāi)的典范。活生生打開(kāi)了一個(gè)領(lǐng)域，也是目前AI最驚艷到人類(lèi)的一個(gè)領(lǐng)域。思想非常簡(jiǎn)單：既然無(wú)法評(píng)價(jià)生成的圖片質(zhì)量，干脆交給網(wǎng)絡(luò)來(lái)做吧。GAN的主要結(jié)構(gòu)包括一個(gè)生成器G（Generator）和一個(gè)判別器D（Discriminator）。生成器負(fù)責(zé)生成圖片，判別器負(fù)責(zé)判別生成圖片的真假，二者交替訓(xùn)練，互利共生。足以以假亂真。
CGAN
論文標(biāo)題：Conditional Generative Adversarial Networks
核心解讀：GAN能夠通過(guò)訓(xùn)練學(xué)習(xí)到數(shù)據(jù)分布生成新的樣本，其輸入數(shù)據(jù)來(lái)源隨機(jī)噪聲信號(hào)，是無(wú)意義且不可控的，因此生成的圖像也是隨機(jī)的，不能控制生成圖像類(lèi)別。如果真的要使用的話，還需要人工或者額外的網(wǎng)絡(luò)來(lái)判定類(lèi)別。本文將類(lèi)別編碼結(jié)合噪聲信號(hào)共同輸入網(wǎng)絡(luò)，類(lèi)別編碼控制生成圖像的類(lèi)別，噪聲信號(hào)保證生成圖像的多樣性。類(lèi)別標(biāo)簽可以和噪聲信號(hào)組合作為隱空間表示。同樣判別器也需要將類(lèi)別標(biāo)簽和圖像數(shù)據(jù)進(jìn)行拼接作為判別器輸入。
DCGAN
論文標(biāo)題：Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
核心解讀：DCGAN將CNN與GAN結(jié)合的開(kāi)山之作，因?yàn)樵糋AN是利用FC實(shí)現(xiàn)的。DCGAN的出現(xiàn)極大的推動(dòng)了GAN的蓬勃發(fā)展。其主要特點(diǎn)是：去除了FC層，使用了BN操作和Relu等CNN通用技術(shù)。利用不同stride的卷積代替pooling層等等。
pix2pix
論文標(biāo)題：Image-to-Image Translation with Conditional Adversarial Networks
核心解讀：本文是用cGAN思想做圖像翻譯的鼻祖。所謂圖像翻譯，指從一副圖像轉(zhuǎn)換到另一副圖像，例如手繪和真實(shí)圖。本文提出了一個(gè)統(tǒng)一的框架解決了圖像翻譯問(wèn)題。當(dāng)然直接利用CNN生成器（例如U-Net）去做圖像翻譯也可以，只是比較粗暴，并且生成的圖像質(zhì)量比較模糊，效果不好。于是pix2pix增加了GAN的對(duì)抗損失，用以提升生成的質(zhì)量，結(jié)果效果顯著。后續(xù)還有進(jìn)階版本pix2pixHD的出現(xiàn)，效果可謂又上一個(gè)臺(tái)階。視頻轉(zhuǎn)換有vid2vid可用。
CycleGAN
論文標(biāo)題：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
核心解讀：CycleGAN的推出將圖像風(fēng)格轉(zhuǎn)換推向了新的高度。簡(jiǎn)單來(lái)說(shuō)就是能把蘋(píng)果變?yōu)殚僮?，把馬變?yōu)榘唏R，把夏天變?yōu)槎斓鹊?。它解決的是非配對(duì)的域轉(zhuǎn)換。上文說(shuō)了pix2pix雖然驚艷，但是存在必須依賴配對(duì)樣本的缺點(diǎn)。CycleGAN利用循環(huán)一致loss解決該問(wèn)題。說(shuō)句體外話，真正在使用的時(shí)候，能配對(duì)盡量配對(duì)，可以顯著提高生成的圖片的質(zhì)量和訓(xùn)練效率。
W-GAN
論文標(biāo)題：
上篇：Towards Principled Methods For Training Generative Adversarial Networks
下篇：Wasserstein GAN
核心解讀：本文將GAN理論研究推向新的高度。GAN自提出依賴就存在著訓(xùn)練困難、生成器和判別器的loss不可信賴、生成樣本缺乏多樣性等問(wèn)題。本文提出一些實(shí)用且簡(jiǎn)單的trick，并推出Wasserstein距離，又叫Earth-Mover（EM）距離。由于它相對(duì)KL散度與JS散度具有優(yōu)越的平滑特性，理論上可以解決梯度消失問(wèn)題。另外，本文的理論非常扎實(shí)，在業(yè)內(nèi)廣受好評(píng)，非常值得一讀。
Focalloss
論文標(biāo)題：Focal Loss for Dense Object Detection
核心解讀：focalloss已經(jīng)驚為天人，RetinaNet又錦上添花。focalloss是解決分類(lèi)問(wèn)題中類(lèi)別不平衡、難樣本挖掘的問(wèn)題。根據(jù)預(yù)測(cè)來(lái)調(diào)整loss，有一種自適應(yīng)的思想在里面。retinaNet是anchor-base中的經(jīng)典作品，結(jié)構(gòu)簡(jiǎn)單通用，成為很多后繼工作的首選baseline。
IOUloss系列
論文標(biāo)題：
iou: UnitBox: An Advanced Object Detection Network
giou:Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression
diou: Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression
ciou: Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation
核心解讀：IOU是目標(biāo)檢測(cè)最根本的指標(biāo)，因此使用IOUloss理所當(dāng)然是治標(biāo)又治本的動(dòng)作。進(jìn)化過(guò)程如下：
IOU Loss：考慮檢測(cè)框和目標(biāo)框重疊面積。問(wèn)題是：1.兩個(gè)box不重合時(shí)，iou永遠(yuǎn)是0，作為loss不合理。2. IoU無(wú)法精確的反映兩者的重合度大小，因?yàn)閷?duì)尺度不敏感。
GIOU Loss：在IOU的基礎(chǔ)上，解決邊界框不重合時(shí)的問(wèn)題。就是引入兩個(gè)box的外接矩形，將兩個(gè)box的外部區(qū)域作為加入到loss里面。
DIOU Loss：在GIOU的基礎(chǔ)上，考慮邊界框中心距離的信息。將目標(biāo)與anchor之間的距離，重疊率以及尺度都考慮進(jìn)去。
CIOU Loss：在DIOU的基礎(chǔ)上，考慮邊界框?qū)捀弑鹊某叨刃畔?。也是目前最好的一種IOU loss。
diceloss
論文標(biāo)題：V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation
核心解讀：旨在應(yīng)對(duì)語(yǔ)義分割中正負(fù)樣本強(qiáng)烈不平衡的場(chǎng)景，并且可以起到加速收斂的功效，簡(jiǎn)直是語(yǔ)義分割的神器。不過(guò)也存在訓(xùn)練不穩(wěn)定等問(wèn)題，因此有一些改進(jìn)操作，主要是結(jié)合ce loss等改進(jìn)，比如: dice+ce loss，dice + focal loss等。
CTCloss
論文標(biāo)題：Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks
核心解讀：解決訓(xùn)練時(shí)序列不對(duì)齊的問(wèn)題，在文本識(shí)別和語(yǔ)言識(shí)別領(lǐng)域中，能夠比較靈活地計(jì)算損失，進(jìn)行梯度下降。例如在CV領(lǐng)域的OCR任務(wù)中幾乎必備。本文應(yīng)該是這個(gè)介紹的當(dāng)中最難的一篇，不從事相關(guān)專(zhuān)業(yè)的可以不去深究，但是還是有必要了解它在做什么。
tf int8
論文標(biāo)題：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
核心解讀：這是google發(fā)布的8bit的定點(diǎn)方案，幾乎又是祖師爺級(jí)別的論文。深度學(xué)習(xí)部署落地才是根本，撐起部署三件套的量化、剪枝、蒸餾三竿大旗中最高的一竿。模型部署的時(shí)候，你可以沒(méi)有剪枝和蒸餾，但是不可以不用量化（土豪用戶忽略）。不管是TensorFlow的方案，還是pytorch的方案，或者是GPU端扛把子的tensorrt，其后端精髓都來(lái)源于此。
network-slimming
論文標(biāo)題：Learning Efficient Convolutional Networks through Network Slimming
核心解讀：CNN網(wǎng)絡(luò)部署有三個(gè)難題：模型大小、運(yùn)行時(shí)間和占用內(nèi)存、計(jì)算量。論文利用BN中的gamma作為通道的縮放因子，因?yàn)間amma是直接作用在特征圖上的，值越小，說(shuō)明該通道越不重要，可以剔除壓縮模型。為了獲取稀疏的gamma分布，便于裁剪。論文將L1正則化增加到gamma上。本文提出的方法簡(jiǎn)單，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)沒(méi)有改動(dòng)，效果顯著。因此成為了很多剪枝任務(wù)的首選。
KD
論文標(biāo)題：Distilling the Knowledge in a Neural Network
核心解讀：知識(shí)蒸餾的開(kāi)山之作。我們可以先訓(xùn)練好一個(gè)teacher網(wǎng)絡(luò)，然后將teacher的網(wǎng)絡(luò)的輸出結(jié)果
作為student網(wǎng)絡(luò)的目標(biāo)，訓(xùn)練student網(wǎng)絡(luò)，使得student網(wǎng)絡(luò)的結(jié)果
接近為了傳遞給student網(wǎng)絡(luò)平滑的概率標(biāo)簽，也就是不能置信度太高，太接近onehot。文章提出了softmax-T。實(shí)驗(yàn)證明是可以有效提高小模型的泛化能力。
CAM
論文標(biāo)題：Learning Deep Features for Discriminative Localizatiion
核心解讀：特征可視化是可解釋研究的一個(gè)重要分支。有助于理解和分析神經(jīng)網(wǎng)絡(luò)的工作原理及決策過(guò)程，引導(dǎo)網(wǎng)絡(luò)更好的學(xué)習(xí)，利用CAM作為原始的種子，進(jìn)行弱監(jiān)督語(yǔ)義分割或弱監(jiān)督定位。本文是利用GAP進(jìn)行的，這個(gè)概念來(lái)自network in network，利用全局平均池化獲取特征向量，再和輸出層進(jìn)行全連接。GAP直接將特征層尺寸
轉(zhuǎn)化成
，既每一層的特征圖里面的所有像素點(diǎn)值求平均獲取對(duì)應(yīng)特征向量值作為GAP輸出。GAP后端接的是FC，每一個(gè)權(quán)重可以看作對(duì)應(yīng)特征圖層的重要程度，加權(quán)求和就獲取了我們的CAM。
Grad-CAM
論文標(biāo)題：Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
核心解讀: CAM的局限性就是網(wǎng)絡(luò)架構(gòu)里必須有GAP層，但并不是所有模型都配GAP層的。而本文就是為克服該缺陷提出的，其基本思路是目標(biāo)特征圖的融合權(quán)重
可以表達(dá)為梯度。Grad-CAM可適用非GAP連接的網(wǎng)絡(luò)結(jié)構(gòu)；CAM只能提取最后一層特征圖的熱力圖，而gard-CAM可以提取任意一層；
Soft-NMS
論文標(biāo)題：Improving Object Detection With One Line of Code
核心解讀：NMS算法中的最大問(wèn)題就是它將相鄰檢測(cè)框的分?jǐn)?shù)均強(qiáng)制歸零(即大于閾值的重疊部分), soft-NMS在執(zhí)行過(guò)程中不是簡(jiǎn)單的對(duì)IoU大于閾值的檢測(cè)框刪除，而是降低得分。算法流程同NMS相同，但是對(duì)原置信度得分使用函數(shù)運(yùn)算，目標(biāo)是降低置信度得分.
CRNN
論文標(biāo)題：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
核心解讀：文本識(shí)別經(jīng)典做法，也是主流做法，簡(jiǎn)單有效。主要用于端到端地對(duì)不定長(zhǎng)的文本序列進(jìn)行識(shí)別，不用對(duì)單個(gè)文字進(jìn)行切割，而是將文本識(shí)別轉(zhuǎn)化為時(shí)序依賴的序列學(xué)習(xí)問(wèn)題，就是基于圖像的序列識(shí)別。使用標(biāo)準(zhǔn)的CNN網(wǎng)絡(luò)提取文本圖像的特征，再利用LSTM將特征向量進(jìn)行融合以提取字符序列的上下文特征，然后得到每列特征的概率分布，最后通過(guò)解碼得到文本序列。
DBNet
論文標(biāo)題：Real-time Scene Text Detection with Differentiable Binarization
核心解讀：本文的最大創(chuàng)新點(diǎn)將可微二值化應(yīng)用到基于分割的文本檢測(cè)中。一般分割網(wǎng)絡(luò)最終的二值化都是使用的固定閾值。本文對(duì)每一個(gè)像素點(diǎn)進(jìn)行自適應(yīng)二值化，二值化閾值由網(wǎng)絡(luò)學(xué)習(xí)得到，將二值化這一步驟加入到網(wǎng)絡(luò)里一起訓(xùn)練。DB(Differentiable Binarization),翻譯過(guò)來(lái)叫可微分二值化（因?yàn)闃?biāo)準(zhǔn)二值化不可微分）。當(dāng)然基于分割的文本檢測(cè)可以適應(yīng)各種形狀，例如水平、多個(gè)方向、彎曲的文本等等。
后記
這僅僅是一份入門(mén)指南，指引你進(jìn)入深度學(xué)習(xí)的海洋。經(jīng)典之所以稱之為經(jīng)典，一定是每一次閱讀都有新的發(fā)現(xiàn)，所以強(qiáng)烈建議大家去讀原文。共勉！
下載1：何愷明頂會(huì)分享
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：leetcode 開(kāi)源書(shū)
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：leetcode，即可下載。每題都 runtime beats 100% 的開(kāi)源好書(shū)，你值得擁有！
下載3 CVPR2020
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR2020，即可下載1467篇CVPR 2020論文 個(gè)人微信（如果沒(méi)有備注不拉群！） 請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
覺(jué)得不錯(cuò)就點(diǎn)亮在看吧
