CSL-YOLO | 超越Tiny-YOLO V4，全新設(shè)計輕量化YOLO模型實現(xiàn)邊緣實時檢測?。?！

點擊下方“AI算法與圖像處理”，一起進步！
重磅干貨，第一時間送達

本文提出了一種新的輕量級卷積方法Cross-Stage Lightweight(CSL)模塊，從簡單的操作中生成冗余特征。在中間展開階段用深度卷積代替逐點卷積來生成候選特征。所提出的CSL模塊可以顯著降低計算量。在MS-COCO上進行的實驗表明，所提出的CSL-Module可以達到近似卷積的擬合能力。

1簡介

由于計算資源有限，開發(fā)輕量級目標檢測器是必要的。為了降低計算成本，如何生成冗余特征起著至關(guān)重要的作用。

本文提出了一種新的輕量級卷積方法——Cross-Stage Lightweight(CSL)模塊，從簡單的操作中生成冗余特征。在中間展開階段用深度卷積代替逐點卷積來生成候選特征。所提出的CSL模塊可以顯著降低計算量。在MS-COCO上進行的實驗表明，所提出的CSL-Module可以達到近似卷積的擬合能力。

最后，利用該模塊構(gòu)建了輕量級檢測器CSL-YOLO，在僅43% FLOPs和52%參數(shù)的情況下，實現(xiàn)了比TinyYOLOv4更好的檢測性能。

2本文方法

2.1 CSL-Module

以往的研究表明，使用更少的計算量來生成冗余特征圖，可以大大減少FLOPs。CSPNet提出了一種跨階段求解的方法，GhostNet系統(tǒng)地驗證了cheap操作在該問題中的有效性。然而，問題是生成有價值的特征圖的主要操作對于邊緣計算來說仍然過于復雜。

本文建議將輸入特征映射劃分為2個分支。第1個分支通過像GhostNet那樣的cheap操作生成一半冗余的特征圖;第2個分支通過輕量級主操作生成另外一半必要的特性映射，然后將2個輸出cat在一起?？傮w架構(gòu)如下圖所示。

超參數(shù)表示特征擴展的比例。在CSL-Bone中將設(shè)為3，在else中將設(shè)為2。當下采樣或擴展塊后需要注意力時，插入SE模塊或自適應(yīng)平均池化。此外，作者還使用了Mish作為激活函數(shù)，在實驗中，Mish在CNN模型中的表現(xiàn)優(yōu)于ReLU和Swish。

本文所提出的CSL-Module通過跳過分支的操作生成半冗余特征映射。在主分支上，它不同于CSP模塊和Ghost模塊。作者建議一個輕量級的主操作來生成另外一半必要的特性映射。在這個分支中設(shè)計了一個類似IRB的擴展塊，利用跳躍分支的輸入特征圖和輸出特征圖，通過深度卷積生成中間候選特征圖。

這個塊的最大優(yōu)點之一是無需pointwise CNN，大家都知道深度卷積比pointwise CNN的FLOPs要少得多。它不同于IRB。IRB使用逐點卷積來生成候選特征圖。這個塊的其他優(yōu)點是它充分考慮了所有當前可用的特性，這可以最小化冗余計算。此外，因為已經(jīng)有了跳躍分支，主分支只需要生成一半的特性圖，顯著減少了FLOPs。

總的來說，所提出的CSL-Module通過cheap操作和跨階段的思想減少了FLOPs。另一方面，特別對主分支進行了輕量級設(shè)計。替換了VGG-16中的卷積層來驗證CSL-Module的有效性，分別將新的模型記為IRB-VGG-16、Ghost-VGG-16和CSLVGG-16。

在CIFAR-10上對它們進行了評估，訓練設(shè)置和trick都是相同的(例如，flip、affine、mixup和steps learning rate)。從下表可以看出，CSL-Module比其他輕量級卷積方法更快。實驗證明CSL-Module是一種非常有競爭力的輕量級卷積方法。

2.2 構(gòu)建輕量化組件

本文提出了2種輕量級組件CSL-Bone和CSL-FPN。這2個組件是目標檢測器所必需的。CSL-Bone比其他backbone模型提取輸入圖像的特征值更少;CSL-FPN能更有效地預(yù)測不同尺度上的邊界框。

1、Lightweight Backbone

本文所提的CSL-Bone由幾個CSL-Module組成。SE模塊集成到第1個CSL-Module中，增強了整個組的特征提取能力。此外，還在適當?shù)奈恢貌迦氤鼗瘜舆M行降采樣，以獲得高級語義特征。

最后，CSL-Bone輸出3種不同比例的特征圖?？傮w架構(gòu)如上圖所示。作者在CIFAR-10上評估了CSL-Bone、MobileNetv2和GhostNet，并應(yīng)用了相同的訓練設(shè)置。由表2可以看出。盡管CSL-Bone的準確率低于MobileNetv2，但CSL-Bone的FLOPs僅比MobileNetv2低58.7%。另一方面，CSL-Bone的準確率比GhostNet高，但只略微增加了FLOPs。

2、Lightweight FPN

以往的研究表明，大尺度特征圖具有更多的物體細節(jié)，如邊緣、角落或紋理，而小尺度特征圖具有全面的語義理解。Vanilla FPN將小特征圖向上采樣，然后將它們與大特征圖融合。另一方面，Vanilla FPN輸出3比例尺特征圖。這有助于模型檢測不同尺寸的物體。

本文提出的CSL-FPN首先將FPN中的所有卷積替換為CSL-Module。其次，在擴展階段，在2個尺度層之間形成一個中尺度層，這些中尺度層可以增強模型對不同尺度目標的檢測能力;第3，在重復階段，同時有(k)th層、(k-1)th層和(k+1)th層進行特征融合，但每次只使用奇層或偶層。

例如，在第1次融合中只有第2層和第4層，而在第2次融合中，有第1層，第3層和第5層。也就是說，所提出的CSL-FPN具有與Vanilla FPN相同的卷積數(shù)，但具有更多的特征融合?？傮w架構(gòu)如圖所示。

在本文提出的CSL-FPN的實現(xiàn)中，為了使元素的添加更容易，作者在層擴展階段將5個輸出層的通道設(shè)置為相同的。重復階段使用一個超參數(shù)R來表示CSL-FPN總共堆疊了幾個塊。較大的R可以實現(xiàn)更高的AP，但FLOPs也會增加，因此在速度和性能之間存在權(quán)衡。作者在基于 CSL-YOLO的MS-COCO上測試了R的最佳值。表3顯示了結(jié)果。隨著R的增大，AP也從18.6%提高到19.8%，AP50從35.5%提高到37.2%，MFLOPs也從127下降到409。經(jīng)過權(quán)衡決定將R設(shè)為3。

3Tricks of CSL-YOLO

3.1 Anchors約束

YOLO系列使用K-means和IoU距離函數(shù)對ground truth的高度和寬度進行聚類，然后將中心點作為anchor box。這些錨點由k個聚類生成，并根據(jù)其規(guī)模分配到FPN的輸出層。當將輸出層從3層擴展到5層時，k也從9層增加到15層。

如果使用上述方法，那么由于MS-COCO中有許多小目標，這些anchor大多是小規(guī)模的。high-level的輸出層將被迫使用小規(guī)模的anchor。然而，眾所周知，high-level的特征圖不利于小目標的檢測。因此，作者在K-means前加入上式這樣的尺度限制，使得生成的anchor分布更符合各個輸出層的尺度。作者在下表中進行了實驗，可以看到原來的3個輸出層擴展到5個輸出層后出現(xiàn)了惡化。在添加了約束方法后，它對AP有了相當大的改進。

3.2 Non-Exponential預(yù)測

YOLO級數(shù)實際上預(yù)測了x, y, w, h的偏移量，如下:

其中和為模型預(yù)測的目標高度和寬度的偏移量，和為anchor的高度和寬度。雖然對數(shù)函數(shù)可以限制模型的預(yù)測范圍，但指數(shù)函數(shù)的敏感性使寬度和高度相當不穩(wěn)定。因此去掉了log函數(shù)，讓模型直接預(yù)測偏移量。則上式可以修改為:

從下表可以明顯看出，即使在不同的圖像尺寸下，非指數(shù)預(yù)測也可以提高1~2%的AP。如圖1所示，然后集成所有組件構(gòu)建CSL-YOLO。在推理過程中，采用soft-nms技術(shù)對重疊框進行懲罰。

CSL-YOLO在416×416的輸入尺度下，所提出的CSL-YOLO使用3.2M參數(shù)和1470 MFLOPs獲得42.8%的AP50，而Tiny-YOLOv4使用6.1M參數(shù)和3450 MFLOPs獲得40.2%的AP50。可以說，CSL-YOLO比先進的Tiny-YOLOv4占用更少的時間(FLOPs)和空間(參數(shù))，并能實現(xiàn)令人印象深刻的AP性能。此外，在224×224的輸入尺度下，與最輕的YOLO-LITE相比，CSL-YOLO仍然在更低的FLOPs下獲得更高的AP性能。

4參考

[1].CSL-YOLO: A New Lightweight Object Detection System for Edge Computing

努力分享優(yōu)質(zhì)的計算機視覺相關(guān)內(nèi)容，歡迎關(guān)注：

個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風格指南

在「AI算法與圖像處理」公眾號后臺回復：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！

下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺回復：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文