DAMO-YOLO | 超越所有YOLO，5行代碼即可體驗(yàn)！
DAMO-YOLO 是阿里新推出來(lái)的 目標(biāo)檢測(cè)框架，兼顧模型速度與精度，其效果超越了目前的一眾 YOLO 系列方法，且推理速度更快。DAMO-YOLO 還提供高效的訓(xùn)練策略和便捷易用的部署工具，能幫助開(kāi)發(fā)者快速解決工業(yè)落地中的實(shí)際問(wèn)題。
https://github.com/tinyvision/damo-yolo (上圖源自官網(wǎng))
本文提出了一種快速而精確的目標(biāo)檢測(cè)方案DAMO-YOLO，它取得了比其他YOLO系列方案更優(yōu)的性能。DAMO-YOLO在YOLO的基礎(chǔ)上引入了一些新技術(shù)，
NAS搜索高效骨干：采用MAE-NAS在低延遲高性能約束下進(jìn)行骨干網(wǎng)絡(luò)搜索，得到了帶有SPP與Focus模塊的類(lèi)ResNet/CSP架構(gòu)； RepGFPN+輕量頭：在這方面，延續(xù)了"Large Neck, Small Head"理念，引入了GFPN、ELAN以及重參數(shù)進(jìn)行優(yōu)化升級(jí)； AlignedOTA：它用于解決標(biāo)簽分類(lèi)過(guò)程中的惡不對(duì)齊問(wèn)題； 蒸餾增強(qiáng)：用于進(jìn)一步提升檢測(cè)器的性能。
基于上述新技術(shù)，作者構(gòu)建了不同尺寸的模型以滿(mǎn)足不同場(chǎng)景需求：DAMO-YOLO-Tiny/Small/Medium。在T4 GPU上，它們分別取得了43.06/46.8/50.0的mAP指標(biāo)，同時(shí)推理速度分別為2.78/3.83/5.62。該方案與其他YOLO方案(YOLOv5, YOLOv6, YOLOv7, YOLOX, PP-YOLOE)的性能對(duì)比可參考上圖。
本文方案
上圖為DAMO-YOLO整體架構(gòu)示意圖，它由MAE-NAS搜索骨干、GiraffeNeck樣式的Neck、GFL樣式的ZeroHead以及AlignedOTA標(biāo)簽分配策略構(gòu)成，此外還采用了蒸餾技術(shù)進(jìn)一步提升模型性能。
MAE-NAS骨干
在骨干網(wǎng)絡(luò)方面，作者采用MAE-NAS技術(shù)在不同計(jì)算負(fù)載約束下進(jìn)行搜索。作者采用新的搜索模塊k1kx（類(lèi)似DarkNet53所采用的模塊）構(gòu)建搜索空間，直接采用延遲作為評(píng)估準(zhǔn)則。在搜索完成后，作者對(duì)所得模型添加了SPP、Focus以及CSP等模塊
上表給出了CSP-DarkNet與所提方案搜索得到的模型性能對(duì)比，上述指標(biāo)驗(yàn)證了MAE-NAS骨干的有效性。注：MAE-ResNet表示僅引入了SPP與Focus，MAE-CSP意味著還引入了CSP模塊。考慮到性能與速度均衡問(wèn)題，Tiny與Small版方案骨干采用的是MAE-ResNet，Medium版方案骨干采用的是MAE-CSP。
Efficient RepGFPN
FPN旨在與骨干網(wǎng)路輸出的多分辨率特征進(jìn)行信息聚合，它是目標(biāo)檢測(cè)非常重要且有效的部件。傳統(tǒng)的FPN引入了一個(gè)top-down路徑融合多尺度特征；PAFPN則在FPN基礎(chǔ)上引入了額外的bottom-up路徑進(jìn)行信息聚合；BiFPN則移除了僅有一個(gè)輸入邊的節(jié)點(diǎn)，并在同級(jí)節(jié)點(diǎn)之間添加了跳過(guò)連接。GiraffeDet所提GFPN提供了另一種對(duì)高層與底層信息高效交互的方案。關(guān)于GiraffeDet的介紹可參考：小目標(biāo)到大目標(biāo)一網(wǎng)打盡！阿里提出首個(gè)輕骨干重Neck的輕量級(jí)目標(biāo)檢測(cè)器GiraffeDet。
直接采用GFPN對(duì)YOLO系列方案中的PAFPN進(jìn)行替換后可以取得更高的性能，但其延遲也變得更高。通過(guò)分析，主要原因可以歸因到以下幾個(gè)維度：
不同尺度的特征具有相同的維度； queen融合操作無(wú)法滿(mǎn)足實(shí)時(shí)檢測(cè)模型的需求； 基于卷積的跨尺度融合不夠高效。
基于GFPN，作者提出了Efficient-RepGFPN，改進(jìn)方向包含以下幾點(diǎn)：
由于不同尺度特征FLOPs的大差異，很難在有效計(jì)算復(fù)雜度下控制不同特征圖具有相同的維度。因此，作者對(duì)不同尺度特征設(shè)置不同的維度。相關(guān)結(jié)果可參考下表，通過(guò)更細(xì)粒度的控制通道數(shù)可以取得更高的精度。
GFPN通過(guò)queen進(jìn)行特征交互，但同時(shí)引入了額外的上采樣與下采樣操作。從下圖表示3可以看到：額外上采樣操作會(huì)導(dǎo)致0.75ms推理延遲，而性能提升僅為0.3mAP。話(huà)說(shuō)，這里的箭頭是"左燈右行"嗎？？？因此，作者移除了queen融合過(guò)程中的上采樣操作。
在特征融合模塊中，作者首先采用CSPNet替換原始的卷積，取得了4.2mAP指標(biāo)提升；進(jìn)一步引入重參數(shù)機(jī)制與ELAN。在不會(huì)導(dǎo)致額外巨大計(jì)算負(fù)擔(dān)前提下，模型性能大幅提升(可參考上圖表4)。
ZeroHead與AlignOTA
"解耦頭"已在近來(lái)優(yōu)異檢測(cè)方案中得到廣泛應(yīng)用，盡管這些方案具有更高AP，但延遲也大幅提升。為平衡延遲與性能，作者進(jìn)行了一系列實(shí)驗(yàn)以評(píng)估Neck與Head的重要性，結(jié)果見(jiàn)下表?？梢钥吹剑?strong>"Large Neck + Small Head"可以取得更優(yōu)性能。
有鑒于此，作者丟棄了"解耦頭"方案，反而僅保留一個(gè)任務(wù)投影層，即一個(gè)線(xiàn)性層進(jìn)行分類(lèi)，一個(gè)線(xiàn)性層進(jìn)行回歸。由于該檢測(cè)頭并無(wú)其他可訓(xùn)練層，故作者將所得檢測(cè)頭稱(chēng)之為ZeroHead。
在后續(xù)的損失中，參考GFocal，作者采用QFL進(jìn)行分類(lèi)監(jiān)督，采用DFL與GIOU進(jìn)行回歸監(jiān)督。DAMO-YOLO的損失函數(shù)定義如下：
除了Head與Loss外，標(biāo)簽分類(lèi)也是檢測(cè)器訓(xùn)練過(guò)程中一個(gè)非常重要的成分。相比靜態(tài)方案，動(dòng)態(tài)標(biāo)簽分配可以根據(jù)預(yù)測(cè)與GT之間的分配損失進(jìn)行標(biāo)簽分類(lèi)，其中代表方案有OTA與TOOD。盡管分類(lèi)與回歸不對(duì)齊問(wèn)題已得到廣泛研究，但標(biāo)簽分配中的不對(duì)齊卻鮮少被提到。為解決該問(wèn)題，作者定義了如下方案：
Distillation Enhancement
知識(shí)蒸餾是一種有效的漲點(diǎn)方案，但在YOLO系列方案中有時(shí)難以取得顯著改善(超參難以?xún)?yōu)化，特征包含太多噪聲)。在DAMO-YOLO中，作者首次讓蒸餾在所有尺寸模型上再次偉大。
上表對(duì)比了不同蒸餾方案的性能對(duì)比，很明顯CWD與所提模型更切合。作者采用的蒸餾包含兩個(gè)階段：
在strong mosaic域，采用老師模型對(duì)學(xué)生模型進(jìn)行蒸餾(約284epoch)； 在no mosaic域，學(xué)生模型進(jìn)行微調(diào)(約16epoch)。
本文實(shí)驗(yàn)
上表給出了不同YOLO方案的性能對(duì)比(加*表示使用了蒸餾技術(shù))，可以看到：在精度/速度方面，DAMO-YOLO超越了其他所有 YOLO系列方案。
快速體驗(yàn)
DAMO-YOLO已被繼承在阿里達(dá)摩院推出的"魔搭"社區(qū)ModelScope[modelscope.cn]，大家可以5行代碼完成體驗(yàn)（當(dāng)然，你需要先安裝modelscope）。
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
object_detect = pipeline(Tasks.image_object_detection,model='damo/cv_tinynas_object-detection_damoyolo')
img_path ='https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_detection.jpg'
result = object_detect(img_path)
