（附代碼）COCO新記錄：60.6AP！微軟提出采用注意力機(jī)制進(jìn)行檢測(cè)頭統(tǒng)一的Dynamic Head

paper: https://arxiv.org/abs/2106.08322

code: https://github.com/microsoft/DynamicHead

Abstract

目標(biāo)檢測(cè)中定位與分類合并的復(fù)雜性衍生出了各式各樣的算法，然而這些方法從不同的角度出發(fā)進(jìn)行目標(biāo)檢測(cè)性能的提升，難以從一個(gè)統(tǒng)一的角度進(jìn)行分析度量。

本文提出一種新穎的動(dòng)態(tài)頭框架，它采用注意力機(jī)制將不同的目標(biāo)檢測(cè)頭進(jìn)行統(tǒng)一。通過(guò)特征層次之間的注意力機(jī)制用于尺度感知，空間位置之間的注意力機(jī)制用于空間感知，輸出通道內(nèi)的注意力機(jī)制用于任務(wù)感知，該方法可以在不增加計(jì)算量的情況顯著提升模型目標(biāo)檢測(cè)頭的表達(dá)能力。

COCO數(shù)據(jù)集上實(shí)驗(yàn)驗(yàn)證了所提方案的有效性與高效性。以ResNeXt-101-DCN為骨干，我們將目標(biāo)檢測(cè)的性能提升到了54.0AP，取得了一個(gè)新的高度；更進(jìn)一步，采用最新的Transformer骨干與額外數(shù)據(jù)，我們可以將COCO的指標(biāo)推到一個(gè)新記錄：60.6AP。

Method

為將尺度感知、空間位置感知以及任務(wù)感知同時(shí)嵌入一個(gè)目標(biāo)檢測(cè)頭中，我們需要了解已有方法對(duì)目標(biāo)檢測(cè)頭的改進(jìn)。

給定以金字塔形式拼接的L級(jí)特征，我們可以通過(guò)上采樣/下采樣將連續(xù)特征朝中間級(jí)特征縮放。尺度重調(diào)整的特征金字塔可以描述為4D張量。我們進(jìn)一步定義并將上述特征reshape為3D張量。基于該表達(dá)，我們將對(duì)每個(gè)張量維度的作用進(jìn)行探索：

• 目標(biāo)尺度的差異對(duì)應(yīng)了不同尺度的特征，改進(jìn)不同級(jí)的表達(dá)能力可以有效提升目標(biāo)檢測(cè)器的尺度感知能力；
• 不相似目標(biāo)形狀的不同幾何變換對(duì)應(yīng)了特征的不同空間位置，改進(jìn)不同空間位置的表達(dá)能力可以有效提升目標(biāo)檢測(cè)器的空間位置感知能力；
• 目標(biāo)表達(dá)與任務(wù)的多樣性對(duì)應(yīng)了不同通道特征，改進(jìn)不同通道的表達(dá)能力可以有效提升目標(biāo)檢測(cè)的任務(wù)感知能力。

我們發(fā)現(xiàn)：上述方向可以統(tǒng)一到一個(gè)高效注意力學(xué)習(xí)問(wèn)題中。本文也是首個(gè)嘗試采用多注意力將三個(gè)維度組合構(gòu)建統(tǒng)一頭并最大化其性能的工作。

Dynamic Head: Unifying with Attentions

給定特征張量，自注意力的廣義形式可以描述如下：

一種最樸素的方案是采用全連接層，但是在所有維度上直接學(xué)習(xí)注意力函數(shù)會(huì)導(dǎo)致過(guò)多的計(jì)算量，且由于高維度問(wèn)題而 不切實(shí)際。

相反，我們將注意力函數(shù)轉(zhuǎn)換為三個(gè)序列注意力，每個(gè)注意力僅聚焦一個(gè)維度：

Scale-aware Attention  我們首先引入尺度感知注意力基于其語(yǔ)義重要性對(duì)不同尺度特征進(jìn)行融合：

其中，為線性函數(shù)，采用卷積近似，為hard-sigmoid激活函數(shù)。

Spatial-aware Attention  我們接下來(lái)引入另一個(gè)空間位置感知注意力模塊以聚焦不同空間位置的判別能力。考慮到S的高緯度，我們對(duì)其進(jìn)行解耦：首先采用形變卷積對(duì)注意力學(xué)習(xí)稀疏化，然后進(jìn)行特征跨尺度集成：

其中，K為稀疏采樣位置數(shù)。其他參數(shù)信息與形變卷積中的參數(shù)信息類似，故略過(guò)。

Task-aware Attention  為促進(jìn)聯(lián)合學(xué)習(xí)與目標(biāo)表達(dá)能力的泛化性，我們?cè)O(shè)計(jì)了一種任務(wù)感知注意力。它可以動(dòng)態(tài)開關(guān)特征通道以輔助不同任務(wù)：

其中，為超參數(shù)，用于控制激活閾值，而類似于DyReLU。

最后，將上述注意力機(jī)制以序列方式實(shí)施，我們可以堆疊實(shí)施多次。下圖給出了DynamicHead的配置示意圖。

總而言之，基于所提DynamicHead的目標(biāo)檢測(cè)框架圖見(jiàn)下圖。任意類型的骨干網(wǎng)絡(luò)均可用于提取特征金字塔并進(jìn)一步縮放到統(tǒng)一尺度構(gòu)建3D張量，然后將其作為DynamicHead的輸入。接下來(lái)，多個(gè)包含尺度感知、空間位置感知以及任務(wù)感知的DyHead模塊串行堆疊。動(dòng)態(tài)頭的輸出可以用于不同的任務(wù)，比如分類、中心/方框回歸等等。

以上圖底部為例，我們可以看到不同類型注意力的輸出?？梢钥吹剑?/p>

• 源自骨干的初始特征由于域差異存在噪聲；
• 經(jīng)過(guò)尺度感知注意力模塊處理后，特征就對(duì)不同尺度的目標(biāo)變的更敏感；
• 經(jīng)過(guò)空間位置感知注意力模塊處理后，特征變的更稀疏，聚焦于不同位置的前景目標(biāo)；
• 經(jīng)過(guò)任務(wù)感知注意力模塊處理后，特征會(huì)基于不同下游任務(wù)形成不同的激活。

以上可視化結(jié)果很好的驗(yàn)證了每個(gè)注意力模塊的有效性。

Generalizing to Existing Detectors

接下來(lái)，我們將驗(yàn)證如何將所提DynamicHead集成到現(xiàn)有檢測(cè)器中以提升其性能。

One-stage Detector 單階段檢測(cè)器通過(guò)在特征圖上稠密采樣方式預(yù)測(cè)目標(biāo)位置，這種方式簡(jiǎn)化了目標(biāo)檢測(cè)器的設(shè)計(jì)。經(jīng)典的單階段檢測(cè)器(如RetinaNet)包含一個(gè)骨干網(wǎng)絡(luò)提取稠密特征、多個(gè)任務(wù)相關(guān)子網(wǎng)絡(luò)處理不同任務(wù)。正如DyReLU一文所提到：目標(biāo)分類子網(wǎng)絡(luò)的行為與回歸子網(wǎng)絡(luò)的差異甚大。不同于這種經(jīng)典方案，我們僅在骨干之后附加一個(gè)統(tǒng)一分支，受益多注意力機(jī)制，它可以同時(shí)處理多個(gè)任務(wù)。通過(guò)這種方式，架構(gòu)可以進(jìn)一步簡(jiǎn)化，同時(shí)提升了效率。將DyHead與單階段檢測(cè)器集成的方式可參考見(jiàn)下圖b。

Two-stage Detector 兩階段檢測(cè)器采用Region Proposal與ROI-pooling層從特征金字塔中提取中間表達(dá)。為耦合該特性，我們首先在ROI-pooling添加實(shí)施尺度感知注意力與空間位置感知注意力，然后采用任務(wù)感知注意力替換原始的全連接層。具體實(shí)現(xiàn)方式可參見(jiàn)上圖c。

Experiments

我們?cè)贛S-COCO數(shù)據(jù)集上對(duì)所提方案的有效性進(jìn)行了驗(yàn)證，檢測(cè)器的架構(gòu)以Mask R-CNN為基準(zhǔn)，動(dòng)態(tài)頭的訓(xùn)練則參考了ATSS框架。

Main Results

我們先來(lái)看一下總體結(jié)果，見(jiàn)上面兩個(gè)表，從中可以看到：

• 所提方案以較大的優(yōu)勢(shì)超越了其他已有方案；
• 相比同配置的最佳檢測(cè)器BorderDet，采用ResNet101骨干時(shí)所提方案取得了1.1AP指標(biāo)提升；采用ResNeXt-x4d-1-1骨干時(shí)取得了1.2AP指標(biāo)提升；
• 相比僅采用多尺度尋覽的方法，所提方案僅需2x訓(xùn)練即可取得新的SOTA指標(biāo) 52.3AP；
• 相比EfficientDet與SpineNet，所提方法訓(xùn)練時(shí)間更少(僅1/20);
• 當(dāng)同時(shí)采用多尺度訓(xùn)練與測(cè)試時(shí)，所提方法取得了新的SOTA指標(biāo)54.0AP，以1.3AP指標(biāo)優(yōu)于此前最佳。

Still Improve

我們?cè)谇笆鼋Y(jié)果的基礎(chǔ)上計(jì)息提升模型的性能，但引入更優(yōu)異的Transformer骨干、額外的數(shù)據(jù)后，所提方案取得了新的記錄：60.6AP。

Ablation Study

接下來(lái)，我們將通過(guò)一系列實(shí)驗(yàn)驗(yàn)證所提DyHead的有效性與高效性。

上表對(duì)比了不同注意力機(jī)制的有效性，可以看到：

• 在baseline基礎(chǔ)上單獨(dú)添加分別可以取得0.9AP、2.4AP以及1.3AP指標(biāo)提升?？臻g位置感知注意力模塊可以取得最大收益。
• 當(dāng)同時(shí)使用L與S時(shí)，模型性能提升可以達(dá)到2.9AP;
• 當(dāng)同時(shí)使用三者時(shí)，模型性能提升可以進(jìn)一步提升到3.6AP。

上圖對(duì)比了注意力學(xué)習(xí)的有效性，可以看到：尺度感知注意力模塊傾向于將更高分辨率特征向更低分辨率特征調(diào)節(jié)(見(jiàn)Level5)，將更低分辨率特征向更高分辨率調(diào)節(jié)以平滑不同尺度特征(見(jiàn)Level1)見(jiàn)的尺度混淆。

上表對(duì)比了不同深度頭的效率對(duì)比，可以看到：

• 僅需兩個(gè)模塊，所提方案即可取得比baseline更佳的性能；
• 當(dāng)采用6個(gè)模塊時(shí)，模型性能提升達(dá)到最大，而計(jì)算量提升相比骨干可以忽略。

上表對(duì)比了不同將所提DyHead集成到不同檢測(cè)器時(shí)的性能對(duì)比，可以看到：所提DyHead可以一致性提升所有主流目標(biāo)檢測(cè)器性能：1.2~3.2AP。

整理不易，點(diǎn)贊三連↓