91大神小宝探花一区二区三区,无码翔田千里88A∨,国内毛片毛片毛片毛片,亚洲第十页,午夜怡红院AV,无码人妻一区二区三区,欧洲操逼免费看,性少妇暴力猛交69HD

點(diǎn)擊上方“程序員大白”，選擇“星標(biāo)”公眾號
重磅干貨，第一時間送達(dá)

本文介紹一下我們中稿今年 ECCV 的一項(xiàng)工作。對目標(biāo)檢測模型所需要的數(shù)據(jù)進(jìn)行標(biāo)注往往是十分繁重的工作，因?yàn)樗髮D像中可能存在的多個物體的位置和類別進(jìn)行標(biāo)注。本文旨在減少 Detection Transformer 類目標(biāo)檢測器對標(biāo)注數(shù)據(jù)的依賴程度，提升其數(shù)據(jù)效率。

論文題目：

Towards Data-Efficient Detection Transformers

論文鏈接：

https://arxiv.org/abs/2203.09507

代碼鏈接：

https://github.com/encounter1997/DE-DETRs

https://github.com/encounter1997/DE-CondDETR

Detection Transformer 于 2020 年 ECCV 被提出，作為一種新興的目標(biāo)檢測方法，Detection Transformers 以其簡潔而優(yōu)雅的框架取得了越來越多的關(guān)注。關(guān)于 Detection Transformer 的細(xì)節(jié)和后續(xù)的發(fā)展歷程，本文并不作展開介紹，感興趣的小伙伴可以參考以下文章：

https://zhuanlan.zhihu.com/p/366938351

研究動機(jī)

Detection Transformer 的開山之作是 DETR [1]，在常用的目標(biāo)檢測數(shù)據(jù)集 COCO [2] 上，DETR 取得了比 Faster RCNN [3] 更好的性能，但其收斂速度顯著慢于基于 CNN 的檢測器。為此，后續(xù)的工作大多致力于提升 DETR 的收斂性 [4,5,6,7]。在 COCO 數(shù)據(jù)集上這些后續(xù)方法能夠在訓(xùn)練代價相當(dāng)?shù)那闆r下取得比 Faster RCNN 更好的性能，表現(xiàn)出了 Detection Transformers 的優(yōu)越性。

目前的研究似乎表明 Detection Transformers 能夠在性能、簡潔性和通用性等方面全面超越基于 CNN 的目標(biāo)檢測器。但我們研究發(fā)現(xiàn)，只有在 COCO 這樣訓(xùn)練數(shù)據(jù)豐富（約 118k 訓(xùn)練圖像）的數(shù)據(jù)集上 Detection Transformers 能夠表現(xiàn)出性能上的優(yōu)越，而當(dāng)訓(xùn)練數(shù)據(jù)量較小時，大多數(shù) Detection Transformers 的性能下降顯著。

如圖 1 所示，在常用的自動駕駛數(shù)據(jù)集 Cityscapes [8]（約 3k 訓(xùn)練圖像）上，盡管 Faster RCNN 能夠穩(wěn)定的取得優(yōu)良的性能，大多數(shù) Detection Transformers 的性能顯著下降。并且盡管不同 Detection Transformers 在 COCO 數(shù)據(jù)集上性能差異不到 2AP，它們在小數(shù)據(jù)集 Cityscapes 上的性能有大于 15AP 的顯著差異。

這些發(fā)現(xiàn)表明 Detection Transformers 相比于基于 CNN 的目標(biāo)檢測器更加依賴標(biāo)注數(shù)據(jù)（data hungry）。然而標(biāo)注數(shù)據(jù)的獲得并非易事，尤其是對于目標(biāo)檢測任務(wù)而言，不僅需要標(biāo)出多個物體的類別標(biāo)簽，還需要準(zhǔn)備的標(biāo)出物體的定位框。同時，訓(xùn)練數(shù)據(jù)量大，意味著訓(xùn)練迭代次數(shù)多，因此訓(xùn)練 Detection Transformers 需要消耗更多的算力，增加了碳排放?？梢?，要滿足現(xiàn)有 Detection Transformers 的訓(xùn)練要求需要耗費(fèi)大量的人力物力。

消融探究

為了尋找影響 Data-efficiency 的關(guān)鍵因素，我們將 data efficient 的 RCNN 逐步轉(zhuǎn)化為 data hungry 的 Detection Transformer 檢測器，來消融不同設(shè)計的影響。值得一提的是，ATSS [9] 和 Visformer [10] 采用了類似的模型轉(zhuǎn)化實(shí)驗(yàn)，但 ATSS 旨在尋找 anchor free 檢測器和 anchor-based 檢測器之間的本質(zhì)區(qū)別，Visformer 旨在尋找對分類任務(wù)有利的 transformer backbone 結(jié)構(gòu)，而我們致力于尋找影響 Detection Transformers 數(shù)據(jù)效率的主要因素。

為了從模型轉(zhuǎn)化中獲得 insightful 的結(jié)果，我們需要選擇合適檢測器展開實(shí)驗(yàn)。綜合一下因素，我們選擇 Sparse RCNN 和 DETR 來展開實(shí)驗(yàn)：1）它們分別是 RCNN 和 Detection Transformer 中有代表性的檢測器；2）二者有很多相似的地方，比如相同的優(yōu)化器、標(biāo)簽匹配、損失設(shè)計、數(shù)據(jù)增強(qiáng)和端到端等，這有利于我們盡可能排除其他影響因素的干擾，專注于核心的區(qū)別；3）二者在 data efficiency 上存在顯著差異。模型轉(zhuǎn)化過程如表 1 所示，接下來，我們挑選模型轉(zhuǎn)化中的關(guān)鍵步驟進(jìn)行介紹：

去除 FPN。由于 CNNs 具有局部性，F(xiàn)PN 中能夠以較小的計算代價實(shí)現(xiàn)多尺度特征融合，從而在少量數(shù)據(jù)的情況下提升目標(biāo)檢測的性能。對比之下，DETR 中的 attention 機(jī)制具有全局感受野，導(dǎo)致其在高分辨率的特征圖上需要消耗大量的運(yùn)算資源，因此在 DETR 上做多尺度特征的建模往往是難以實(shí)現(xiàn)的。在本步中，我們?nèi)コ?RCNN 中的 FPN，并且與 DETR 一致，我們僅將 backbone 中 32 倍下采樣的特征送入檢測頭做 RoI Align 和后續(xù)解碼和預(yù)測。和預(yù)期的一樣，去除 FPN 的多尺度建模作用，在 50 代的訓(xùn)練周期下模型性能下降顯著 by 7.3 AP。

加入 Transformer 編碼器。在 DETR 中，transformer 編碼器可以看作是檢測器中的 neck，用來對 backbone 提取的特征做增強(qiáng)。在去除 FPN neck 后，我們將 DETR 的編碼器加入模型得到表 1 中的 Net3。有趣的是，Net3 在 50 個訓(xùn)練周期下的性能下降，而在 300 個訓(xùn)練周期下性能有所提升。我們猜想像 ViT [11]一樣，解碼器中的 attention 具有平方復(fù)雜度，因此需要更長的訓(xùn)練周期來收斂并體現(xiàn)其優(yōu)勢。

將動態(tài)卷積替換為自注意力機(jī)制。SparseRCNN 中一個非常有趣的設(shè)計是解碼器中的動態(tài)卷積，它的作用和 DETR 中的 cross-attention 作用十分相似，即根據(jù)圖像特征和特定 object candidate 的相似性，自適應(yīng)地將圖像中的信息聚合到 object candidate 中。在本步驟中，我們將動態(tài)替換為 cross-attention，對應(yīng)的結(jié)果如表中 Net4 所示。反直覺的，參數(shù)量大并不一定會使模型更依賴數(shù)據(jù)。事實(shí)上，含有大量參數(shù)的動態(tài)卷積能夠比參數(shù)量很小的 cross-attention 表現(xiàn)出了更好的數(shù)據(jù)效率。

去除 RoIAlign。SparseRCNN 和 RCNNs family 中的其他檢測器一樣根據(jù)目標(biāo)檢測的候選框?qū)D像中指定區(qū)域的特征做采樣，再基于采樣后的特征做預(yù)測。對比之下，DETR 中 content query 直接從圖像的全局特征中聚合特定物體的信息。在本步驟，我們?nèi)コ?RoI Align 操作?？梢钥吹?，模型的性能發(fā)生了顯著下降。我們猜想從全局特征中學(xué)習(xí)如何關(guān)注到包含特定物體的局部區(qū)域是 non-trivial 的，因此模型需要從更多的數(shù)據(jù)和訓(xùn)練周期中學(xué)習(xí)到 locality 的特性。而在見過的數(shù)據(jù)量小的情況下性能會顯著下降。

去除初始的 proposal。最后，DETR 直接預(yù)測 normalized 檢測框中心坐標(biāo)和寬度和高度，而 RCNNs 預(yù)測 gt 檢測框相較于初始 proposal 檢測框的 offsets。在本步驟中，我們消除此差異。這一微小的區(qū)別使得模型性能顯著下降，我們猜想這是因?yàn)槌跏嫉?proposal 能夠作為一種空間位置上的先驗(yàn)，幫助模型關(guān)注特定的物體區(qū)域，從而降低了從大量數(shù)據(jù)中學(xué)習(xí)關(guān)注局部區(qū)域的需要。

總結(jié)：綜上，可以看出以下因素對模型的 data efficiency 其關(guān)鍵作用：1）從局部區(qū)域的稀疏特征采樣，例如采用 RoIAlign；2）多尺度特征融合，而這依賴于稀疏特征采樣使得其運(yùn)算量變得可接受；3）相較于初始的空間位置先驗(yàn)作預(yù)測。其中（1）和（3）有利于模型關(guān)注到特定的物體區(qū)域，緩解從大量數(shù)據(jù)中學(xué)習(xí) locality 的困難。（2）有利于充分利用和增強(qiáng)圖像的特征，但其也依賴于稀疏特征。

值得一提的是，在 DETR family 中，Deformable DETR [4] 是一個特例，它具有較好的數(shù)據(jù)效率。而我們基于 Sparse RCNN 和 DETR 的模型轉(zhuǎn)化實(shí)驗(yàn)得到的結(jié)論同樣也能夠說明為什么 Deformable DETR 的具有較好的數(shù)據(jù)集效率：Multi-scale Deformable Attention 從圖像局部區(qū)域內(nèi)做特征的稀疏采樣，并運(yùn)用了多尺度特征，同時模型的預(yù)測是相對于初始的 reference point 的。

我們的方法

3.1 模型增強(qiáng)

局部特征采樣。從模型轉(zhuǎn)化中的分析中可以看出，從局部物體區(qū)域做特征采樣對實(shí)現(xiàn)數(shù)據(jù)效率是至關(guān)重要的。幸運(yùn)的是，在 Detection Transformer 中，由于 Deep Supervision [12] 的存在，每一層解碼器層中都為我們提供了物體檢測框的信息。因此，我們可以在不引入新的參數(shù)的情況下，借助這些物體定位框來做局部特征采樣。盡管可以采用更成熟的特征采用方法，我們采用最常用的 RoI Align。從第二層解碼器層開始，我們借助前一層解碼器的輸出來做稀疏特征采樣。

迭代式預(yù)測和初始參考點(diǎn)。此外，Detection Transformer 中級聯(lián)的結(jié)構(gòu)很自然地適合使用迭代式的檢測框 refinement 來提升檢測的性能。我們在模型轉(zhuǎn)換中的實(shí)驗(yàn)也表明，迭代式的預(yù)測以及相對于初始的空間參考做預(yù)測有利于實(shí)現(xiàn)更準(zhǔn)確的目標(biāo)檢測。為此，我們引入檢測框的迭代式 refinement 和初始參考點(diǎn)。

多尺度特征融合。多尺度特征的運(yùn)用有利于特征的高效利用，能夠在數(shù)據(jù)量小的情況下提升檢測性能。而我們的稀疏特征采樣也使得在 Detection Transformer 中使用多尺度特征成為可能。盡管更成熟的多尺度融合技術(shù)可能被使用，我們僅僅利用 bbox 作為指導(dǎo)，對不同尺度的特征做 RoIAlign，并將得到的序列 concatenate 在一起。

3.2 標(biāo)簽增強(qiáng)

盡管一對一的標(biāo)簽匹配形式簡單，并能夠避免去重過程，但也使得在每次迭代中，只有少量的檢測候選能夠得到有效的監(jiān)督。模型不得不從更大量的數(shù)據(jù)或者更多的訓(xùn)練周期中獲得足夠的監(jiān)督信號。為了解決這一問題，我們提出一種標(biāo)簽增強(qiáng)策略，通過在二分圖匹配過程中重復(fù)正樣本，來為 Detection Transformer 提供更豐富的監(jiān)督信號，如圖 3 所示。

在實(shí)現(xiàn)過程中，我們考慮兩種不同的方式來復(fù)制正樣本的標(biāo)簽，即 1）固定重復(fù)次數(shù)（Fixed Repeat Time）：我們對所有正樣本標(biāo)簽重復(fù)相同的次數(shù)；2）固定正負(fù)樣本標(biāo)簽的比例（Fixed positive-negative ratio）：我們對正樣本的標(biāo)簽進(jìn)行重復(fù)采樣，最終保證標(biāo)簽集合中正樣本的比例固定。默認(rèn)的，我們采用固定重復(fù)兩次的標(biāo)簽增強(qiáng)方式。

實(shí)驗(yàn)

在本部分，我們首先將我們的方法和現(xiàn)有的 Detection Transformer 進(jìn)行比較。如表 2 所示，大部分 Detection Transformer 面臨數(shù)據(jù)效率低下的問題。而我們的 DE-CondDETR 在對 CondDETR 模型做微小改動的情況下能夠取得和 Deformable DETR 相當(dāng)?shù)臄?shù)據(jù)效率。而輔助以標(biāo)簽增強(qiáng)提供的更豐富的監(jiān)督，我們的 DELA-CondDETR 能夠取得比 Deformable DETR 更佳的性能。

同樣的，我們的方法也能夠與其他 Detection Transformer 結(jié)合來顯著提升其 data efficiency，例如我們的 DE-DETR 和 DElA-DETR 能夠在以僅僅 50 周期取得比 DETR 500 個周期要顯著優(yōu)越的性能。

此外我們對 COCO 2017 中的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練圖像 0.1，0.05，0.02 和 0.01 倍的采樣，來觀察模型在不同數(shù)據(jù)量下的性能。如圖 4 所示，在不同的訓(xùn)練數(shù)據(jù)量下，我們的方法始終能夠取得顯著優(yōu)于基線方法的性能。特別的，僅用 0.01 倍的數(shù)據(jù) DELA-DETR 的性能顯著優(yōu)于使用五倍數(shù)據(jù)的 DETR 基線。類似的，DELA-CondDETR 性能始終優(yōu)于用兩倍數(shù)據(jù)訓(xùn)練的 CondDETR 基線。

我們首先消融我們方法中各個模塊的作用，如表 3 所示。使用局部特征采樣和多尺度特征均能夠顯著提升模型的性能，分別帶來 8.3 AP和 6.4 AP 的提升。此外，使用標(biāo)簽增強(qiáng)能夠進(jìn)一步帶來 2.7 AP 的性能提升。并且單獨(dú)使用標(biāo)簽增強(qiáng)也能夠帶來 2.6 的性能提升。

如方法部分中討論的，我們考慮了兩種標(biāo)簽增強(qiáng)策略。包括固定重復(fù)次數(shù)和固定正負(fù)樣本比例。在本部分，我們對這兩種策略進(jìn)行消融。如上表中左表所示，使用不同的固定重復(fù)倍數(shù)均能夠提升 DE-DETR 的性能，但隨重復(fù)次數(shù)增加，性能提升呈下降趨勢。我們默認(rèn)采用重復(fù)正樣本標(biāo)簽 2 次。

此外，如右表所示，盡管使用不同正負(fù)樣本比例均能帶來性能提升，在正負(fù)樣本比例為 1:3 時，其取得的性能最佳，有趣的是，這也是 RCNN 系列檢測器如 Faster RCNN 中最常用正負(fù)樣本采樣比例。

盡管以上實(shí)驗(yàn)說明了我們的方法能夠在數(shù)據(jù)量有限的情況下顯著提升模型性能，它并不能表明我們的方法在數(shù)據(jù)量充足時依然有效。為此，我們在數(shù)據(jù)量充足的 COCO2017 上測試我們方法的性能。有趣的是，我們的方法不僅不會降低模型在 COCO 2017 上的性能，還能帶來不小的提升。具體來說，DELA-DETR 和 DELA-CondDETR 分別相較于它們的 baseline 提升 8.1A P和 2.8AP。

最后，為了對本文方法帶來的性能提升有一個直觀的感受，我們提供了不同 DETR 變種在 Cityscapes 數(shù)據(jù)集上的收斂曲線，如圖 5 所示?？梢钥闯觯覀兊姆椒軌蛞愿俚挠?xùn)練代價取得更加優(yōu)越的性能，展示了其優(yōu)越的數(shù)據(jù)效率。更多實(shí)驗(yàn)結(jié)果請參考原文及其附加材料。

總結(jié)

在本文中，我們指出了 Detection Transformer 數(shù)據(jù)效率低下的問題，并通過逐步的模型轉(zhuǎn)化找了影響數(shù)據(jù)效率的關(guān)鍵因素。隨后，我們以盡可能小的模型改動來大幅提升現(xiàn)有 Detection Transformer 的數(shù)據(jù)效率，并提出一種標(biāo)簽增強(qiáng)策略進(jìn)一步提升其性能。隨著 Transformer 在視覺任務(wù)中越發(fā)流行，我們希望我們的工作能夠激發(fā)社區(qū)探究和提升 Transformer 在不同任務(wù)上的數(shù)據(jù)效率。

參考文獻(xiàn)

[1] End-to-end Object Detection with Transformers

[2] Microsoft COCO: Common Objects in Context

[3] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

[4] Deformable DETR: Deformable Transformers for End-to-End Object Detection

[5] Conditional DETR for Fast Training Convergence

[6] PnP-DETR: Towards Efficient Visual Analysis with Transformers

[7] Fast Convergence of DETR with Spatially Modulated Co-Attention

[8] The Cityscapes Dataset for Semantic Urban Scene Understanding

[9] Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection

[10] Visformer: The Vision-Friendly Transformer

[11] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

[12] Deeply-Supervised Nets

推薦閱讀
13個你一定要知道的PyTorch特性
解讀：為什么要做特征歸一化/標(biāo)準(zhǔn)化？
一文搞懂 PyTorch 內(nèi)部機(jī)制
張一鳴：每個逆襲的年輕人，都具備的底層能力

關(guān)于程序員大白

程序員大白是一群哈工大，東北大學(xué)，西湖大學(xué)和上海交通大學(xué)的碩士博士運(yùn)營維護(hù)的號，大家樂于分享高質(zhì)量文章，喜歡總結(jié)知識，歡迎關(guān)注[程序員大白]，大家一起學(xué)習(xí)進(jìn)步！

ECCV 2022 | 通往數(shù)據(jù)高效的Transformer目標(biāo)檢測器