亚洲第二十一页,国产一区二区视频麻豆,亚洲精品娱乐网,日本在线人妻,草榴一区,逼特逼视频在线免费观看,日韩色情视频在线播放,欧美大片操

點擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時間送達(dá)

論文地址：https://arxiv.org/pdf/2106.00666.pdf

源代碼地址：https://github.com/hustvl/YOLOS

前言

Transformer能否從純序列到序列的角度執(zhí)行2D目標(biāo)級識別，而對2D空間結(jié)構(gòu)知之甚少？為了回答這個問題，今天就展示了“You Only Look at One Sequence” (YOLOS)，這是一系列基于樸素視覺變換器的目標(biāo)檢測模型，具有盡可能少的修改和inductive biases。

YOLOS-S, 200 epochs pre-trained, COCO AP = 36.1

我們發(fā)現(xiàn)僅在中等大小的ImageNet-1k數(shù)據(jù)集上預(yù)訓(xùn)練的YOLOS已經(jīng)可以在COCO上實現(xiàn)具有競爭力的目標(biāo)檢測性能，例如直接從BERT-Base中采用的YOLOS-Base可以實現(xiàn)42.0 box AP。研究者還通過目標(biāo)檢測討論了當(dāng)前預(yù)訓(xùn)練方案和模型縮放策略對Transformer在視覺中的影響和局限性。

背景

Transformer為遷移而生。在自然語言處理 (NLP) 中，主要方法是首先在大型通用語料庫上預(yù)訓(xùn)練Transformer以進(jìn)行通用語言表示學(xué)習(xí)，然后針對特定目標(biāo)任務(wù)對模型進(jìn)行微調(diào)。最近，Vision Transformer(ViT)表明，直接從NLP繼承的典型Transformer編碼器架構(gòu)可以使用現(xiàn)代視覺遷移學(xué)習(xí)配方在大規(guī)模圖像識別上表現(xiàn)出奇的好。將圖像補(bǔ)丁嵌入序列作為輸入，ViT可以從純序列到序列的角度成功地將預(yù)訓(xùn)練的通用視覺表示從足夠的規(guī)模轉(zhuǎn)移到更具體的圖像分類任務(wù)，數(shù)據(jù)點更少。

ViT-FRCNN是第一個使用預(yù)訓(xùn)練的ViT作為R-CNN目標(biāo)檢測器的主干。然而，這種設(shè)計無法擺脫對卷積神經(jīng)網(wǎng)絡(luò)(CNN)和強(qiáng)2D歸納偏差的依賴，因為ViT-FRCNN將ViT的輸出序列重新解釋為2D空間特征圖，并依賴于區(qū)域池化操作（即RoIPool或RoIAlign）以及基于區(qū)域的CNN架構(gòu)來解碼ViT特征以實現(xiàn)目標(biāo)級感知。受現(xiàn)代CNN設(shè)計的啟發(fā)，最近的一些工作將金字塔特征層次結(jié)構(gòu)和局部性引入Vision Transformer設(shè)計，這在很大程度上提高了包括目標(biāo)檢測在內(nèi)的密集預(yù)測任務(wù)的性能。然而，這些架構(gòu)是面向性能的。另一系列工作，DEtection TRansformer(DETR)系列，使用隨機(jī)初始化的Transformer對CNN特征進(jìn)行編碼和解碼，這并未揭示預(yù)訓(xùn)練Transformer在目標(biāo)檢測中的可遷移性。

ViT-FRCNN

為了解決上面涉及的問題，有研究者展示了You Only Look at One Sequence (YOLOS)，這是一系列基于規(guī)范ViT架構(gòu)的目標(biāo)檢測模型，具有盡可能少的修改以及注入的歸納偏置。從ViT到Y(jié)OLOS檢測器的變化很簡單：

YOLOS在ViT中刪除[CLS]標(biāo)記，并將一百個可學(xué)習(xí)的[DET]標(biāo)記附加到輸入序列以進(jìn)行目標(biāo)檢測；
YOLOS將ViT中的圖像分類損失替換為bipartite matching loss，以遵循Carion等人【End-to-end object detection with transformers】的一套預(yù)測方式進(jìn)行目標(biāo)檢測。這可以避免將ViT的輸出序列重新解釋為2D特征圖，并防止在標(biāo)簽分配期間手動注入啟發(fā)式和對象2D空間結(jié)構(gòu)的先驗知識。

新框架

YOLOS刪除用于圖像分類的[CLS]標(biāo)記，并將一百個隨機(jī)初始化的檢測標(biāo)記（[DET] 標(biāo)記）附加到輸入補(bǔ)丁嵌入序列以進(jìn)行目標(biāo)檢測。
在訓(xùn)練過程中，YOLOS將ViT中的圖像分類損失替換為bipartite matching loss，這里重點介紹YOLOS的設(shè)計方法論。

Detection Token

我們有目的地選擇隨機(jī)初始化的[DET]標(biāo)記作為目標(biāo)表示的代理，以避免2D結(jié)構(gòu)的歸納偏差和在標(biāo)簽分配期間注入的任務(wù)的先驗知識。在對COCO進(jìn)行微調(diào)時，對于每次前向傳遞，在[DET]tokens生成的預(yù)測與真實對象之間建立最佳二分匹配。該過程與標(biāo)簽分配的作用相同，但不知道輸入的2D結(jié)構(gòu)，即YOLOS不需要將ViT的輸出序列重新解釋為用于標(biāo)簽分配的2D特征圖。理論上，YOLOS在不知道確切的空間結(jié)構(gòu)和幾何形狀的情況下執(zhí)行任何維度的物體檢測是可行的，只要每次通過輸入總是以相同的方式展平為一個序列。

YOLOS-S, 300 epochs pre-trained, COCO AP = 36.1

Fine-tuning at Higher Resolution

在COCO上進(jìn)行微調(diào)時，除用于分類和邊界框回歸的MLP頭以及隨機(jī)初始化的100個[DET]標(biāo)記外，所有參數(shù)均從ImageNet-1k預(yù)訓(xùn)練權(quán)重初始化。分類和邊界框回歸頭均由MLP實現(xiàn)，具有兩個使用單獨參數(shù)的隱藏層。

在微調(diào)期間，圖像具有比預(yù)訓(xùn)練高得多的分辨率，為了保持補(bǔ)丁大小相同（16 × 16），這導(dǎo)致更大的有效序列長度。雖然ViT可以處理任意序列長度，但位置嵌入需要適應(yīng)更長的輸入序列。我們以相同的方式對預(yù)訓(xùn)練的位置嵌入進(jìn)行2D插值。

實驗分析及可視化

YOLOS的不同版本的結(jié)果

與訓(xùn)練的效果

不同尺度模型的預(yù)訓(xùn)練和遷移學(xué)習(xí)性能

與一些小型CNN檢測器的比較

Self-attention Maps of YOLOS

檢驗與YOLOS-S最后一層頭部預(yù)測相關(guān)的[DET]tokens的自注意力?？梢暬痯ipeline遵循【 Emerging properties in self-supervised vision transformers】?？梢暬Y(jié)果如下圖所示。

對于給定的YOLOS模型，不同的自注意力頭關(guān)注不同的模式和不同的位置。一些可視化是可解釋的，而另一些則不是。
我們研究了兩個YOLOS模型的注意力圖差異，即200 epochs ImageNet-1k預(yù)訓(xùn)練YOLOS-S和300 epochs ImageNet-1k預(yù)訓(xùn)練YOLOS-S。注意這兩個模型的AP是一樣的（AP=36.1）。從可視化中，我們得出結(jié)論，對于給定的預(yù)測對象，相應(yīng)的[DET]標(biāo)記以及注意力圖模式通常對于不同的模型是不同的。

努力分享優(yōu)質(zhì)的計算機(jī)視覺相關(guān)內(nèi)容，歡迎關(guān)注：

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群

個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文

YOLOS：通過目標(biāo)檢測重新思考Transformer（附源代碼）