arxiv論文整理20240224-0301(目標檢測方向)

EMIFF: Enhanced Multi-scale Image Feature Fusion for Vehicle-Infrastructure Cooperative 3D Object Detection（ICRA 2024）

摘要： 在自動駕駛中，合作感知利用來自車輛和基礎(chǔ)設(shè)施的多視角攝像頭，提供了全局視角，超越了單個車輛視點，獲得了道路條件的豐富語義背景。目前，在車輛基礎(chǔ)設(shè)施的合作三維（VIC3D）目標檢測中仍然存在兩個主要挑戰(zhàn)：1）融合多視圖圖像時存在的固有姿態(tài)誤差，由于攝像機之間的時間不同步導致；2）由于有限的通信帶寬，傳輸過程中造成的信息丟失。為了解決這些問題，我們提出了一種新的基于攝像頭的VIC3D任務的三維檢測框架，稱為Enhanced Multi-scale Image Feature Fusion (EMIFF)。為了充分利用來自車輛和基礎(chǔ)設(shè)施的全局視角，我們提出了Multi-scale Cross Attention (MCA)和Camera-aware Channel Masking (CCM)模塊，以在尺度、空間和通道水平上增強基礎(chǔ)設(shè)施和車輛特征，從而修正由攝像機異步引入的姿態(tài)誤差。我們還引入了一個具有通道和空間壓縮塊的特征壓縮 (FC) 模塊，以提高傳輸效率。實驗表明，EMIFF在DAIR-V2X-C數(shù)據(jù)集上取得了最先進的結(jié)果，明顯優(yōu)于之前的早期融合和后期融合方法，并且傳輸成本相當。

點評： 結(jié)合了車輛和基礎(chǔ)設(shè)施的信息，實現(xiàn)了全局視角下的目標檢測，提供了更豐富的道路條件語義，從而提高了檢測的準確性和效率。

Semi-supervised Open-World Object Detection（AAAI 2024）

摘要： 傳統(tǒng)的開放世界目標檢測（OWOD）問題首先區(qū)分已知和未知類別，然后在隨后的任務中以標簽形式逐步學習未知對象。然而，目前的OWOD公式在增量學習階段嚴重依賴外部人類譜來進行知識輸入。這種對運行時的依賴使得這種公式在實際部署中變得不太現(xiàn)實。為了解決這個問題，我們引入了一個更現(xiàn)實的公式，名為半監(jiān)督開放世界檢測（SS-OWOD），通過在半監(jiān)督方式下對OWOD的增量學習階段進行了標注成本的降低。我們證明了最先進的OWOD檢測器在所提出的SS-OWOD設(shè)置下的性能明顯下降。因此，我們引入了一種新穎的SS-OWOD檢測器，名為SS-OWFormer，它利用特征對齊方案更好地對齊原始圖像和增強圖像之間的對象查詢表示，以利用大量未標記和少量已標記數(shù)據(jù)。我們進一步引入了一種未知檢測的偽標記方案，利用解碼器對象查詢的固有能力來捕獲特定對象的信息。我們展示了我們的SS-OWOD問題設(shè)置和針對遙感目標檢測的方法的有效性，并提出了經(jīng)過精心篩選的數(shù)據(jù)集劃分和基線性能評估。我們在MS COCO、PASCAL、Objects365和DOTA等4個數(shù)據(jù)集上的實驗證明了我們方法的有效性。我們的源代碼、模型和數(shù)據(jù)集劃分在此處提供 - https://github.com/sahalshajim/SS-OWFormer

點評： 通過在半監(jiān)督方式下對OWOD的增量學習階段進行了標注成本的降低。代碼已開源。

DEYO: DETR with YOLO for End-to-End Object Detection

摘要： DETR的訓練范式嚴重依賴于在ImageNet數(shù)據(jù)集上對其骨干進行預訓練。然而，圖像分類任務和一對一匹配策略提供的有限監(jiān)督信號導致了DETR的預訓練頸部不足。此外，在訓練的早期階段匹配的不穩(wěn)定性導致DETR的優(yōu)化目標存在不一致性。為了解決這些問題，我們設(shè)計了一種名為分步訓練的創(chuàng)新訓練方法。具體來說，在訓練的第一階段，我們使用經(jīng)典的檢測器，采用一對多匹配策略進行預訓練，來初始化端到端檢測器的骨干和頸部。在訓練的第二階段，我們凍結(jié)了端到端檢測器的骨干和頸部，需要從頭開始訓練解碼器。通過應用分步訓練，我們引入了第一個使用純卷積結(jié)構(gòu)編碼器的實時端到端目標檢測模型DETR with YOLO（DEYO）。DEYO無需依賴任何額外的訓練數(shù)據(jù)，在速度和準確性上均超過了所有現(xiàn)有的實時目標檢測器。此外，全面的DEYO系列可以借助單個8GB的RTX 4060 GPU在COCO數(shù)據(jù)集上完成第二階段訓練，顯著降低了訓練開銷。源代碼和預訓練模型可在https://github.com/ouyanghaodong/DEYO 上找到。

點評： 結(jié)合了DETR和YOLO的優(yōu)點，實現(xiàn)了端到端的目標檢測，保持了DETR的高精度和YOLO的高速度。代碼已開源。

Boosting Semi-Supervised Object Detection in Remote Sensing Images With Active Teaching（IEEE Geoscience and Remote Sensing Letters）

摘要： 缺乏對象級注釋對遙感圖像（RSI）中的目標檢測提出了重大挑戰(zhàn)。為了解決這個問題，人們提出了主動學習（AL）和半監(jiān)督學習（SSL）技術(shù)，以提升注釋的質(zhì)量和數(shù)量。主動學習專注于選擇最具信息量的樣本進行注釋，而半監(jiān)督學習則利用未標記樣本中的知識。在這封信中，我們提出了一種新穎的主動學習方法，使用師生網(wǎng)絡(luò)來增強遙感圖像的半監(jiān)督目標檢測（SSOD），稱為SSOD-AT。所提出的方法融合了一個RoI比較模塊（RoICM），用于生成感興趣區(qū)域（RoI）的高可信度偽標簽。同時，RoICM也用于識別前K個不確定性最大的圖像。為了減少人工標注中前K個不確定性最大圖像中的冗余性，引入了一個基于不同類別的對象級原型的多樣性標準，利用標記和偽標記圖像。對于兩個常用數(shù)據(jù)集DOTA和DIOR的廣泛實驗證明，我們提出的方法在RSI目標檢測方面的性能超越了最先進的方法。與SOTA方法中最佳性能相比，所提出的方法在整個AL中在大多數(shù)情況下實現(xiàn)了1%的改進。

點評： 提出了一種結(jié)合半監(jiān)督學習和主動教學策略的遙感圖像目標檢測方法。

ps：承接程序代寫， 小程序編寫  程序應用 深度學習 卷積神經(jīng)網(wǎng)絡(luò) pytorch paddlepaddle  數(shù)據(jù)結(jié)構(gòu) 機器學習 目標檢測 圖像處理

有需要的兄弟們可以在我公眾號留言。

論文解讀的ppt可以在知識星球獲取：

我正在「目標檢測er的小圈子」和朋友們討論有趣的話題，你?起來吧？

https://t.zsxq.com/0cM8tmd4l