arxiv論文整理20240217-0223(目標檢測方向)

STF: Spatio-Temporal Fusion Module for Improving Video Object Detection

摘要： 視頻中連續(xù)的幀包含冗余信息，但它們也可能包含與檢測任務相關(guān)的補充信息。我們的工作目標是利用這些補充信息來改善檢測。因此，我們提出了一個時空融合框架（STF）。我們首先引入了多幀和單幀注意力模塊，使神經(jīng)網(wǎng)絡能夠在相鄰幀之間共享特征圖，以獲得更穩(wěn)健的物體表示。其次，我們引入了一個雙幀融合模塊，以可學習的方式合并特征圖，以改進它們。我們在包括移動路上用戶視頻序列在內(nèi)的三個不同基準數(shù)據(jù)集上進行了評估。實驗結(jié)果表明，所提出的時空融合模塊相對于基準物體檢測器具有改進的檢測性能。代碼可在https://github.com/noreenanwar/STF-module 上找到。

點評： STF模塊通過空間和時間融合策略顯著提升了視頻對象檢測的性能。代碼已開源。

MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection

摘要： 自動駕駛的多模態(tài)三維目標檢測模型在nuScenes等計算機視覺基準測試中表現(xiàn)出優(yōu)異的性能。然而，它們依賴密集采樣的LiDAR點云和精心校準的傳感器陣列，在真實世界的應用中會面臨挑戰(zhàn)。傳感器錯位、校準錯誤和不同采樣頻率等問題導致LiDAR和攝像頭數(shù)據(jù)在空間和時間上的不對齊。此外，LiDAR和攝像頭數(shù)據(jù)的完整性經(jīng)常受到惡劣天氣等環(huán)境條件的影響，導致遮擋和噪音干擾。為了解決這一挑戰(zhàn)，我們引入了MultiCorrupt，這是一個旨在評估多模態(tài)三維物體檢測器對十種不同類型污染的穩(wěn)健性的全面基準。我們在MultiCorrupt上評估了五種最先進的多模態(tài)檢測器，并分析它們的抗干擾能力。我們的結(jié)果顯示，現(xiàn)有方法根據(jù)污染類型和融合策略的不同，表現(xiàn)出不同程度的穩(wěn)健性。我們提供了關(guān)于哪些多模態(tài)設(shè)計選擇使這些模型對特定干擾具有魯棒性的見解。數(shù)據(jù)集生成代碼和基準測試已在https://github.com/ika-rwth-aachen/MultiCorrupt 開源。

點評： 構(gòu)建了一個用于三維目標檢測的數(shù)據(jù)集和基準，專注于評估LiDAR-Camera融合系統(tǒng)在面對多種傳感器污染情況下的魯棒性。代碼已開源。

LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection（ ICRA 2024）

摘要： 我們提出LiRaFusion來解決LiDAR雷達融合的三維物體檢測問題，以填補現(xiàn)有LiDAR雷達檢測器性能差距。為了提高這兩種模態(tài)的特征提取能力，我們設(shè)計了一個早期融合模塊用于聯(lián)合體素特征編碼，以及一個中間融合模塊，通過門控網(wǎng)絡自適應地融合特征圖。我們在nuScenes上進行了大量評估，證明LiRaFusion有效地利用了LiDAR和雷達的互補信息，并相對于現(xiàn)有方法取得了顯著改進。

點評： 提出了一種深度自適應的LiDAR-Radar融合方法，用于三維物體檢測，這種方法可以靈活地根據(jù)不同場景的需求調(diào)整融合策略

Weakly Supervised Object Detection in Chest X-Rays with Differentiable ROI Proposal Networks and Soft ROI Pooling

摘要： 弱監(jiān)督目標檢測（WSup-OD）增加了圖像分類算法的實用性和可解釋性，而無需額外的監(jiān)督。然而，多實例學習在自然圖像中的成功在醫(yī)學圖像中并不適用，因為它們的對象（即病理）具有非常不同的特征。在這項工作中，我們提出了一種新方法，稱為弱監(jiān)督感興趣區(qū)域提議網(wǎng)絡（WSRPN），用于使用專門的感興趣區(qū)域注意（ROI-attention）模塊即時生成邊界框提議。WSRPN與經(jīng)典的骨干-頭分類算法結(jié)合良好，并且僅需要圖像標簽監(jiān)督就可以進行端到端的訓練。我們通過實驗證明，我們的新方法在胸部X射線圖像中的疾病定位這一具有挑戰(zhàn)性的任務中優(yōu)于現(xiàn)有方法。代碼： GitHub - philip-mueller/wsrpn

點評： 該研究首次提出了可微分的區(qū)域提議網(wǎng)絡和軟區(qū)域池化技術(shù)，用于胸腔X射線中的弱監(jiān)督目標檢測。代碼已開源。

ps：承接程序代寫， 小程序編寫  程序應用 深度學習 卷積神經(jīng)網(wǎng)絡 pytorch paddlepaddle  數(shù)據(jù)結(jié)構(gòu) 機器學習 目標檢測 圖像處理

有需要的兄弟們可以在我公眾號留言。

論文解讀的ppt可以在知識星球獲取：

我正在「目標檢測er的小圈子」和朋友們討論有趣的話題，你?起來吧？

https://t.zsxq.com/0cM8tmd4l