arxiv論文整理20240106-0112(目標(biāo)檢測(cè)方向)

SOAP: Cross-sensor Domain Adaptation for 3D Object Detection Using Stationary Object Aggregation Pseudo-labelling（WACV 2024）

摘要： 我們研究了在基于激光雷達(dá)（LiDAR）的3D目標(biāo)檢測(cè)領(lǐng)域跨傳感器域自適應(yīng)問(wèn)題，并提出了一種固定物體聚合偽標(biāo)注（SOAP）方法，以生成高質(zhì)量的針對(duì)靜止物體的偽標(biāo)簽。與目前最先進(jìn)的領(lǐng)域內(nèi)實(shí)踐不同，后者只聚合少量輸入掃描，SOAP聚合了整個(gè)點(diǎn)云序列輸入以減少傳感器域的差距。然后，通過(guò)我們所說(shuō)的準(zhǔn)靜態(tài)訓(xùn)練和空間一致性后處理，SOAP模型為靜止物體生成精確的偽標(biāo)簽，與少幀檢測(cè)器相比至少減少了30.3%的域差距。我們的研究結(jié)果還表明，與SOAP結(jié)合使用時(shí)，最先進(jìn)的域自適應(yīng)方法在無(wú)監(jiān)督和半監(jiān)督設(shè)置中均可以取得更高的性能。

點(diǎn)評(píng)： 通過(guò)聚合靜態(tài)對(duì)象的完整序列，生成更高質(zhì)量的偽標(biāo)簽，以解決3D目標(biāo)檢測(cè)的跨傳感器域適應(yīng)問(wèn)題。

Dual-Perspective Knowledge Enrichment for Semi-Supervised 3D Object Detection

摘要： 半監(jiān)督式3D目標(biāo)檢測(cè)是一種有前景但尚未充分探索的方向，旨在降低數(shù)據(jù)標(biāo)注成本，特別是針對(duì)雜亂的室內(nèi)場(chǎng)景。一些先前的研究作品，如SESS和3DIoUMatch，試圖通過(guò)利用教師模型為未標(biāo)記樣本生成偽標(biāo)簽來(lái)解決這一任務(wù)。然而，與2D領(lǐng)域相比，3D領(lǐng)域中未標(biāo)記樣本的可用性相對(duì)較有限，這是因?yàn)椴杉?D數(shù)據(jù)需要更多的工作量。此外，SESS中松散的一致性規(guī)范和3DIoUMatch中受限的偽標(biāo)簽選擇策略導(dǎo)致了監(jiān)督質(zhì)量較低或偽標(biāo)簽數(shù)量有限的問(wèn)題。為了解決這些問(wèn)題，我們提出了一種新穎的雙重視角知識(shí)豐富(DPKE)方法，用于半監(jiān)督式3D物體檢測(cè)。我們的DPKE從數(shù)據(jù)視角和特征視角兩個(gè)方面，豐富了有限訓(xùn)練數(shù)據(jù)，特別是未標(biāo)記數(shù)據(jù)的知識(shí)。具體而言，從數(shù)據(jù)視角出發(fā)，我們提出了一種基于類(lèi)概率不同分布的數(shù)據(jù)增強(qiáng)方法，通過(guò)增加額外實(shí)例來(lái)改進(jìn)輸入數(shù)據(jù)。我們的DPKE通過(guò)設(shè)計(jì)一種基于幾何感知的特征匹配方法，使學(xué)生模型和教師模型之間的物體提議在特征層面上相似性得到規(guī)范化，從而實(shí)現(xiàn)了特征視角的知識(shí)豐富。在兩個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)證明，我們的DPKE在各種標(biāo)簽比例條件下均優(yōu)于現(xiàn)有的最先進(jìn)方法。源代碼將向公眾開(kāi)放。

點(diǎn)評(píng)： 結(jié)合了知識(shí)蒸餾和半監(jiān)督學(xué)習(xí)的技術(shù)，通過(guò)教師網(wǎng)絡(luò)對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾。代碼已開(kāi)源： https://github.com/tingxueronghua/DPKE。

CLIP-guided Source-free Object Detection in Aerial Images（IGARSS2024）

摘要： 領(lǐng)域自適應(yīng)對(duì)于航空影像至關(guān)重要，因?yàn)檫@些圖像的視覺(jué)表現(xiàn)會(huì)受到地理位置、時(shí)間和天氣條件等因素的顯著影響。此外，高分辨率的航空影像往往需要大量存儲(chǔ)空間，可能無(wú)法被公眾輕易獲取。為了解決這些挑戰(zhàn)，我們提出了一種新穎的無(wú)源目標(biāo)檢測(cè)（SFOD）方法。具體而言，我們的方法建立在自訓(xùn)練框架之上；然而，在缺乏標(biāo)記的訓(xùn)練數(shù)據(jù)的情況下，自訓(xùn)練可能導(dǎo)致學(xué)習(xí)不準(zhǔn)確。為了解決這個(gè)問(wèn)題，我們進(jìn)一步整合了對(duì)比性語(yǔ)言-圖像預(yù)訓(xùn)練（CLIP），以指導(dǎo)偽標(biāo)簽的生成，稱(chēng)為CLIP引導(dǎo)聚合。通過(guò)利用CLIP的零樣本分類(lèi)能力，我們將其用于與原始預(yù)測(cè)的邊界框聚合分?jǐn)?shù)，使我們能夠獲得偽標(biāo)簽的精細(xì)化分?jǐn)?shù)。為了驗(yàn)證我們方法的有效性，我們基于DIOR數(shù)據(jù)集構(gòu)建了兩個(gè)新的不同領(lǐng)域的數(shù)據(jù)集，命名為DIOR-C和DIOR-Cloudy。實(shí)驗(yàn)證明我們的方法性能優(yōu)于其他比較算法。

點(diǎn)評(píng)： 利用CLIP（跨模態(tài)語(yǔ)言模型）的能力，將圖像和文本之間的關(guān)系學(xué)習(xí)得更加深入，從而實(shí)現(xiàn)在沒(méi)有標(biāo)注源圖像的情況下，通過(guò)輸入文本描述，直接在圖像中進(jìn)行目標(biāo)檢測(cè)。

ps：承接程序代寫(xiě)， 小程序編寫(xiě)  程序應(yīng)用 深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) pytorch paddlepaddle  數(shù)據(jù)結(jié)構(gòu) 機(jī)器學(xué)習(xí) 目標(biāo)檢測(cè) 圖像處理

有需要的兄弟們可以在我公眾號(hào)留言。

論文解讀的ppt（有備注，可直接講）可以在知識(shí)星球獲取：

我正在「目標(biāo)檢測(cè)er的小圈子」和朋友們討論有趣的話題，你?起來(lái)吧？

https://t.zsxq.com/0cM8tmd4l