用于道路目標(biāo)檢測(cè)的少鏡頭學(xué)習(xí)

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)
小白導(dǎo)讀
論文是學(xué)術(shù)研究的精華和未來(lái)發(fā)展的明燈。小白決心每天為大家?guī)?lái)經(jīng)典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文內(nèi)容。個(gè)人能力有限，理解難免出現(xiàn)偏差，建議對(duì)文章內(nèi)容感興趣的讀者，一定要下載原文，了解具體內(nèi)容。

摘要

在深度學(xué)習(xí)的進(jìn)化過(guò)程中，少鏡頭學(xué)習(xí)一直是一個(gè)備受關(guān)注的問(wèn)題。在這項(xiàng)工作中，我們考慮的問(wèn)題少射擊目標(biāo)檢測(cè)(FSOD)在真實(shí)世界，類(lèi)不平衡的場(chǎng)景。在我們的實(shí)驗(yàn)中，我們使用了印度駕駛數(shù)據(jù)集(IDD)，因?yàn)樗趫D像數(shù)據(jù)集中包含了一類(lèi)較少發(fā)生的道路對(duì)象，因此提供了適合于少鏡頭學(xué)習(xí)的設(shè)置。我們?cè)u(píng)估m(xù)etric-learning和基于元學(xué)習(xí)FSOD方法,在兩個(gè)實(shí)驗(yàn)設(shè)置:(i)代表(同一域)分裂IDD,評(píng)估的能力模型的上下文中學(xué)習(xí)道路圖像,和(2)對(duì)象類(lèi)less-occurring對(duì)象樣本,類(lèi)似于現(xiàn)實(shí)世界的開(kāi)集設(shè)置。從我們的實(shí)驗(yàn)中，我們證明了度量學(xué)習(xí)方法在新類(lèi)上比元學(xué)習(xí)(i)在同一域上有11.2個(gè)地圖點(diǎn)，和(ii)在開(kāi)放集上有1.0個(gè)地圖點(diǎn)。我們還表明，我們?cè)谡鎸?shí)世界開(kāi)放數(shù)據(jù)集中的對(duì)象類(lèi)擴(kuò)展為少鏡頭學(xué)習(xí)研究提供了豐富的基礎(chǔ)。

本文創(chuàng)新點(diǎn)

在這項(xiàng)工作中，我們關(guān)注的問(wèn)題，少鏡頭目標(biāo)檢測(cè)，并擴(kuò)展訓(xùn)練有素的目標(biāo)檢測(cè)器的能力與基類(lèi)，以新的類(lèi)道路目標(biāo)檢測(cè)。我們的貢獻(xiàn)包括:

1.演示了在駕駛環(huán)境下的現(xiàn)實(shí)世界圖像中的少鏡頭學(xué)習(xí)方法。

2.擴(kuò)展現(xiàn)有的對(duì)象類(lèi)，在開(kāi)放數(shù)據(jù)集中使用較少發(fā)生的對(duì)象樣本，以顯示從少數(shù)樣本學(xué)習(xí)的可行性和有效性。

3.在現(xiàn)實(shí)世界的目標(biāo)檢測(cè)問(wèn)題中，度量和元學(xué)習(xí)方法的分析。

據(jù)我們所知，現(xiàn)有的作品中沒(méi)有一個(gè)展示了在駕駛場(chǎng)景中對(duì)真實(shí)圖像的少量學(xué)習(xí)。

框架結(jié)構(gòu)

兩階段微調(diào)架構(gòu):(a)基礎(chǔ)訓(xùn)練階段，即網(wǎng)絡(luò)從基礎(chǔ)數(shù)據(jù)集中的豐富樣本中學(xué)習(xí);(b)微調(diào)階段，即網(wǎng)絡(luò)適應(yīng)少量的樣本。

本文采用了基于元學(xué)習(xí)的少鏡頭目標(biāo)檢測(cè)體系結(jié)構(gòu)。改編自(Yan et al. 2019;Xiao and Marlet 2020)。

實(shí)驗(yàn)結(jié)果

IDD-10 split 1上使用10個(gè)鏡頭樣本的少鏡頭目標(biāo)檢測(cè)性能(mAP50)。

IDD-OS分割上使用10個(gè)鏡頭樣本的少鏡頭目標(biāo)檢測(cè)性能(mAP50)。

結(jié)論

我們分析了少數(shù)鏡頭對(duì)象檢測(cè)的最先進(jìn)方法的性能，使用真實(shí)世界數(shù)據(jù)集(IDD)，它固有地包含來(lái)自駕駛場(chǎng)景的類(lèi)不平衡數(shù)據(jù)。我們的評(píng)估方法是兩個(gè)任務(wù):同域和開(kāi)集表示。為了評(píng)估這些設(shè)置，我們?cè)陂_(kāi)放集表示中使用額外的類(lèi)標(biāo)簽擴(kuò)展了一個(gè)公開(kāi)可用的數(shù)據(jù)集。通過(guò)創(chuàng)建IDD的擴(kuò)展，我們希望為未來(lái)使用真實(shí)數(shù)據(jù)集進(jìn)行少鏡頭學(xué)習(xí)的工作鋪平道路。實(shí)驗(yàn)結(jié)果表明，基于余弦相似度的TFA網(wǎng)絡(luò)(FsDet)在新類(lèi)別性能上分別比基于金屬學(xué)習(xí)的網(wǎng)絡(luò)表現(xiàn)出11.2和1.0的映射點(diǎn)。我們的結(jié)論是，元學(xué)習(xí)網(wǎng)絡(luò)在取得巨大進(jìn)步的同時(shí)，傾向于在基于度量學(xué)習(xí)的方法中執(zhí)行更簡(jiǎn)單的基線(xiàn)。我們也觀察到，課堂困惑在任何短時(shí)間學(xué)習(xí)范式中仍然是一個(gè)公開(kāi)的挑戰(zhàn)，并可以成為進(jìn)一步改進(jìn)的焦點(diǎn)。

論文鏈接：https://arxiv.org/pdf/2101.12543.pdf

每日?qǐng)?jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周?chē)耐瑢W(xué)。

- END?-

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目31講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目31講，即可下載包括圖像分割、口罩檢測(cè)、車(chē)道線(xiàn)檢測(cè)、車(chē)輛計(jì)數(shù)、添加眼線(xiàn)、車(chē)牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~