国产在线日本在线,亚洲无码中字,大香蕉久,成人高清自拍,伊人9999,影音先锋三级网站,在线午夜黄色电影,AV天堂黄色

點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)

計(jì)算機(jī)視覺研究院專欄

作者：Edison_G

新框架優(yōu)于基于單模型的方法，并且以一小部分計(jì)算成本與基于多模型的方法相媲美！
論文下載地址：https://arxiv.org/pdf/2103.16130.pdf

概括

主動(dòng)學(xué)習(xí)旨在通過僅選擇數(shù)據(jù)集上信息量最大的樣本來降低標(biāo)記成本。現(xiàn)有的工作很少涉及目標(biāo)檢測的主動(dòng)學(xué)習(xí)。這些方法中的大多數(shù)基于多個(gè)模型或者是分類方法的直接擴(kuò)展，因此僅使用分類頭來估計(jì)圖像的信息量。

在今天分享中，研究者提出了一種用于目標(biāo)檢測的新型深度主動(dòng)學(xué)習(xí)方法。新提出的方法依賴于混合密度網(wǎng)絡(luò)，該網(wǎng)絡(luò)估計(jì)每個(gè)定位和分類頭輸出的概率分布。研究者在單個(gè)模型的單個(gè)前向傳遞中明確地估計(jì)了任意和認(rèn)知的不確定性。新方法使用一個(gè)評(píng)分函數(shù)來聚合兩個(gè)頭部的這兩種不確定性，以獲得每張圖像的信息量分?jǐn)?shù)。

最后證明了新提出的方法在PASCAL VOC和MSCOCO數(shù)據(jù)集中的有效性。新方法優(yōu)于基于單模型的方法，并且以一小部分計(jì)算成本與基于多模型的方法相媲美。

背景

新方法在單個(gè)模型的單個(gè)前向傳遞中預(yù)測定位和分類頭的任意和認(rèn)知不確定性。提出了一個(gè)評(píng)分函數(shù)，將來自兩個(gè)頭部的認(rèn)知和任意不確定性聚合為單個(gè)值。然后，那些具有前K個(gè)分?jǐn)?shù)的數(shù)據(jù)點(diǎn)被發(fā)送以進(jìn)行標(biāo)記。

先簡單介紹下主動(dòng)學(xué)習(xí)：

主動(dòng)的學(xué)習(xí)（Active learning or query learning）作為機(jī)器學(xué)習(xí)的一個(gè)分支其主要是針對(duì)數(shù)據(jù)標(biāo)簽較少或打標(biāo)簽“代價(jià)”較高這一場景而設(shè)計(jì)的，在統(tǒng)計(jì)學(xué)中主動(dòng)學(xué)習(xí)又被稱為最優(yōu)實(shí)驗(yàn)設(shè)計(jì)（optimal experimetal design）。其主要方式是模型通過與用戶或?qū)＜疫M(jìn)行交互，拋出"query"(unlabel data)讓專家確定數(shù)據(jù)的標(biāo)簽，如此反復(fù)，以期讓模型利用較少的標(biāo)記數(shù)據(jù)獲得較好“性能”。一般情況下，模型拋出的未標(biāo)注數(shù)據(jù)為“hard sample”（對(duì)于“hard sample”的不同定義可以衍生出一大堆的方法，如可以是ambiguous sample，即模型最難區(qū)分的樣本；可以是對(duì)模型提升（改變）最大的樣本，如梯度提升最大；可以是方差減小等等），相比與有監(jiān)督學(xué)習(xí)，主動(dòng)學(xué)習(xí)通過讓模型更多的關(guān)注或?qū)W習(xí)“hard sample”，以期在較少的訓(xùn)練樣本下獲得較好的模型。如下所示：

可以看出active learning與passive learning最大的不同是passive learning或supervised learning其首先就需要大量的專家標(biāo)注樣本訓(xùn)練模型，而active learning則是利用少量標(biāo)注樣本，大量未標(biāo)注樣本訓(xùn)練模型，然后由learner選擇樣本返回給Oracle打標(biāo)簽，進(jìn)而不斷迭代以獲得較好的模型，該過程必須要有專家的參與，這也是active learning區(qū)別于semi-supervised learning的不同之處。

新框架

用于目標(biāo)檢測的深度主動(dòng)學(xué)習(xí)最近引起了人們的興趣。 [Scalable active learning for object detection]的工作訓(xùn)練神經(jīng)網(wǎng)絡(luò)的集合，然后選擇由某個(gè)獲取函數(shù)定義的具有最高分?jǐn)?shù)的樣本，即熵或互信息。并發(fā)工作探索了類似的方向，但通過 MC-dropout來近似不確定性。[Active learning for deep detection neural networks]的工作提出了一種計(jì)算像素分?jǐn)?shù)并使用它們來選擇信息樣本的方法。另一種方法[Deep active learning for object detection]提出了通過committee paradigm的查詢來選擇要查詢的圖像集。[Active learning for convolutional neural networks: A core-set approach]的工作使用特征空間來選擇數(shù)據(jù)集中的代表性樣本，在目標(biāo)檢測中達(dá)到了良好的性能。[Localization-aware active learning for object detection]給出了不同的解決方案，其中作者定義了兩個(gè)不同的分?jǐn)?shù)：定位緊密度，即區(qū)域候選和最終預(yù)測之間的重疊比；當(dāng)輸入圖像被噪聲破壞時(shí)，基于預(yù)測目標(biāo)位置的變化的定位穩(wěn)定性。在所有情況下，選擇得分最高的圖像進(jìn)行標(biāo)記。[Learning loss for active learning]的最先進(jìn)方法提供了一種啟發(fā)式但優(yōu)雅的解決方案，同時(shí)優(yōu)于其他基于單一模型的方法。在訓(xùn)練期間，該方法學(xué)習(xí)預(yù)測每個(gè)樣本的目標(biāo)損失。在主動(dòng)學(xué)習(xí)階段，它選擇標(biāo)記具有最高預(yù)測損失的樣本。

上述大多數(shù)方法需要多個(gè)模型或多個(gè)前向傳遞來計(jì)算圖像的信息量分?jǐn)?shù)，導(dǎo)致計(jì)算成本很高。此外，所有這些研究，盡管專注于目標(biāo)檢測的主動(dòng)學(xué)習(xí)，要么依賴啟發(fā)式方法來估計(jì)定位不確定性，要么根本無法估計(jì)。因此，雖然給出了有希望的方向，但它們?cè)跍?zhǔn)確性和計(jì)算成本方面并不令人滿意。與這些方法相比，今天分享的方法估計(jì)并利用定位和分類的不確定性來達(dá)到高精度，同時(shí)使用單個(gè)模型的單次前向傳遞，顯著降低了計(jì)算成本。

新提出的方法的關(guān)鍵新穎之處在于設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的輸出層來預(yù)測概率分布，而不是預(yù)測網(wǎng)絡(luò)的每個(gè)輸出的單個(gè)值（見上圖a）。為此，建議使用混合密度網(wǎng)絡(luò)，其中網(wǎng)絡(luò)的輸出由GMM的參數(shù)組成。

為了預(yù)測輸出值的概率分布，新方法涉及修改網(wǎng)絡(luò)的最后一層，因此導(dǎo)致參數(shù)數(shù)量增加，尤其是在分類頭中。研究者專注于通過減少分類頭中的參數(shù)數(shù)量來提高算法的效率，如上圖b。

實(shí)驗(yàn)及可視化

與原始SSD網(wǎng)絡(luò)相比，新方法的不同實(shí)例的mAP（以%為單位）。SGM和MDN是指單個(gè)和多個(gè)高斯模型，將它們應(yīng)用于定位(Loc)、分類(Cl)及其組合(Loc+Cl)。

不準(zhǔn)確檢測和認(rèn)知不確定性示例。從左上角開始，順時(shí)針方向：Person是誤報(bào)；人物邊界框不正確；一只羊被錯(cuò)誤地歸類為一只鳥；一只羊被錯(cuò)誤地歸類為一頭牛。

a) 與使用單一評(píng)分模型的已發(fā)表作品進(jìn)行比較；b) 與多種基于模型的方法、集成和MC-dropout的比較。

努力分享優(yōu)質(zhì)的計(jì)算機(jī)視覺相關(guān)內(nèi)容，歡迎關(guān)注：

個(gè)人微信（如果沒有備注不拉群！）
請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！

下載3 CVPR2021

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文

點(diǎn)亮，告訴大家你也在看

ICCV2021目標(biāo)檢測：主動(dòng)學(xué)習(xí)框架較大提升目標(biāo)檢測精度