針對(duì)外分布樣本檢測(cè)的置信度校準(zhǔn)分類器

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺(jué)”公眾號(hào)

視覺(jué)/圖像重磅干貨，第一時(shí)間送達(dá)

來(lái)源：AI錘煉

1. 論文信息

• Paper: [ICLR 2018] Training Confidence-calibrated Classifiers for Detecting Out-of-distribution Samples
• Link: https://arxiv.org/abs/1711.09325

2. 背景梳理

檢測(cè)一個(gè)測(cè)試樣本來(lái)自內(nèi)分布（分類器的訓(xùn)練分布）還是外分布與其他機(jī)器學(xué)習(xí)應(yīng)用有很大的不同?，F(xiàn)在的網(wǎng)絡(luò)對(duì)預(yù)測(cè)通常過(guò)于自信，也就是說(shuō)無(wú)法分清內(nèi)分布和外分布。本文在原始損失如交叉熵上加了額外兩項(xiàng)，第一個(gè)強(qiáng)迫分類器對(duì)外分布樣本降低置信度，第二個(gè)是為第一項(xiàng)生成更有效的訓(xùn)練樣本。本文的方法同時(shí)訓(xùn)練分類網(wǎng)絡(luò)和外分布的生成網(wǎng)絡(luò)，并且在幾個(gè)圖像數(shù)據(jù)集上證明了它的有效性。

3. 主要貢獻(xiàn)

1.提出了一個(gè)新的損失函數(shù)，叫信心損失（confidence loss），其關(guān)鍵思想是進(jìn)一步減少外分布樣本的預(yù)測(cè)分布和均勻分布的KL散度，以便對(duì)外分布樣本給出信心更低的預(yù)測(cè)（因均勻分布時(shí)沒(méi)有一個(gè)過(guò)于自信的預(yù)測(cè)值）。

2.該損失函數(shù)需要外分布樣本，而本文針對(duì)如何得到外分布樣本提出了一種基于GAN的生成方式。與原本的GAN不同，本文的GAN被設(shè)計(jì)生成內(nèi)分布外分布邊緣處樣本。

4. 方法

4.1 針對(duì)外分布數(shù)據(jù)的分類器

不失一般性的，假設(shè)訓(xùn)練使用交叉熵?fù)p失。然后本文提出了如下的置信損失

其中KL表示KL散度，表示均勻分布，是懲罰參數(shù)。容易看到，該損失迫使外分布樣本預(yù)測(cè)分布接近均勻分布。換句話說(shuō)，這個(gè)損失讓內(nèi)分布的最大預(yù)測(cè)值更大，外分布更小。我們發(fā)現(xiàn)由于網(wǎng)絡(luò)強(qiáng)大的表示能力，加上這個(gè)KL項(xiàng)并沒(méi)有降低分類器的準(zhǔn)確率。

理想上，可以采樣所有的外分布樣本來(lái)最小化KL項(xiàng)，或者利用先驗(yàn)知識(shí)來(lái)高效采樣。但是這通常不可行，我們建議對(duì)接近內(nèi)分布的外分布采樣，這樣可以高效的提升檢測(cè)性能。

我們考慮一個(gè)二分類任務(wù)，每個(gè)類的數(shù)據(jù)來(lái)自高斯分布，整個(gè)空間為的2D區(qū)域。用簡(jiǎn)單的全連接來(lái)實(shí)現(xiàn)置信損失。首先如圖1a，外分布外100個(gè)綠色數(shù)據(jù)點(diǎn)。圖1b是在該數(shù)據(jù)上優(yōu)化置信損失的決策邊界?？梢钥吹椒诸惼饕廊辉诮咏鼉?nèi)分布的區(qū)域有過(guò)自信的情況（很大的紅藍(lán)區(qū)域）。另外，如果我們?cè)?span style="cursor: pointer;">構(gòu)建外分布（圖1c），圖1d是它的決策邊界，可以看出此時(shí)過(guò)于自信的區(qū)域大大減小。雖然可以通過(guò)增多圖1a的樣本達(dá)到圖1d的效果，但是空間大的情況下很低效。這個(gè)現(xiàn)象是本文使用GAN來(lái)生成邊緣數(shù)據(jù)的原因。

4.2 針對(duì)外分布數(shù)據(jù)的GAN

GAN包括判別器D和生成器G。我們希望生成器復(fù)原邊緣處的外分布，因此使用如下?lián)p失函數(shù)

其中第一項(xiàng)迫使生成器生成低密度樣本，因?yàn)樗梢员唤忉尀槭褂梅诸惼髯钚』瘍?nèi)分布數(shù)據(jù)的對(duì)數(shù)負(fù)似然，這一項(xiàng)促使生成器不取內(nèi)分布的點(diǎn)。第二三項(xiàng)對(duì)應(yīng)于原本的GAN損失函數(shù)，它們促使生成器不取過(guò)于外的點(diǎn)。這三項(xiàng)使得生成器生成邊緣處的外分布。如下圖所示，星標(biāo)代表生成的點(diǎn)，(a)圖是原本GAN生成的點(diǎn)，(b)圖是本文使用的GAN生成的點(diǎn)，可見(jiàn)其生成了想要的邊緣處的外分布的點(diǎn)。

4.3 分類器與GAN的聯(lián)合訓(xùn)練

兩個(gè)模型可以用于互相提升，因此可以合起來(lái)迭代進(jìn)行訓(xùn)練。由于該算法對(duì)于目標(biāo)函數(shù)是單調(diào)的，因此保證收斂。

5. 實(shí)驗(yàn)結(jié)果

表中顯示了算法對(duì)每個(gè)內(nèi)分布和外分布對(duì)的檢測(cè)性能。當(dāng)內(nèi)分布為SVHN時(shí)，本文的方法訓(xùn)練的分類器在不損害原有分類性能的情況下，顯著提高了所有外分布的檢測(cè)性能。然而，當(dāng)內(nèi)分布為CIFAR-10時(shí)，信心損失函數(shù)并沒(méi)有從總體上提高檢測(cè)性能，這可能是因?yàn)橛?xùn)練的/看到的SVHN外分布并沒(méi)有有效覆蓋所有測(cè)試的外分布。

圖中顯示了針對(duì)每個(gè)內(nèi)分布和外分布對(duì)的基線檢測(cè)器的性能。首先，觀察聯(lián)合信心損失函數(shù)(藍(lán)條)優(yōu)于外分布數(shù)據(jù)集的信心損失函數(shù)(綠條)。這是非常值得注意的，因?yàn)榍罢咧皇褂梅植純?nèi)數(shù)據(jù)集進(jìn)行訓(xùn)練，而后者利用額外的分布外數(shù)據(jù)集。并且本文的方法明顯優(yōu)于基準(zhǔn)的交叉熵?fù)p失(紅條)在所有情況下而不損害原本分類性能。有趣的是,信心損失函數(shù)配合原本的GAN(橙條)通常(但不總是)用于提高檢測(cè)性能，然而，本文提出的GAN(藍(lán)條)仍然在所有情況下優(yōu)于它。

6.結(jié)論

本文的目的是開(kāi)發(fā)一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法以更好地檢測(cè)外分布，而不失去其原有的分類精度。本質(zhì)上，本文的方法是通過(guò)迭代最小化它們的損失來(lái)聯(lián)合訓(xùn)練兩個(gè)模型來(lái)檢測(cè)和產(chǎn)生外分布。雖然實(shí)驗(yàn)中主要關(guān)注圖像分類問(wèn)題，但本文的方法可以用于任何分類任務(wù)上。