讓檢測(cè)告別遮擋 | 詳細(xì)解讀NMS-Loss是如何解決目標(biāo)檢測(cè)中的遮擋問題？

1簡(jiǎn)介

非極大值抑制(Non-Maximum Suppression, NMS)在目標(biāo)檢測(cè)中至關(guān)重要，它通過合并假陽性(FP)和假陰性(FN)影響目標(biāo)檢測(cè)結(jié)果，尤其是在人群遮擋場(chǎng)景中。在本文中提出了NMS造成的訓(xùn)練目標(biāo)和評(píng)估指標(biāo)之間的弱連接問題，并提出了一種新的損失函數(shù)NMS-loss，使NMS過程可以端到端地被訓(xùn)練而不需要任何附加的網(wǎng)絡(luò)參數(shù)。

NMS-loss懲罰2種情況，即FP沒有被抑制，而FN被NMS錯(cuò)誤地刪除。具體來說，NMS-Loss提出了pull loss將具有相同目標(biāo)的預(yù)測(cè)拉得很近，以及push loss將具有不同目標(biāo)的預(yù)測(cè)推得很遠(yuǎn)。

實(shí)驗(yàn)結(jié)果表明，在NMS-Loss的幫助下NMS-Ped檢測(cè)器在Caltech數(shù)據(jù)集上的Miss Rate為5.92%，在CityPersons數(shù)據(jù)集上的Miss Rate為10.08%，均優(yōu)于現(xiàn)有的同類檢測(cè)器。

本文主要貢獻(xiàn)

• 首先提出了行人檢測(cè)中訓(xùn)練目標(biāo)與評(píng)估指標(biāo)之間的弱連接問題，并提出了一種新的NMS-loss，使NMS過程在不引入任何參數(shù)和運(yùn)行時(shí)間開銷的情況下可以端到端進(jìn)行訓(xùn)練。

• 作者提出了精心設(shè)計(jì)的pull loss和push loss，分別考慮預(yù)測(cè)坐標(biāo)和置信度，幫助網(wǎng)絡(luò)提高精度和召回性能。

• 在行人檢測(cè)中，作者借助NMS-Loss提出的NMS-Ped在Caltech和CityPersons數(shù)據(jù)集上優(yōu)于現(xiàn)有的SOTA方法。

2NMS-LOSS

傳統(tǒng)的NMS流程如Alg.1中所示，沒有考慮紅色字體。

NMS從一組得分為S的檢測(cè)框 開始，

首先，將得分最大的proposal 從 集合移動(dòng)到最終保留檢測(cè)的集合 ;

然后，刪除 中得分為 的且與 的重疊高于閾值 的框。

對(duì)剩下的 集重復(fù)此過程。

但是，現(xiàn)有的方法沒有將NMS納入訓(xùn)練過程中來調(diào)整檢測(cè)框，使得學(xué)習(xí)目標(biāo)與評(píng)價(jià)指標(biāo)不一致，這意味著NMS未抑制FP和NMS消除FN分別會(huì)損害精度和召回率。為了避免不一致，作者提出NMS-loss將NMS程序引入到訓(xùn)練過程中，自適應(yīng)地選擇由NMS引起的錯(cuò)誤預(yù)測(cè)，并使用精心設(shè)計(jì)的pull和push兩種損失來最小化FP和FN。具體來說NMS-Loss定義為:

其中 為pull損失用來懲罰FP同時(shí)不抑制由NMS， 為push損失用來懲罰NMS的FN錯(cuò)誤刪除。系數(shù) 和 是平衡損失的權(quán)重。

NMS-Loss的細(xì)節(jié)在Alg.1中用紅色文本強(qiáng)調(diào)。與傳統(tǒng)pipeline不同，這里使用一組 ，包含相應(yīng)的檢測(cè)框ground truth index，用于識(shí)別FP和FN。在NMS-Loss計(jì)算過程中，M是一個(gè)輔助字典，以ground truth指數(shù)為key，對(duì)應(yīng)最大檢測(cè)得分為value，用來記錄每個(gè)ground truth的max score預(yù)測(cè)。

NMS-loss自然地合并到NMS過程中，而不包含任何額外的訓(xùn)練參數(shù)。對(duì)于測(cè)試來說，NMS-Loss的運(yùn)行時(shí)成本為零。

2.1 定義Pull Loss

以降低FP為目標(biāo)需要找出錯(cuò)誤的預(yù)測(cè)。為此，在每次迭代中檢查當(dāng)前的max score預(yù)測(cè) 是否為其對(duì)應(yīng)的 ground truth的max score預(yù)測(cè)。如果不是，則說明 是一個(gè)未被NMS抑制的FP，pull loss應(yīng)在 和 ground truth的max score prediction 之間執(zhí)行(見圖1)。形式上pull loss計(jì)算如下:

其中 為預(yù)定義的NMS閾值， 為對(duì)應(yīng)于 的預(yù)測(cè)score。

作者注意到pull loss的2個(gè)特性:

• 當(dāng) 和 之間的IoU較小時(shí)，pull loss有增加的趨勢(shì)，迫使網(wǎng)絡(luò)學(xué)會(huì)將 拉向 。NMS的閾值 用于防止異常值的梯度對(duì)模型學(xué)習(xí)的影響過大。另外，對(duì)于NMS只需要使FP和TP之間的IoU高于 即可。在pull loss中使用 來減小異常值的梯度，可以使網(wǎng)絡(luò)易于學(xué)習(xí)和收斂。

• FP預(yù)測(cè)得分對(duì)pull loss也有較大影響。FP得分越高，對(duì)評(píng)價(jià)結(jié)果的影響越大，直觀上需要更多的關(guān)注。此外，它使網(wǎng)絡(luò)學(xué)習(xí)修正FP不僅要制約box坐標(biāo)，而且要考慮降低預(yù)測(cè)分?jǐn)?shù)。

2.2 定義Push Loss

在NMS中，當(dāng)前的最大score預(yù)測(cè) 用 消除了獲得高于 的IoU的box。如果剔除的框 對(duì)應(yīng)的ground truth index 與 不同，則 為FN，降低召回率(見圖1)。為了避免錯(cuò)誤地刪除 提出push loss來懲罰FN:

其中 為 對(duì)應(yīng)的預(yù)測(cè)得分。與pull loss不同當(dāng) 時(shí)，push loss增大，模型學(xué)會(huì)將 推離 。為了避免模型傾向于通過降低FN的分?jǐn)?shù)來減少push loss，作者只使用 來重新加權(quán)損失，而不使用反向傳播梯度。

對(duì)于擁擠的場(chǎng)景，特別是在CityPersons數(shù)據(jù)集中，邊界框的ground truths是相互重疊的。在IoU=0的情況下，將他們的預(yù)測(cè)相互排斥是不合理的。為了處理這個(gè)問題，作者只在預(yù)測(cè)IoU高于其對(duì)應(yīng)ground truth box的IoU時(shí)才計(jì)算 。

本文所提的Pull Loss和Push Loss是根據(jù)預(yù)測(cè)來執(zhí)行的。當(dāng)pull/push loss被激活時(shí)，網(wǎng)絡(luò)會(huì)嘗試pull/push兩個(gè)預(yù)測(cè)，分別pull/push彼此。因?yàn)楦叻诸A(yù)測(cè)通常會(huì)得到一個(gè)更準(zhǔn)確的位置，所以在一個(gè)不準(zhǔn)確的預(yù)測(cè)基礎(chǔ)上移動(dòng)一個(gè)準(zhǔn)確的預(yù)測(cè)是不合理的。為了解決這個(gè)問題，作者停止了高分預(yù)測(cè)的梯度向后傳播，導(dǎo)致網(wǎng)絡(luò)專注于錯(cuò)誤的預(yù)測(cè)。

2.3 與RepLoss的不同之處在哪里？

RepLoss通過設(shè)置損失函數(shù)的方式，使預(yù)測(cè)框和所負(fù)責(zé)的真實(shí)目標(biāo)框的距離縮小，而使得其與周圍非負(fù)責(zé)目標(biāo)框（包含真實(shí)目標(biāo)框和預(yù)測(cè)框）的距離加大 。如下式，如果與周圍目標(biāo)的距離越大，損失值會(huì)越小。

作者對(duì)NMS-Loss和RepLoss進(jìn)行了詳細(xì)的比較，因?yàn)檫@2種方法都是基于它們的目標(biāo)進(jìn)行pull/push預(yù)測(cè)的。

主要有3個(gè)區(qū)別:

• RepLoss在所有實(shí)例上執(zhí)行，而NMS-Loss只在被NMS錯(cuò)誤處理的實(shí)例上執(zhí)行，從而實(shí)現(xiàn)了端到端訓(xùn)練。

• RepLoss只考慮回歸，而score在NMS-Loss中也用于實(shí)例重加權(quán)。

• 在密集人群場(chǎng)景下RepLoss將實(shí)例推開，即使它們的目標(biāo)本來很接近，使RepLoss與回歸損失相矛盾。相反，NMS-Loss會(huì)推送與其他IoU高于其對(duì)應(yīng)ground truth box IoU的實(shí)例，這樣可以消除RepLoss的矛盾。

如表所示，NMS-Loss不僅比RepLoss表現(xiàn)更好，而且在CityPersons上有更高的相對(duì)改善。這表明，NMS-Loss可以在廣泛使用的數(shù)據(jù)集上實(shí)現(xiàn)穩(wěn)定的相對(duì)改進(jìn)(高于10%)。

3實(shí)驗(yàn)

4參考閱讀

[1].NMS-Loss: Learning with Non-Maximum Suppression for Crowded Pedestrian Detection

[2].Repulsion Loss: Detecting Pedestrians in a Crowd

5推薦閱讀

即插即用 | 卷積與Self-Attention完美融合X-volution插入CV模型將帶來全任務(wù)的漲點(diǎn)（文末附論文）

Transformer | 詳細(xì)解讀Transformer怎樣從零訓(xùn)練并超越ResNet？

YOLO |多域自適應(yīng)MSDA-YOLO解讀，惡劣天氣也看得見（附論文）

Transformer | 沒有Attention的Transformer依然是頂流?。?！

本文論文原文獲取方式，掃描下方二維碼

掃描下方二維碼關(guān)注【集智書童】公眾號(hào)，獲取更多實(shí)踐項(xiàng)目源碼和論文解讀，非常期待你我的相遇，讓我們以夢(mèng)為馬，砥礪前行！