（附偽代碼）詳細解讀NMS-Loss是如何解決目標檢測中的遮擋問題？

1簡介

非極大值抑制(Non-Maximum Suppression, NMS)在目標檢測中至關重要，它通過合并假陽性(FP)和假陰性(FN)影響目標檢測結果，尤其是在人群遮擋的場景中。

文章分析了NMS造成的訓練目標和評估指標之間的弱連接問題，并提出了一種新的損失函數(shù)NMS-loss，使NMS過程可以端到端地被訓練而不需要任何附加的網(wǎng)絡參數(shù)。

NMS-loss懲罰2種情況，即FP沒有被抑制，而FN被NMS錯誤地刪除。具體來說，NMS-Loss提出了pull loss將具有相同目標的預測拉得很近，以及push loss將具有不同目標的預測推得很遠。

實驗結果表明，在NMS-Loss的幫助下NMS-Ped檢測器在Caltech數(shù)據(jù)集上的Miss Rate為5.92%，在CityPersons數(shù)據(jù)集上的Miss Rate為10.08%，均優(yōu)于現(xiàn)有的同類檢測器。

本文主要貢獻

• 首先提出了行人檢測中訓練目標與評估指標之間的弱連接問題，并提出了一種新的NMS-loss，使NMS過程在不引入任何參數(shù)和運行時間開銷的情況下可以端到端進行訓練。

• 作者提出了精心設計的pull loss和push loss，分別考慮預測坐標和置信度，幫助網(wǎng)絡提高精度和召回性能。

• 在行人檢測中，作者借助NMS-Loss提出的NMS-Ped在Caltech和CityPersons數(shù)據(jù)集上優(yōu)于現(xiàn)有的SOTA方法。

2NMS-LOSS

傳統(tǒng)的NMS流程如Alg.1中所示，沒有考慮紅色字體。

NMS從一組得分為S的檢測框開始，

首先，將得分最大的proposal 從集合移動到最終保留檢測的集合;

然后，刪除中得分為的且與的重疊高于閾值的框。

對剩下的集重復此過程。

但是，現(xiàn)有的方法沒有將NMS納入訓練過程中來調整檢測框，使得學習目標與評價指標不一致，這意味著NMS未抑制FP和NMS消除FN分別會損害精度和召回率。為了避免不一致，作者提出NMS-loss將NMS程序引入到訓練過程中，自適應地選擇由NMS引起的錯誤預測，并使用精心設計的pull和push兩種損失來最小化FP和FN。具體來說NMS-Loss定義為:

其中為pull損失用來懲罰FP同時不抑制由NMS，為push損失用來懲罰NMS的FN錯誤刪除。系數(shù)和是平衡損失的權重。

NMS-Loss的細節(jié)在Alg.1中用紅色文本強調。與傳統(tǒng)pipeline不同，這里使用一組，包含相應的檢測框ground truth index，用于識別FP和FN。在NMS-Loss計算過程中，M是一個輔助字典，以ground truth指數(shù)為key，對應最大檢測得分為value，用來記錄每個ground truth的max score預測。

NMS-loss自然地合并到NMS過程中，而不包含任何額外的訓練參數(shù)。對于測試來說，NMS-Loss的運行時成本為零。

2.1 定義Pull Loss

以降低FP為目標需要找出錯誤的預測。為此，在每次迭代中檢查當前的max score預測是否為其對應的 ground truth的max score預測。如果不是，則說明是一個未被NMS抑制的FP，pull loss應在和 ground truth的max score prediction 之間執(zhí)行(見圖1)。形式上pull loss計算如下:

其中為預定義的NMS閾值，為對應于的預測score。

作者注意到pull loss的2個特性:

• 當和之間的IoU較小時，pull loss有增加的趨勢，迫使網(wǎng)絡學會將拉向。NMS的閾值用于防止異常值的梯度對模型學習的影響過大。另外，對于NMS只需要使FP和TP之間的IoU高于即可。在pull loss中使用來減小異常值的梯度，可以使網(wǎng)絡易于學習和收斂。

• FP預測得分對pull loss也有較大影響。FP得分越高，對評價結果的影響越大，直觀上需要更多的關注。此外，它使網(wǎng)絡學習修正FP不僅要制約box坐標，而且要考慮降低預測分數(shù)。

2.2 定義Push Loss

在NMS中，當前的最大score預測用消除了獲得高于的IoU的box。如果剔除的框對應的ground truth index 與不同，則為FN，降低召回率(見圖1)。為了避免錯誤地刪除提出push loss來懲罰FN:

其中為對應的預測得分。與pull loss不同當時，push loss增大，模型學會將推離。為了避免模型傾向于通過降低FN的分數(shù)來減少push loss，作者只使用來重新加權損失，而不使用反向傳播梯度。

對于擁擠的場景，特別是在CityPersons數(shù)據(jù)集中，邊界框的ground truths是相互重疊的。在IoU=0的情況下，將他們的預測相互排斥是不合理的。為了處理這個問題，作者只在預測IoU高于其對應ground truth box的IoU時才計算。

本文所提的Pull Loss和Push Loss是根據(jù)預測來執(zhí)行的。當pull/push loss被激活時，網(wǎng)絡會嘗試pull/push兩個預測，分別pull/push彼此。因為高分預測通常會得到一個更準確的位置，所以在一個不準確的預測基礎上移動一個準確的預測是不合理的。為了解決這個問題，作者停止了高分預測的梯度向后傳播，導致網(wǎng)絡專注于錯誤的預測。

2.3 與RepLoss的不同之處在哪里？

RepLoss通過設置損失函數(shù)的方式，使預測框和所負責的真實目標框的距離縮小，而使得其與周圍非負責目標框（包含真實目標框和預測框）的距離加大 。如下式，如果與周圍目標的距離越大，損失值會越小。

作者對NMS-Loss和RepLoss進行了詳細的比較，因為這2種方法都是基于它們的目標進行pull/push預測的。

主要有3個區(qū)別:

• RepLoss在所有實例上執(zhí)行，而NMS-Loss只在被NMS錯誤處理的實例上執(zhí)行，從而實現(xiàn)了端到端訓練。

• RepLoss只考慮回歸，而score在NMS-Loss中也用于實例重加權。

• 在密集人群場景下RepLoss將實例推開，即使它們的目標本來很接近，使RepLoss與回歸損失相矛盾。相反，NMS-Loss會推送與其他IoU高于其對應ground truth box IoU的實例，這樣可以消除RepLoss的矛盾。

如表所示，NMS-Loss不僅比RepLoss表現(xiàn)更好，而且在CityPersons上有更高的相對改善。這表明，NMS-Loss可以在廣泛使用的數(shù)據(jù)集上實現(xiàn)穩(wěn)定的相對改進(高于10%)。

3實驗

4參考閱讀

[1].NMS-Loss: Learning with Non-Maximum Suppression for Crowded Pedestrian Detection

[2].Repulsion Loss: Detecting Pedestrians in a Crowd

整理不易，點贊三連↓