論文地址：https://arxiv.org/abs/2012.00257

摘要：文章提出另一種NMS的替代的方法，這種方法不是只依賴單個(gè)框的得分，也不依賴IoU去除冗余的框，它使用曼哈頓距離，在一個(gè)cluster中選取和其他框都是距離最近的那個(gè)框，然后去除那些附近的高重合的框。

1. 介紹

在當(dāng)前的主流的物體檢測(cè)中，NMS都是很必要的，如下圖1，NMS其實(shí)是一種貪心算法，每次取一個(gè)得分最高的框，然后抑制掉其他和這個(gè)框重疊過多框，所以NMS的結(jié)果并不是最優(yōu)的，因此，出現(xiàn)了很多對(duì)NMS的改進(jìn)，比如soft NMS，或者替代的方法，有些依賴于聚類，有些依賴空間上的共現(xiàn)關(guān)系，有些使用霍夫變換，還有些基于端到端的訓(xùn)練的方法。

2. 方法

文章提出的方法叫做：Confluence，這個(gè)方法的主要思路并不是要把大量的檢測(cè)結(jié)果抑制掉，而是想辦法從中識(shí)別出最優(yōu)的框，這是通過識(shí)別出和其他的框交匯最多的那個(gè)框來實(shí)現(xiàn)的。Confluence是一個(gè)2階段的方法，可以保留最佳的框，抑制掉假陽(yáng)框，通過曼哈頓距離來度量框之間的相關(guān)性，然后通過置信度加權(quán)，得到最優(yōu)的那個(gè)框，然后再通過和這個(gè)框的交匯程度來去掉其他的假陽(yáng)框。

2.1 曼哈頓距離

曼哈頓距離就是L1范數(shù)，就是所有點(diǎn)的水平和垂直距離的和，兩點(diǎn)之間的曼哈頓距離表示如下：

兩個(gè)框之間的接近程度可以表示為左上角點(diǎn)和右下角點(diǎn)的曼哈頓距離的和：

P越小表示交匯程度越高，P越大表示這兩個(gè)框越不可能表示同一個(gè)物體。對(duì)于一個(gè)cluster內(nèi)的框，我們把具有最小簇內(nèi)的P值的框作為最佳的檢測(cè)框。從圖1中可以看到，Confluence具有更好的魯棒性。

2.2 歸一化

在實(shí)際使用中，由于框的尺寸不一，所以在用閾值來去除FP的時(shí)候，會(huì)對(duì)這個(gè)超參數(shù)閾值很敏感，所以需要對(duì)框進(jìn)行歸一化，歸一化方法如下：

歸一化之后，使得簇內(nèi)的框和簇外的框可以分的很開。

2.3 保留簇內(nèi)的最優(yōu)框以及去除冗余框

所有的坐標(biāo)歸一化到0~1之后，兩個(gè)有相交的框之間的接近度量會(huì)小于2，因此，只要兩個(gè)框之間的P值小于2，就屬于同一個(gè)cluster，一旦cluster確定了之后，就可以找到最優(yōu)的簇內(nèi)框。然后，設(shè)置一個(gè)閾值，所有和這個(gè)最優(yōu)框的接近度小于這個(gè)閾值的框都會(huì)去掉，然后對(duì)所有的框重復(fù)這個(gè)操作。

2.4 置信度得分加權(quán)

NMS只考慮物體的置信度得分，而Confluence會(huì)同時(shí)考慮物體的置信度得分c和p值，然后得到一個(gè)加權(quán)的接近度：

2.5 實(shí)現(xiàn)步驟

算法流程如下：

1、對(duì)所有的類別進(jìn)行遍歷。

2、得到對(duì)應(yīng)類別的所有的檢測(cè)框。

3、計(jì)算對(duì)應(yīng)類別的所有檢測(cè)框的兩兩接近度p，計(jì)算的時(shí)候使用坐標(biāo)的歸一化。

4、遍歷對(duì)應(yīng)類別中的每一個(gè)檢測(cè)框，對(duì)每個(gè)檢測(cè)框，把p值小于2的歸到一個(gè)簇里面，并計(jì)算對(duì)應(yīng)的置信度加權(quán)接近度。

5、找到一個(gè)簇里面具有最小加權(quán)p值（最優(yōu)）的那個(gè)框，找到之后，保存這個(gè)框，并且將其從總的框列表里刪除。

6、對(duì)于其他的所有的框，其接近度小于預(yù)設(shè)閾值的全部去除。

7、循環(huán)處理所有的框。

每個(gè)步驟的計(jì)算復(fù)雜度都為O(N)，總的Confluence的復(fù)雜度為。

3. 結(jié)果

在不同的方法上的效果：

總的來說，還是有效果的，特別是對(duì)recall的提升效果更好一點(diǎn)，可以保留之前NMS由于IoU過大而過濾掉的一些TP。

下面是一些具體的例子：

右邊黃框的人由于在使用NMS的時(shí)候，由于IoU和紅色的框過大而被抑制掉了。

左邊的Confluence給出的黃色框?yàn)樽顑?yōu)框，右邊NMS的給出的黃色框?yàn)榇蝺?yōu)框，因?yàn)樽顑?yōu)框和其他的置信度更高的框的IoU太大，被抑制了。

還有一些例子如下：

總的來說，這個(gè)一個(gè)有效的方法，但是從COCO和VOC上的效果來說，雖然有效，但是提升不大。不過，這也和數(shù)據(jù)集有關(guān)，從這個(gè)方法的原理來看，最大的好處是可以保留一些原本使用NMS的時(shí)候被IoU抑制掉的TP，這在比較擁擠的檢測(cè)場(chǎng)景中，可能會(huì)有更加明顯的效果。