anchor-free存在什么缺點(diǎn)？

更新：

最開始回答這個(gè)問題的時(shí)候，對(duì)OD這個(gè)領(lǐng)域的認(rèn)識(shí)還不夠深，所以，回答也是比較淺顯的，發(fā)現(xiàn)這個(gè)答案獲贊還算較多，所以打算更新一些東西（憋在心里好久了）：

正負(fù)樣本定義與OD當(dāng)前檢測(cè)框架的沖突：

在談OD前，簡單回顧一下分類問題中的正負(fù)樣本問題，以最簡單的二分類問題開始，比如貓狗分類，如果我們有100張圖片，也就有了100個(gè)樣本，貓狗數(shù)量五五開，那肯定是最好的，對(duì)貓和狗來說，正負(fù)樣本比例都是1：1，但如果貓只有5張，狗有95張，顯然，對(duì)貓來說，正樣本只有5個(gè)，學(xué)不到東西；對(duì)狗來說，正樣本竟然有95個(gè)，負(fù)樣本才5個(gè)，這反而容易過擬合，最終分類器會(huì)對(duì)狗這個(gè)類別產(chǎn)生過擬合。

解決辦法很簡單，我們只需要多加點(diǎn)貓的圖片就完事了，因?yàn)橐粡垐D片就是一個(gè)樣本。

所以，在分類問題中，樣本的最小單元就是圖片本身。想解決這種失衡的問題也非常容易，缺啥補(bǔ)啥就行，而且，對(duì)于單個(gè)樣本本身，模型要么遇見的是正樣本，要么遇見的是負(fù)樣本，不會(huì)同時(shí)遇見正負(fù)樣本。

然而，在OD這一塊，問題不一樣，對(duì)于一張圖片，模型必須得學(xué)會(huì)區(qū)分前景和背景，并且，它還得知道前景又都是些什么東西。而前景就是正樣本，背景是負(fù)樣本，因此，我們得讓模型學(xué)會(huì)如何去做這件事。

最早的RCNN為了解決這件事，采用了“給用搜索算法給出前景，然后對(duì)前景作分類”的多步pipeline，先區(qū)分出前景和背景，然后在去給每個(gè)前景分類，這種多步法也為后來的Two-stage體系做了鋪墊。

而在16年的CVPR，YOLOv1將這“多步法”捏合在一起，網(wǎng)絡(luò)在區(qū)分前背景的同時(shí)，還能對(duì)前景做預(yù)測(cè)（邊界框+類別）。YOLOv1為了實(shí)現(xiàn)這一目的，提出了“網(wǎng)格”思想（其實(shí)，這種思想在更早的UnitBox、DenseBox中都能看到），可以說，從這個(gè)時(shí)候開始，OD今后許多年的范式就被定型了：

逐網(wǎng)格找東西

為什么這么說呢，我舉幾個(gè)例子：

Faster RCNN先用RPN網(wǎng)絡(luò)去區(qū)分前背景，怎么區(qū)分的？是不是也有網(wǎng)格在里頭，每個(gè)網(wǎng)格設(shè)定了k個(gè)anchor box，提供尺寸先驗(yàn)，然后每個(gè)網(wǎng)格都會(huì)給出幾個(gè)自認(rèn)是是前景的框，交給后續(xù)的RoIpooling去分類。

SSD，雖然用了多個(gè)尺度的feature map，但是，不管用了幾個(gè)，對(duì)于每一個(gè)feature map，依舊是網(wǎng)格，每個(gè)網(wǎng)格中會(huì)輸出一組預(yù)測(cè)（邊界框+類別）

RetinaNet，還是網(wǎng)格，每個(gè)網(wǎng)格設(shè)定了幾個(gè)anchor box，輸出一組預(yù)測(cè)；

FCOS，我們知道FCOS去掉了anchor box，但這個(gè)不重要，我們還是看它的檢測(cè)模式，依舊是每個(gè)網(wǎng)格輸入一組參數(shù)（tlrb+類別）。

雖然這些工作各有千秋，比如Faster給出了anchor box 的概念，SSD可以說是最早用上了多個(gè)feature map來檢測(cè)的思想，RetinaNet則給出了Focal loss（后續(xù)我們?cè)僬f這個(gè)focal loss），F(xiàn)COS把a(bǔ)nchor box又給拋棄了，但萬變不離其宗，都是在一個(gè)覆蓋了整張圖像的網(wǎng)格上去找東西。

而這樣的檢測(cè)框架帶來了什么養(yǎng)問題呢？

正負(fù)樣本失衡。

我認(rèn)為，我們現(xiàn)在討論的正負(fù)樣本失衡的問題，其實(shí)就是這個(gè)范式本身的最大缺陷。

當(dāng)你把一張網(wǎng)格覆蓋到原圖上去時(shí)，自然地就把不包含前景的網(wǎng)格視為負(fù)樣本，包含前景的網(wǎng)格視為正樣本，請(qǐng)大家想象一下，通常情況，正樣本多還是負(fù)樣本多？還是負(fù)樣本會(huì)更多些（當(dāng)然，也有一些特殊情況，一個(gè)大目標(biāo)幾乎占據(jù)了整張圖，但翻一翻COCO，這樣的特殊情況還是少）。

不過，這么說就太草率了，我們稍微展開說一下：

對(duì)于ab方法：最粗暴的方式就是，每個(gè)網(wǎng)格的k個(gè)ab都去和gt box算iou，大于閾值的ab就是正樣本，否則就是負(fù)樣本。請(qǐng)大家再想象一下，能有多少個(gè)ab匹配上，網(wǎng)格本身帶來的失衡就嚴(yán)重了，再加上ab，而且能匹配上的也沒幾個(gè)，這問題就更嚴(yán)重了。

對(duì)于af方法：以FCOS為例，只要這個(gè)網(wǎng)格位置落在gt box中，這個(gè)網(wǎng)格就是個(gè)正樣本，啊。這就是網(wǎng)格本身的角度了，失衡問題我就不重復(fù)了。

也就是說，和分類不同，在OD中，一張圖像會(huì)包含一大堆正負(fù)樣本，即，此時(shí)的樣本最小單元不再是圖像，而是網(wǎng)格。

為了去劃分一張圖像上的正負(fù)樣本，許多研究學(xué)者又提出了各種各樣的“規(guī)則”，比如簡單的IoU閾值篩選（Faster、SSD、YOLOv2v3v4等），或者ATSS提出的動(dòng)態(tài)方法，再或者YOLOv1和CenterNet的只考慮包含中心點(diǎn)的網(wǎng)格（CenterNet盡管用了heatmap，但包含gt box信息的依舊只有中心點(diǎn)），又或者FCOS那樣的考慮gt box中所有的網(wǎng)格?？傊?，這些規(guī)則都沒有脫離“逐網(wǎng)格找東西”這個(gè)框架。也就無法解決最核心的問題：

樣本數(shù)太TM多了?。。。。。。。。。。。?！

比如，YOLOv3中，輸入圖像是608，用三個(gè)尺度的網(wǎng)格：19x19，38x38，76x76，每個(gè)網(wǎng)格還設(shè)立3個(gè)anchor box，算一下，一共22743個(gè)樣本，加入，這張圖像一共就10個(gè)物體，那么按照YOLOv3的匹配規(guī)則：

對(duì)于IoU大于閾值的M個(gè)ab，只保留最大的，其他人的M-1個(gè)都忽略，不參與loss計(jì)算；

對(duì)于IoU小于閾值的，都是負(fù)樣本。

因此，最多你手里也就10個(gè)正樣本，負(fù)樣本呢？2w+，嗯，酸爽，這比例失衡的，哈哈哈！

所幸，YOLO有objectness這個(gè)預(yù)測(cè)，因此這個(gè)失衡也只是在二分類這個(gè)層次上，對(duì)于class和bbox這兩塊的回歸不會(huì)帶來影響（因此只有正樣本才會(huì)參與這兩塊的計(jì)算），而在SSD和RetinaNet中，這個(gè)失衡會(huì)對(duì)class產(chǎn)生影響，因?yàn)樗麄兌及驯尘耙矠榱艘粋€(gè)類別了，但依舊不會(huì)對(duì)bbox產(chǎn)生影響，因?yàn)橹挥蓄悇e是前景的才會(huì)去算bbox部份的loss。

那af呢？就不用多說了，照樣有這個(gè)問題，背景的包含的像素絕大多數(shù)時(shí)候它都比前景多，比如一望無際的大草原，牛羊群的像素才能占到多少呢？

因此，這種“逐網(wǎng)格找東西”的范式本身就無法避免這個(gè)正負(fù)樣本比例失衡的問題，即便用OHEM、Focal Loss等一類的工作去緩解正負(fù)樣本之間的不平衡，也只能是緩解，打個(gè)補(bǔ)丁，無法根治。

所以，從這個(gè)角度來講，不管是ab還是af，致命問題都是一樣。

私以為，想解決這個(gè)問題，可以走兩條路子：

1.提出更好的“規(guī)則”，在這個(gè)新的規(guī)則下，我們可以更好的去劃分網(wǎng)格，讓正負(fù)樣本去盡量平衡，具體來說，前面說了，大部分網(wǎng)格都落在背景上，因此，我們有必要把所有的背景網(wǎng)格都拿去回歸嗎？可不可這樣：背景的那些網(wǎng)格做個(gè)隨機(jī)采樣，只取一部分，從而和正樣本個(gè)數(shù)達(dá)到一種平衡。當(dāng)然，這只是一個(gè)設(shè)想，我對(duì)更好的“規(guī)則”暫時(shí)沒有太多想法。

2.推翻當(dāng)前框架！！?。mmm……這個(gè)好像不太容易，在這浮躁的社會(huì)中，誰又愿意去挖新坑呢？當(dāng)前的OD模型也都還不錯(cuò)（就是落地難點(diǎn)），將就用著，誰會(huì)閑的沒事“鬧革命”呢？不過，最近的Facebook提出的用Transformer感覺有點(diǎn)意思~不過我還沒研究，所以也不清楚。

原答案

先mark，回到實(shí)驗(yàn)室后再答~

人已到實(shí)驗(yàn)室，打開電腦，寫答案~

我自己在目標(biāo)檢測(cè)這個(gè)領(lǐng)域研究將近一年了，有一些心得體會(huì)，自己也基本上能夠從零開始實(shí)現(xiàn)一個(gè)anchor-free（af）和anchor-based（ab）的兩類檢測(cè)模型。我沒有跑過太多的開源模型，大多數(shù)都是拜讀論文和讀讀源碼，然后添加或在自己的模型中動(dòng)手實(shí)現(xiàn)下，這一過程中，對(duì)af和ab有了一些認(rèn)識(shí)，就過來獻(xiàn)個(gè)丑，權(quán)當(dāng)拋磚引玉~

首先，關(guān)于題主給出的兩個(gè)點(diǎn)，我有點(diǎn)不同的看法：

1.題主說到“af中正負(fù)樣本極端不平衡”。

我個(gè)人認(rèn)為，這一點(diǎn)并不能算作af的缺點(diǎn)，即使ab中，也存在這種很嚴(yán)重的不平衡現(xiàn)象。在object detection這個(gè)領(lǐng)域，正負(fù)樣本比例失衡就一直存在，畢竟一張圖像中，絕大多數(shù)的像素都是背景, 都是不需要的東西。具體來說，我們以yolo-v2為例，輸入圖像的大小時(shí) 的, stride , 那么網(wǎng)絡(luò)最后輸出的feature map就是 。如果我們不使用anchor box, 即我們的模型時(shí)af的，那么，我們就一共有 個(gè)樣本。

假如我們按照yolo-v1的方法，學(xué)習(xí)目標(biāo)的中心點(diǎn)，如果圖中有5個(gè)物體，那么正負(fù)樣本的比例就是 5：, 這比例失衡還是挺嚴(yán)重的。

假如我們使用anchor box，每個(gè)位置設(shè)置3個(gè)anchor box，那么我們一共會(huì)有 個(gè) 樣本，如果圖中的5個(gè)物體都匹配上了一個(gè)anchor box，那么正負(fù)樣本比例就是5：; 我們把情況想得再好一些。即每個(gè)物體都匹配了兩個(gè)anchor box，那么比例就是 10 ：; 那能不能把所有的anchor box都和物體匹配上去呢? 個(gè)人認(rèn)為, 這是很難的，通常我們都是用IoU來篩選出合適的anchor box和真實(shí)物體的bbox進(jìn)行匹配，如果我們把這個(gè)IoU閾值降到很低，比如0.05，那的確可以讓更多的anchor box去和真實(shí)的bbox匹配上，但這就和我們最開始引入anchor box的目的相違背了——引入anchor box，其實(shí)就是想人為地加入些先驗(yàn)框，有了這個(gè)先驗(yàn)，網(wǎng)絡(luò)就可以在這個(gè)先驗(yàn)框上做一些調(diào)整即可，不需要從啥也不知道直接去預(yù)測(cè)出一個(gè)框出來，因此，我們肯定希望這個(gè)先驗(yàn)框是比較好的，即和真實(shí)框之間的IoU值較高，通常大于0.5。所以，對(duì)于這個(gè)閾值的設(shè)置是很敏感的，我個(gè)人的實(shí)驗(yàn)中，采用0.05的確能夠mAP漲點(diǎn)，但是，指標(biāo)雖然上去了，預(yù)測(cè)結(jié)果卻變得有點(diǎn)糟糕了，結(jié)果中多了些不是很好的框（所以，單純地看mAP漲點(diǎn)我個(gè)人認(rèn)為根本不能證明方法的有效性?。?！最直接的辦法就是把結(jié)果可視化，最好是全都能拿出來看，雖然這點(diǎn)有些難，畢竟圖片那么多，但mAP這個(gè)指標(biāo)，學(xué)術(shù)界真夠應(yīng)該好好審視一下了，個(gè)人很不喜歡那種加了自己設(shè)計(jì)的東西，然后mAP上漲了1個(gè)點(diǎn)，就可以說自己的東西好使，emmmm...）。

也就是說，事實(shí)上，無論是af還是ab，正負(fù)樣本嚴(yán)重失衡它都是存在的，這也就是為什么，即使到現(xiàn)在，還是有不少人在研究如何解決樣本失衡的問題。

2.語義模糊性，即兩個(gè)物體的中心點(diǎn)落在了同一個(gè)網(wǎng)格中。

這個(gè)時(shí)候，對(duì)于單尺度的af方法來說，的確非常致命，我在自己寫數(shù)據(jù)預(yù)處理的時(shí)候，也注意到了這個(gè)問題，通常一個(gè)位置先安排好了一個(gè)正樣本后，如果這個(gè)位置又來了一個(gè)新的正樣本，那么前一個(gè)就會(huì)被覆蓋掉。關(guān)于這個(gè)問題，在ab框架下就被很好地解決了，因?yàn)槊恳粋€(gè)位置上，我們3個(gè)（假設(shè)我們?cè)O(shè)置了3個(gè)anchor box）先驗(yàn)框，那么讓第一個(gè)框和一個(gè)物體匹配上，那么后面來的物體就和其他兩個(gè)框去做匹配就行了。所以，對(duì)于這個(gè)問題，單尺度af方法還真不好辦。

后來，在出了FPN的技術(shù)后，這個(gè)問題似乎看起來解決了不少，既然一個(gè)feature map容不下兩個(gè)物體落在同一個(gè)網(wǎng)格中，那我們就用兩個(gè)feature map，每個(gè)fmap上落一個(gè)，就解決了呀！然而，這就會(huì)帶來另一個(gè)問題：我們?nèi)绾螞Q定哪個(gè)物體落在哪個(gè)fmap上？ 對(duì)于這個(gè)問題，我的解決方案就是看物體的大小，來決定它應(yīng)該落在哪個(gè)fmap上，可是，這又會(huì)帶來一個(gè)選擇的問題，是人工設(shè)定呢？還是自適應(yīng)的呢？還是網(wǎng)絡(luò)自己學(xué)習(xí)呢？總之，還是在一定程度上解決了問題。

但回過頭來看這個(gè)問題，之所以單尺度的af方法會(huì)遇到這個(gè)問題，是因?yàn)槲覀兩厦娴膶W(xué)習(xí)目標(biāo)是物體的中心點(diǎn)，也就是說，一個(gè)物體我就學(xué)習(xí)一個(gè)點(diǎn)，這似乎看起來有點(diǎn)太局部了，也就導(dǎo)致了兩個(gè)中心點(diǎn)落在一個(gè)網(wǎng)格后，沒法抉擇正樣本的問題。那么，如果我們假設(shè)把真實(shí)框中包含的所有的網(wǎng)格都作為正樣本，那不僅提高了正負(fù)樣本比例，似乎還會(huì)解決上面的問題，但馬上我們就會(huì)發(fā)現(xiàn)，單一的feature map就那些問題，要是這么分配正負(fù)樣本的話，總樣本數(shù)不太夠用，所以，這里我們?cè)倥浜仙螰PN的話，樣本總數(shù)更多了，我們也更好分配了，而這，正是FCOS的思想，在FCOS工作中，把真實(shí)框中所有的網(wǎng)格都作為了正樣本，對(duì)于有重疊的部分，則會(huì)根據(jù)它設(shè)計(jì)的一套尺度分配原則來決定重疊部分的網(wǎng)格該賦予什么樣的標(biāo)簽。

總之，有了FPN，這種模糊性問題得到了還不錯(cuò)的解決，所以，18年開始，af方法又煥發(fā)了生機(jī)。（而focal loss的技術(shù)，個(gè)人并不認(rèn)為是af又重新崛起的因素，畢竟focal loss就是為了解決正負(fù)樣本失衡，而ab框架下，這種失衡也很嚴(yán)重呀~）。

以上，是針對(duì)題主說到的兩點(diǎn)的一些看法。下面，我想說說我自己對(duì)af方法的一些看法和展望吧。

說實(shí)話，af方法其實(shí)很好，我不認(rèn)為人在做檢測(cè)任務(wù)中，大腦中會(huì)先扒拉出一堆先驗(yàn)框讓你去調(diào)整，而是看一眼，然后直接就能畫出框。當(dāng)然，話也不能說的這么絕對(duì)，畢竟我們還不是很清楚我們自己到底、究竟是如何實(shí)現(xiàn)檢測(cè)的（請(qǐng)注意我的措辭，我說的究竟，也就是說這個(gè)事情并不沒有得到絕對(duì)完美的解釋和證實(shí)）。然而，af相較于ab，省去了很多的超參數(shù)，因此更加的簡潔和優(yōu)雅，只是在優(yōu)化上，由于沒有先驗(yàn)的東西來支持，所以不如ab的方法穩(wěn)定。

然而，換個(gè)角度想想，af這種思想和當(dāng)前的OD框架真的合適嗎？我們真的要在一個(gè)feature map上去逐個(gè)網(wǎng)格（卷積操作）地找東西嗎？這里我沒有別的意思，只是提出了自己腦海中某個(gè)還不是很清晰的想法。

或許，有人會(huì)說，既然ab的設(shè)置需要人工，那么為了減少人工，我們可以仿照yolo-v2，使用kmeans的方法去在數(shù)據(jù)集上聚類來得到比較好的框。對(duì)此，我有些不同的看法，yolo-v2、v3是在數(shù)據(jù)集上聚類出來的，所以先驗(yàn)框更加適合數(shù)據(jù)集，然而，這很嚴(yán)重地依賴于數(shù)據(jù)集啊！如果數(shù)據(jù)集中的真實(shí)框嚴(yán)重有偏，不足以表征真實(shí)的分布（比如我們自己采集數(shù)據(jù)集的時(shí)候，就會(huì)有這個(gè)問題），那么這樣聚類出來的框是否足夠好？其次，聚幾個(gè)框？怎么樣才算是聚得好呢？這都是我們要考慮的??！

“那你的網(wǎng)絡(luò)也是依賴于數(shù)據(jù)集的??！” 我想肯定會(huì)有人這么想著反駁我，的確，這點(diǎn)我必須承認(rèn)，所以，半監(jiān)督、自監(jiān)督甚至無監(jiān)督可以做OD嗎？我不是很清楚，雖然看過幾篇，不過目前來看，有監(jiān)督在OD中的效果還是最好的~

剛吃完桶泡面，有點(diǎn)撐得上，就先答這些吧，其實(shí)自己還是有很多想說的~

題主問的是af的缺點(diǎn)，我似乎沒有說太多的af的缺點(diǎn)，因?yàn)樵谖已劾铮矣X得af和ab沒有原理上的差異，只是在優(yōu)化和穩(wěn)定性上，ab總是要表現(xiàn)得好。但我不認(rèn)為這可以作為缺點(diǎn)擺出來說道說道，我比較喜歡追尋些本質(zhì)的東西，奈何本人水平有限，難以提出些深層次的東西，寫了這么多字，也是希望這個(gè)問題能有更多人關(guān)注，畢竟我也比較在于af框架的，希望能吸引來更多優(yōu)秀的人來回答這個(gè)問題，哪怕是把我的答案大肆批判一番，我也很開心。

重在交流嘛~