2020 Crowdhuman人體檢測(cè)比賽第一名經(jīng)驗(yàn)總結(jié)

這篇總結(jié)其實(shí)在19年6月底就完成了，但當(dāng)時(shí)由于種種原因，不方便將細(xì)節(jié)公開在知乎上。至于今天為什么又放出來，因?yàn)檫@篇文章里的內(nèi)容其實(shí)在CVPR Workshop（https://www.objects365.org/workshop2019.html）上都已經(jīng)提到，且我已經(jīng)不在當(dāng)時(shí)公司實(shí)習(xí)了，不會(huì)受到奇怪條條框框的約束。計(jì)算機(jī)視覺發(fā)展日新月異，現(xiàn)在回過頭看這篇總結(jié)，有些地方難免感覺比較復(fù)古，相關(guān)的二階段方法在工業(yè)界里也鮮有應(yīng)用，依然選擇放出這篇總結(jié)也是希望能對(duì)其他打比賽的同行們提供一些參考吧。當(dāng)然2019年下半年通過一系列實(shí)驗(yàn)，我們對(duì)通用目標(biāo)/密集行人檢測(cè)有了新的認(rèn)識(shí)，相關(guān)結(jié)果總結(jié)進(jìn)了2篇論文，投到了某計(jì)算機(jī)視覺會(huì)議，希望能有好結(jié)果。正文：

前言

我和另一組員 @Magina507是在實(shí)習(xí)公司leader的指導(dǎo)下參加的這次比賽，以熟悉目標(biāo)檢測(cè)相關(guān)的技巧和經(jīng)驗(yàn)。從前期調(diào)研算起，到提交完最后一次測(cè)試結(jié)果，前后歷經(jīng)2個(gè)月。最后的分?jǐn)?shù)雖因提交策略上的失誤未達(dá)到能達(dá)到optimal，但大家還算是比較滿意。我們希望通過這篇文章，把這次參賽過程中踩過的坑以及學(xué)到的經(jīng)驗(yàn)教訓(xùn)整理出來與大家討論。

后續(xù)內(nèi)容大致分為以下幾個(gè)部分：

1. 前期調(diào)研及準(zhǔn)備
2. baseline復(fù)現(xiàn)
3. 已知/未知的trick探索
4. 后處理

前期調(diào)研及準(zhǔn)備

雖然leader是檢測(cè)方面的專家， @Magina507 此前并沒有目標(biāo)檢測(cè)相關(guān)的經(jīng)驗(yàn)，我僅僅跑過幾個(gè)開源代碼，所以調(diào)研部分我們選擇求廣，大量讀paper和資料，過了些通用目標(biāo)檢測(cè)(object detection)和行人檢測(cè)(pedestrian detection)近幾年頂會(huì)上曝光率較高的文章，主要為第三階段的做準(zhǔn)備，對(duì)所有需要試的tricks，根據(jù)可靠性做個(gè)排序，來決定嘗試順序，細(xì)節(jié)會(huì)在第三部分詳細(xì)闡述。

另外兩個(gè)非常重要的調(diào)研方向：一是codebase，二是coco/openimage競賽經(jīng)驗(yàn)分享。codebase稍加搜索能定位到以下三個(gè)candidates:

Google的：

Tensorflow Detection API

https://github.com/tensorflow/models/tree/master/research/object_detection

FAIR的：

roytseng-tw/Detectron.pytorch

https://github.com/roytseng-tw/Detectron.pytorch

以及mmlab的：

open-mmlab/mmdetection

https://github.com/open-mmlab/mmdetection

不用tensorflow的原因想必不用多說，我們?cè)赿etectron-pytorch和mmdetection選擇了后者的原因，當(dāng)然是mmdetection的author之一 @陳愷近期在知乎上比較活躍，可以每日私信催更 :p 好吧，其實(shí)仔細(xì)看detectron-pytorch的更新日志，上一次有效commit是1年以前了，而mmdetection不僅是去年coco冠軍release的codebase，更保持了~3commits/week的速度， 陳博士在issue回答里的親力親為也讓人對(duì)mmdetection印象大好。如果沒有mmdetection，是不可能有我們最終的分?jǐn)?shù)的

競賽經(jīng)驗(yàn)分享方面，我們重點(diǎn)參考了 @尼箍納斯凱奇回答里關(guān)于coco競賽經(jīng)驗(yàn)分享部分的ppt：

如何評(píng)價(jià)商湯開源的 mm-detection 檢測(cè)庫？

https://www.zhihu.com/question/294578141/answer/493495238

陳博士cvpr19的:

Hybrid Task Cascade for Instance Segmentation

https://arxiv.org/abs/1901.07518

以及openimage前四名的tech reports:

Google AI Open Images - Object Detection Track

https://www.kaggle.com/c/google-ai-open-images-object-detection-track/discussion

結(jié)合以上資料，對(duì)可以嘗試的tricks做到心中有數(shù)有序，調(diào)研部分便算是完成了。（數(shù)據(jù)集部分暫時(shí)先跳過。。。）

baseline復(fù)現(xiàn)

baseline是我們遇到的第一道坎，也是這次比賽的第一個(gè)大坑。放幾張測(cè)試集圖片及我們的預(yù)測(cè)結(jié)果，初步感受下crowdhuman[1]這個(gè)數(shù)據(jù)集：

取自crowdhuman test set

取自crowdhuman test set

看起來并不好解決。與其他比賽一樣，第一步需要復(fù)現(xiàn)crowdhuman論文里的baseline以確保模型里各個(gè)模塊及超參正常工作。

需要預(yù)先交代的是：Crowdhuman的標(biāo)注分為3類，分別為visible, full和head。visible為身體可見部分的bbox，full則需要模型額外推測(cè)出被遮擋區(qū)域的位置。比賽早期由于主辦方未公布測(cè)試結(jié)果是以哪種標(biāo)注為準(zhǔn)，我們選擇在visible上先進(jìn)行實(shí)驗(yàn)。（上面兩張圖里有不少bbox框到?jīng)]有人體的部分是因?yàn)橛昧祟A(yù)測(cè)的full body框，full body也是比賽最后的測(cè)評(píng)依據(jù)，而不是visible）。此外行人檢測(cè)使用的核心測(cè)評(píng)指標(biāo)不是mAP，而是mMR(log average missing rate)。深究原理會(huì)發(fā)現(xiàn)mMR和coco style的mAP有非常大的區(qū)別，具體如下：

1. mAP-coco在乎的是IoU=0.5:0.95在全score分段上的表現(xiàn)。（越大越好）
2. mMR在乎的是IoU>0.5，且只考慮高分段的表現(xiàn)。（越小越好，可理解為mMR越小，高分段pred_bboxes里miss的gt_bboxes越少）

可以看出，mAP-coco同時(shí)關(guān)注定位準(zhǔn)不準(zhǔn)、recall和precision高不高。而mMR對(duì)定位的精確度有所放松(IoU>0.5即可)，轉(zhuǎn)而關(guān)注高分段bbox的precision，如僅關(guān)注得分大于0.7的bbox的質(zhì)量，這個(gè)得分閾值是由mMR根據(jù)實(shí)際結(jié)果自適應(yīng)的。舉個(gè)例子，一個(gè)與gt_bbox的IoU=0.9的pred_bbox, 分?jǐn)?shù)僅為0.4，這樣的bbox對(duì)mAP是有增益的，但是對(duì)mMR可能沒有絲毫影響。這個(gè)分析結(jié)果也讓我們能初步察覺到，soft-nms[2]對(duì)mMR應(yīng)該是難有裨益了。

在visible上復(fù)現(xiàn)baseline花費(fèi)了我們近半個(gè)月的時(shí)間。起初：

• 原文baseline的配置為：Faster RCNN[3], ResNet50[4], FPN[5], roi pooling(roi pooling還是align不確定)
• 我們baseline的配置為：Faster RCNN, ResNet50, FPN, roi align[6]

結(jié)果不論在mMR和[email protected]上都差了2個(gè)點(diǎn)左右。在這一階段的嘗試中，我們發(fā)現(xiàn)了兩個(gè)很依賴數(shù)據(jù)集的超參：

1. 對(duì)FPN里用到的所有conv套上BN[7]
2. RPN階段的nms_pre這個(gè)參數(shù)

實(shí)驗(yàn)發(fā)現(xiàn)，F(xiàn)PN+BN可以提升1.x個(gè)點(diǎn)的[email protected]，且mMR也有明顯改善（具體數(shù)字不可考究了），然而加BN這個(gè)事情我們卻在obj365[8]和coco上觀察到了另兩種現(xiàn)象，obj365-tiny上[email protected]升，[email protected]降，mAP降，coco上則直接全面下降，所以這是個(gè)很依賴數(shù)據(jù)集的setting。RPN階段的nms_pre在mmdetection中默認(rèn)為2000，我們發(fā)現(xiàn)，這個(gè)數(shù)字越大，Recall和[email protected]都有明顯提升，mMR卻變差，這點(diǎn)可以解釋為，rcnn見到sample的diversity會(huì)隨著nms_pre這個(gè)數(shù)字變高而增加，所以recall會(huì)增加，而之前我們也分析過，AP在意的是全分段的結(jié)果，且AP的上限為recall，所以AP也會(huì)隨著recall的增加而增加。mMR變差的解釋為：隨著diversity的引入，rcnn訓(xùn)練階段被強(qiáng)行引入了些hard sample，這些hard sample影響了模型的判斷，導(dǎo)致原高置信度bbox的得分出現(xiàn)不同程度的震蕩，繼而高分段pred_bbox的表現(xiàn)出現(xiàn)下滑。AP和mMR受到nms_pre影響的這個(gè)規(guī)律在nms_pre∈[1000,12000]之間都成立。所以在crowdhuman上存在這樣一個(gè)取分技巧：通過調(diào)低nms_pre犧牲AP的方式來換取mMR的提升。

上面兩點(diǎn)的發(fā)現(xiàn)頗有運(yùn)氣成分，隨后與leader討論發(fā)現(xiàn)了之前忽視的另一關(guān)鍵點(diǎn)：ignore區(qū)域。Crowdhuman將雕塑、影子，鏡子里的人等視為ignore區(qū)域，此外有一類ignore區(qū)域是很難精準(zhǔn)預(yù)測(cè)的密集人群，如下圖橙黃色區(qū)域（手動(dòng)標(biāo)的）。是否預(yù)測(cè)出來ignore區(qū)域的bbox不影響測(cè)評(píng)分?jǐn)?shù)，綠框是模型的預(yù)測(cè)結(jié)果。訓(xùn)練階段我們起初直接無視了ignore區(qū)域，這導(dǎo)致下圖橙黃色ignore區(qū)域有在RPN階段成為訓(xùn)練背景的可能，但細(xì)想一下，下圖這片ignore區(qū)域是一定程度上具備human body特征的，只是分辨率較低，讓它作為RPN的階段的背景顯然會(huì)影響RPN對(duì)每個(gè)anchor屬于前背景的判斷。

取自crowdhuman test set

發(fā)現(xiàn)這一點(diǎn)后，我們?cè)赼nchor的正負(fù)例策略中增加了一條：

3. 與ignore bbox的IoA(Intersection over Anchor)大于0.5的anchor不可作為負(fù)例(及背景)。

反應(yīng)在mmdetection的代碼中，即：將滿足上述條件的anchor在RPN階段的label設(shè)置為-1。綜合以上3點(diǎn)改進(jìn)，我們?cè)趘isible的baseline上mMR和[email protected]終于均略微超過原文。

baseline的復(fù)現(xiàn)并沒有到此為止。主辦方在5月10日左右，比賽過了一半還多的時(shí)候，宣布測(cè)評(píng)標(biāo)準(zhǔn)將以full body上的測(cè)試結(jié)果為準(zhǔn)。這一宣布導(dǎo)致我們又呼哧哧去復(fù)現(xiàn)full的結(jié)果。使用mmdetection，在full上會(huì)有小問題，具體在預(yù)處理階段需要對(duì)越界bbox的處理，對(duì)roi越界的處理需要調(diào)整。此時(shí)距離比賽結(jié)束僅剩1個(gè)月的時(shí)間，我們只能將visible上的超參原封不動(dòng)搬到full上，然后祈禱對(duì)visible和full的超參有一致的規(guī)律。所以我們baseline復(fù)現(xiàn)截止的真正時(shí)間其實(shí)是到5月中，然后發(fā)現(xiàn)mMR在full上比原文居然好了4個(gè)點(diǎn)。。

tricks探索

雖然full baseline復(fù)現(xiàn)較晚，但我們很早便開始在visible上進(jìn)行各種trick復(fù)現(xiàn)和探索，技巧方面的儲(chǔ)備還算是充分。下面分幾類講下我們嘗試過的技巧：

1. 眾所周知的穩(wěn)定漲點(diǎn)技巧

此類技巧包括: Cascade RCNN[9], Deformable Convolution[10], better backbone, Multi-scale training/testing, Ensemble

這類技巧已經(jīng)受過無數(shù)煉丹師的檢驗(yàn)。由于mmdetection的存在，試這些技巧大部分都是改改配置的事情。稍微要提的是backbone方面，我們?cè)噰L試了以下幾種: ResNet50, ResNeXt101-64x4d[11], SEResNeXt101-32x4d, SENet154[12], HRNetv2p_w40[13]。其中ResNeXt101-64x4d, SEResNeXt101-32x4d和HRNetv2p_w40幾乎相當(dāng)，SENet154與其他論文及經(jīng)驗(yàn)分享中結(jié)論一致，效果拔群，在JI、mMR和[email protected]上超出前三者1~3個(gè)點(diǎn)。

嗯？JI是什么？

主辦方也是在5月初，才姍姍來遲地公布了他們的測(cè)評(píng)標(biāo)準(zhǔn)實(shí)為Jaccard Index[14]，而非mMR和mAP，細(xì)節(jié)如下圖。我們又是對(duì)之前訓(xùn)好的模型一頓調(diào)試，具體就不展開說了，一言以蔽之，JI同樣是個(gè)只在乎高分段pred_bbox性能的指標(biāo)（與mMR相反，越高越好），只是這個(gè)高分段閾值不是自適應(yīng)，而是需要手動(dòng)調(diào)整的（這也有了開頭所說的提交策略影響了最終結(jié)果的事情，我們最終卡分的位置并不理想）。JI經(jīng)過精心的挑選閾值，面對(duì)各種trick和超參的規(guī)律與mMR幾乎相當(dāng)。

取自競賽官網(wǎng)

Multi-scale和Ensemble也有些操作空間，細(xì)節(jié)將放到第四部分詳細(xì)說明。

2. 該work卻不work的技巧--“真的不行”篇

這類技巧主要包括：SyncBN[15]，focal loss[16], reflective loss[17], GIoU/IoU Loss[18]，pretrain on COCO, IoUNet[19], scale balanced sampling[20], Soft-NMS。需要指明的是，這類技巧在CrowdHuman數(shù)據(jù)集上沒有增益，不代表他們?cè)谄渌麛?shù)據(jù)集上也沒有幫助（DL嘛，你懂的），所以大家不能輕易忽略這類技巧的價(jià)值。

SyncBN

baseline里使用的是標(biāo)準(zhǔn)BN，但滑動(dòng)統(tǒng)計(jì)值是取自ImageNet的預(yù)訓(xùn)練模型，且訓(xùn)練crowdhuman期間不對(duì)滑動(dòng)統(tǒng)計(jì)值進(jìn)行更新。SyncBN已被證實(shí)在coco上有穩(wěn)定的提升，我們?cè)赾rowdhuman上卻得不到理想的效果。推測(cè)原因可能是crowdhuman訓(xùn)練數(shù)據(jù)只有15000張，數(shù)據(jù)量遠(yuǎn)遠(yuǎn)小于coco的20w+，不足以提供科學(xué)的滑動(dòng)統(tǒng)計(jì)值。放棄

Focal Loss

我們觀察到了如下現(xiàn)象：pred bbox尺寸越小，分類得分越均勻分散在0~1之間，pred bbox尺寸越大， 分?jǐn)?shù)越靠近0、1兩端。小目標(biāo)分類結(jié)果的不確定性為后續(xù)嘗試JI的卡分閾值帶來一定困擾，那有沒有辦法讓模型把小目標(biāo)得分從中間往兩側(cè)推呢？在R-CNN Module的損失函數(shù)上應(yīng)用focal loss從原理上來說當(dāng)然有可能做到這一點(diǎn)，訓(xùn)練階段focal loss會(huì)將小目標(biāo)中得分趨向于0.5的目標(biāo)視為難樣本，為其提供較大的梯度權(quán)重。然而，rcnn階段使用了focal loss的模型mMR比baseline掉了2個(gè)點(diǎn)。具體原因我們沒有詳細(xì)分析了，可能是對(duì)難樣本的強(qiáng)行學(xué)習(xí)反過來傷害到easy sample的表現(xiàn)吧。

GIoU/IoU

Sadly...用不用幾乎沒有區(qū)別。

Pretrain on COCO

在COCO上預(yù)訓(xùn)練按理說至少不該傷害模型表現(xiàn)。在以Res50為backbone的時(shí)候，JI和mMR確有0.5~1個(gè)點(diǎn)的提升，換到了SENet154后，在coco上預(yù)訓(xùn)練反而輕微傷害到了模型, sigh...

Soft-NMS

Soft-NMS在第二部分提到，它只能撈回被打入低分段的bbox，對(duì)只在乎相對(duì)高分段bbox的mMR和JI理應(yīng)不產(chǎn)生影響，實(shí)際實(shí)驗(yàn)結(jié)果也證實(shí)了這點(diǎn)。用不用，到小數(shù)點(diǎn)后第四位都看不出來變化，所以某cvpr oral的論文里用了soft-nms影響了mMR的結(jié)果真是一眼難盡。。。

3. 該work卻不work的技巧--“沒盡力調(diào)”篇

這類技巧主要包括：Guided Anchor[21], OHEM[22], Adaptive NMS[23]

Guided Anchor

Guided Anchor是一片很獨(dú)特的文章，比賽期間我們未對(duì)該方法和實(shí)現(xiàn)做深入研究，僅使用了默認(rèn)的setting，在mMR上差了baseline 0.5個(gè)點(diǎn)。如果原意沉下心來，做更多超參上的調(diào)整，相信在baseline上是會(huì)有不小提升空間的。

OHEM

OHEM也是考驗(yàn)煉丹師火候的技巧。由于focal loss的失敗經(jīng)歷，OHEM幾乎沒怎么試就放棄了。

Adaptive NMS

我們對(duì)Adaptive NMS抱有很大的期待，因?yàn)樗脑碚娴暮躮ake sense。。。標(biāo)準(zhǔn)的post nms會(huì)使用0.5作為閾值對(duì)pred bbox進(jìn)行過濾，仔細(xì)看下表，紅框里的數(shù)字表示在crowdhuman這個(gè)數(shù)據(jù)集里，平均每張圖片有2.4對(duì)bbox之間的IoU>0.5。這意味著使用標(biāo)準(zhǔn)post nms和0.5閾值，每張圖從一開始就不可避免的要損失2.4個(gè)gt bbox，這對(duì)JI有2個(gè)點(diǎn)以上的影響。Adaptive NMS提供了一種很巧妙的思路，即根據(jù)pred bbox的密度，來動(dòng)態(tài)決定每個(gè)pred bbox做nms時(shí)候的閾值，這個(gè)密度叫density map，測(cè)試階段由模型預(yù)測(cè)給出。可惜，我們一直未訓(xùn)練出理想的density map，原因至今還未探明。

截自Crowdhuman

4. 勉強(qiáng)work的技巧

這類技巧主要包括：merge cityperson[24], repulsion loss[25], rcnn context

Merge Cityperson

調(diào)研發(fā)現(xiàn)，在所有public available dataset中，cityperson顯得與crowdhuman最為接近且有full body標(biāo)注框。融合了cityperson的數(shù)據(jù)集在baseline上約有0.8個(gè)點(diǎn)mMR的提升，到了JI上卻只有可憐的0.2。

Repulsion Loss

Repulsion loss是專門針對(duì)擁擠場(chǎng)景下的行人檢測(cè)設(shè)計(jì)的算法，它通過施加loss，迫使所有pred bbox相互之間IoU越接近0越好，此外每個(gè)pred bbox與其不對(duì)應(yīng)的gt bbox之間的IoU越接近0越好。加了Repulsion Loss反而輕微傷害了mMR。仔細(xì)分析，我們發(fā)現(xiàn)Rep Loss這種將IoU推至0的方式有些矯枉過正，如果我們對(duì)每個(gè)pred bbox和其不對(duì)應(yīng)的gt bbox之間施加一個(gè)推的下界，該下界為：該pred bbox的對(duì)應(yīng)gt bbox與該pred bbox的不對(duì)應(yīng)gt bbox之間的IoU。推到此便不再提供任何梯度。這種Bounded Rep Loss可以改進(jìn)mMR 0.6個(gè)點(diǎn)，JI也有0.4x的提升，算勉強(qiáng)有效果吧。

RCNN Context

baseline里每個(gè)roi經(jīng)過roi align，隨后被傳入rcnn里做分類和回歸。Context的意思是額外將原始roi長寬兩倍大小的double_size rois經(jīng)過roi align后concat到之前的roi feature上，一并送入rcnn做分類，為rcnn提供更寬闊的視野以求更精準(zhǔn)的定位和回歸。RCNN Context可以改進(jìn)mMR 0.6個(gè)點(diǎn)。它與Rep Loss均是rcnn階段的調(diào)整，合到一起可以一共提供0.8個(gè)點(diǎn)的mMR改進(jìn)。

后處理

這部分有兩個(gè)值得提的地方。一是multi scale testing時(shí)候testing scale的選取。在coco上，可以用小至(900, 600)的最長最短邊，大至(2100, 1400)的最長最短邊，這種大scale跨度對(duì)coco的multi scale testing大有裨益。但是我們發(fā)現(xiàn)在crowdhuman上，任何低于(1400, 800)的最長最短邊加入到testing scales中，都會(huì)傷害到ms test的效果。原因很可能是crowdhuman里小目標(biāo)的“看不清”問題比大目標(biāo)的“看不全”問題嚴(yán)重得多。最終我們使用的3個(gè)testing scale為：[(1600, 1200), (1800, 1300), (2100, 1400)]。ms test在mMR和JI上均有2個(gè)點(diǎn)左右的提升。

另一點(diǎn)是ensemble。在ensemble上我們嘗試了很多腦洞大開的想法，包括：

• 百度openimage冠軍方案里，為每個(gè)模型加權(quán)改分，再在nms階段將分?jǐn)?shù)加回來
• 直接將所有模型結(jié)果拉到一起使用0.5為閾值進(jìn)行nms
• 將每個(gè)模型的roi都交給其他模型的rcnn算分，最終將所有分平均作為該模型的roi得分。(相當(dāng)于多一步rcnn ensemble)
• ...

結(jié)果顯示這些方法均會(huì)對(duì)AP帶來大量增益(2個(gè)點(diǎn)以上)，但mMR上他們沒有一個(gè)work。與leader時(shí)他指出在crowdhuman這類擁擠數(shù)據(jù)集上，nms閾值應(yīng)相應(yīng)拉高來保留更多不同模型的意見。順著這個(gè)思路，我們發(fā)現(xiàn)最有效的ensemble方法依舊是直接對(duì)所有模型結(jié)果進(jìn)行nms，只是需要把閾值從0.5改為0.6。改閾值后的ensemble能帶來近1個(gè)點(diǎn)JI的提升。最終我們用來ensemble的5個(gè)模型為:

• Cascade + DCN + SENet154
• Cascade + DCN + SENet154 + RepContext
• Cascade + DCN + SENet154 + RepContext + Cityperson
• Cascade + DCN + SENet154 + RepContext + coco pretrain
• Cascade + DCN + SEResNeXt101 + RepContext

一點(diǎn)小遺憾：我們?cè)谠缙趪L試過提交SENet154的test結(jié)果，發(fā)現(xiàn)了test與val set難度嚴(yán)重不匹配的問題。隨后的實(shí)驗(yàn)中，我們根據(jù)dt bboxes num從val set里篩選出了一個(gè)與test set分布看起來一致的val subset，后續(xù)調(diào)試JI的閾值也都是在val subset上試的。再之后的3次test提交我們才發(fā)現(xiàn)，val subset的閾值與test set的閾值依然存在嚴(yán)重不一致的狀況。一共只有5次test提交機(jī)會(huì)，早先浪費(fèi)的1次和用掉發(fā)現(xiàn)規(guī)律的3次之后，只剩最后一次了。最后一次我們選擇了求穩(wěn)，獲得了0.4的漲點(diǎn)，但同時(shí)也意識(shí)到，如果有足夠的提交次數(shù)，現(xiàn)有模型依舊有0.6個(gè)點(diǎn)左右的提升空間，算是個(gè)不大不小的遺憾。

一些小吐槽

上文trick探討中，有時(shí)會(huì)以JI為指標(biāo)，有時(shí)會(huì)以mMR為指標(biāo)，看起來會(huì)有些混亂。其實(shí)不是故意這么換來換去。5月30日之前，官方提交的JI指標(biāo)都有bug（競賽截止日期是北京時(shí)間6月13日），我們沒法根據(jù)JI來衡量模型的好壞，而當(dāng)bug free的JI代碼release之后，便沒有針對(duì)JI進(jìn)行進(jìn)一步調(diào)參了，都用了最優(yōu)于mMR的超參，實(shí)際這是不太合適的。另外crowdhuman還會(huì)帶來一些工程上的問題，比如gt bbox與anchor的overlap矩陣過大，導(dǎo)致SENet154訓(xùn)練的時(shí)候會(huì)爆內(nèi)存等等，嘗試解決這些問題為這個(gè)比賽添加了些額外的樂趣。。。

總結(jié)寫完，比賽就徹底翻篇兒了

我們團(tuán)隊(duì)被收錄的論文:

PS-RCNN: Detecting Secondary Human Instances in a Crowd via Primary Object Suppression

https://arxiv.org/abs/2003.07080

NMS by Representative Region: Towards Crowded Pedestrian Detection by Proposal Pairing

https://arxiv.org/abs/2003.12729

以及最近籌建的一個(gè)目標(biāo)檢測(cè)答疑微信群，二維碼失效的話請(qǐng)加微信: xraft2226：

------

2020-03-31:

插播廣告：我們后續(xù)在CrowdHuman上又做了些嘗試，相關(guān)結(jié)果已被收入至2020年的CVPR和ICME，兩篇論文的鏈接在文末。

比賽經(jīng)驗(yàn)的視頻分享:

【智源-曠視科技】2019冠軍團(tuán)隊(duì)經(jīng)驗(yàn)分享 | 2020 CrowdHuman 人體檢測(cè)大賽經(jīng)驗(yàn)分享：

https://www.bilibili.com/video/BV1g5411W7Bo?from=search&seid=17939842903110119715

參考：