anchor-free對象檢測網(wǎng)絡(luò)CornerNet詳解

主要是兩類對象檢測方法

一類是以Faster-RCNN/Mask-RCNN為代表的two-stage檢測器，第一階段通過RPN網(wǎng)絡(luò)產(chǎn)生大量的推薦區(qū)域，第二階段通過對這些區(qū)域分類輸出實現(xiàn)對象檢測。這類方法的共同點就是算法精度比較高但是速度比較慢。

另外一類是以SSD/YOLO為代表的one-stage檢測器，它們把對象檢測問題當(dāng)成簡單的回歸問題進行處理，通過CNN網(wǎng)絡(luò)從輸入圖像中學(xué)習(xí)分類屬性與位置信息，這類方法通常準(zhǔn)確率(mAP)都比較低但是相比two-stage的網(wǎng)絡(luò)速度比較快，

這兩類對象檢測網(wǎng)絡(luò)，都是是通過生成或者定義各種比例的anchor來為實現(xiàn)對象檢測服務(wù)。

2.使用一個新池化層corner pooling，幫助網(wǎng)絡(luò)更好的尋找角點

3.在識別精度超過現(xiàn)存的one-stage的網(wǎng)絡(luò)，達(dá)到SOTA。

CornerNet網(wǎng)絡(luò)結(jié)構(gòu)

Cornet網(wǎng)絡(luò)使用Hourglass網(wǎng)絡(luò)作為backbone網(wǎng)絡(luò)，后面跟隨兩個預(yù)測模型，分別預(yù)測box的左上角點與右下角點，每個模型包含corner pooling模塊，然后池化特征預(yù)測heatmaps、embeddings、Offsets。

Heatmap的每個通道都是一個二值mask，預(yù)測每個對象關(guān)鍵點對位置信息，而且每個角點都跟其它的角點做一個距離預(yù)測作為embeddings vector，然后相似的嵌入或者屬于同一個box的它們之間的距離是小的，這樣就會生成anchor box，得到預(yù)測的結(jié)果。

訓(xùn)練預(yù)測兩個嵌入的相似性即可得到最終的anchor-box。為了得到更好的檢測框，網(wǎng)絡(luò)也預(yù)測anchor-box的offset，這樣可以生成調(diào)整后的最終檢測框。最后網(wǎng)絡(luò)在輸出的對象檢測框的基礎(chǔ)上通過NMS處理就得到了最終的檢測框。

對每個角點，都有個正確標(biāo)注位置信息，其它都是負(fù)樣本，為了平衡正負(fù)樣本的比例，作者只對正樣本指定半徑周圍負(fù)樣本考慮在訓(xùn)練環(huán)節(jié)，圖示如下：

首先看下圖

分別在水平與垂直放心求最大值，然后再疊加，得到輸出的結(jié)果，需要特別方向是自底向上，從右到左。更詳解的圖解如下：

如果是求右下角點，則方向相反。

預(yù)測模型

預(yù)測模型結(jié)構(gòu)如下：

從backbone網(wǎng)絡(luò)出來是接殘差block，不過這里是把卷積替換成Corner-Pooling模塊，然后緊跟一個3x3卷積之后進行多路輸出。

測試結(jié)果：

論文

https://arxiv.org/pdf/1808.01244.pdf

代碼：

https://github.com/princeton-vl/CornerNet

參考：

https://opencv.org/latest-trends-of-object-detection-from-cornernet-to-centernet-explained-part-i-cornernet/

下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講
在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講
在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~