2020年，在深度學(xué)習(xí)目標(biāo)檢測領(lǐng)域誕生了yolov4,yolov5和nanodet這些優(yōu)秀的檢測模型，有許多的微信公眾號報(bào)道這些算法模型。深度學(xué)習(xí)目標(biāo)檢測方法可劃分為 Anchor-base 和 Anchor-free 兩大類，nanodet是一個(gè)速度超快和輕量級的移動端 Anchor-free 目標(biāo)檢測模型,并且它的精度不亞于yolo系列的。

nanodet通過一些論文里的trick組合起來得到了一個(gè)兼顧精度、速度和體積的檢測模型。作者用到的一些trick，主要參考自：(1)參考FCOS 式的單階段 anchor-free 目標(biāo)檢測模型，F(xiàn)COS特點(diǎn)是讓模型學(xué)習(xí)feature map中每個(gè)位置到檢測框的四條邊的距離，如下圖所示。

(2)使用 ATSS 進(jìn)行目標(biāo)采樣，該方法提出了自適應(yīng)訓(xùn)練樣本選擇方法，該方法根據(jù)目標(biāo)的統(tǒng)計(jì)特征（方差和均值）自動劃分正訓(xùn)練樣本和負(fù)訓(xùn)練樣本，彌合了基于錨的探測器與無錨探測器之間的差距。(3)使用 Generalized Focal Loss 損失函數(shù)執(zhí)行分類和邊框回歸（box regression），該函數(shù)能夠去掉 FCOS 的 Centerness 分支，省去這一分支上的大量卷積，從而減少檢測頭的計(jì)算開銷。

為了達(dá)到輕量化的目的，作者在設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，使用 ShuffleNetV2 1.0x 作為骨干網(wǎng)絡(luò)，他去掉了該網(wǎng)絡(luò)的最后一層卷積，并且抽取 8、16、32 倍下采樣的特征輸入到 PAN 中做多尺度的特征融合。

在FPN模塊里，去掉所有卷積，只保留從骨干網(wǎng)絡(luò)特征提取后的 1x1 卷積來進(jìn)行特征通道維度的對齊，上采樣和下采樣均使用插值來完成。與 YOLO 使用的 concat操作不同，項(xiàng)目作者選擇將多尺度的 Feature Map 直接相加，使整個(gè)特征融合模塊的計(jì)算量變得非常小。

在檢測頭模塊里，使用了共享權(quán)重的檢測頭，即對 FPN 出來的多尺度 Feature Map 使用同一組卷積預(yù)測檢測框，然后每一層使用一個(gè)可學(xué)習(xí)的 Scale 值作為系數(shù)，對預(yù)測出來的框進(jìn)行縮放。與此同時(shí)，使用了 Group Normalization（GN）作為歸一化方式.FCOS 的檢測頭使用了 4 個(gè) 256 通道的卷積作為一個(gè)分支，也就是說在邊框回歸和分類兩個(gè)分支上一共有 8 個(gè) c=256 的卷積，計(jì)算量非常大。為了將其輕量化，項(xiàng)目作者首先選擇用深度可分離卷積替換普通卷積，并且將卷積堆疊的數(shù)量從 4 個(gè)減少為 2 組。在通道數(shù)上，將 256 維壓縮至 96 維，之所以選擇 96，是因?yàn)樾枰獙⑼ǖ罃?shù)保持為 8 或 16 的倍數(shù)，能夠享受到大部分推理框架的并行加速。

最后，項(xiàng)目作者借鑒了 YOLO 系列的做法，將邊框回歸和分類使用同一組卷積進(jìn)行計(jì)算，然后 split 成兩份。最后，項(xiàng)目作者借鑒了 YOLO 系列的做法，將邊框回歸和分類使用同一組卷積進(jìn)行計(jì)算，然后 split 成兩份，這樣就組成了nanodet網(wǎng)絡(luò)。

作者把nanodet發(fā)布在github上，項(xiàng)目地址：?https://github.com/RangiLyu/nanodet，下載代碼和模型文件到本地，按照README文檔運(yùn)行一個(gè)前向推理程序。接下來，我閱讀前向推理主程序demo.py文件，嘗試?yán)斫庠谶\(yùn)行這個(gè)主程序時(shí)需要調(diào)用哪些函數(shù)和.py文件。在前向推理主程序demo.py文件，對一幅圖片做目標(biāo)檢測是在Predictor類的成員函數(shù)inference里實(shí)現(xiàn)的，它里面包含了對輸入圖片做預(yù)處理preprocess，前向計(jì)算forward和后處理postprocess這三個(gè)步驟。Predictor類的定義如下圖所示

對輸入原圖做預(yù)處理，預(yù)處理模塊是使用Pipeline類實(shí)現(xiàn)，對應(yīng)的代碼是

看到這段代碼時(shí)，我有些懵逼了。第一次見到functools.partial這個(gè)模塊，我百度查了一下它的作用是包裝函數(shù)，接著看warp_resize函數(shù)，這個(gè)函數(shù)對應(yīng)的代碼很復(fù)雜，里面有多個(gè)if條件判斷，調(diào)用了多個(gè)自定義函數(shù)。限于篇幅，在這里展示部分截圖代碼，如下圖所示

從代碼不難猜測出warp_resize函數(shù)的作用是對原圖做resize，于是我把warp_resize函數(shù)返回的圖像做可視化并打印出圖像的尺寸是高寬：320x320，可視化結(jié)果如下圖所示。

從圖中可以看到，warp_resize函數(shù)是保持原圖高寬比的resize，短邊剩下的部分用黑色像素填充。這種功能在ultralytics的yolov3和yolov5代碼倉庫里有一個(gè)letterbox函數(shù)實(shí)現(xiàn)的，在letterbox函數(shù)使用opencv庫里的resize和copyMakeBorder就可以實(shí)現(xiàn)保持高寬比的resize，這種方法簡潔明了。接著我對warp_resize函數(shù)和letterbox函數(shù)對同一幅圖片做保持原圖高寬比的resize的結(jié)果比較?？梢暬Y(jié)果如下，從視覺上看不出它們有何差異。把這兩幅圖的像素矩陣做減法比較，發(fā)現(xiàn)它們并不等于0，也是是說它們的像素值還是有差異的。

接著看預(yù)處理模塊Pipeline類里的第二個(gè)函數(shù)color_aug_and_norm，代碼截圖如下。可以看出，這個(gè)函數(shù)的作用是對輸入圖片的RGB三通道分別做減均值除以標(biāo)準(zhǔn)差的操作，不過在最開始對img除以255,在最后對均值和標(biāo)準(zhǔn)差分別除以255，這三次除以255是完全沒必要的，因?yàn)樵谧詈笠徊?(img - mean) / std，分子分母可以約掉1/255，這和img,mean,std不做除以255這一步計(jì)算，直接(img - mean) / std是等價(jià)的。

綜上所述，在預(yù)處理模塊Pipeline類包含了很多冗余的計(jì)算，圖像預(yù)處理本身是一個(gè)簡單問題，但是在官方代碼里卻把簡單問題搞復(fù)雜化了。

官方代碼倉庫(https://github.com/RangiLyu/nanodet)里提供了基于 ncnn 推理框架的實(shí)現(xiàn)，基于mnn，libtorch,openvino的實(shí)現(xiàn)，但是沒有基于Opencv的dnn模塊的實(shí)現(xiàn)。于是我就編寫一套基于Opencv的dnn模塊的實(shí)現(xiàn)，程序里包含Python和C++兩個(gè)版本的代碼。

地址是：?

https://github.com/hpc203/nanodet-opncv-dnn-cpp-python

在這套程序里，圖像預(yù)處理模塊沿用了ultralytics代碼倉庫里的letterbox函數(shù)使用opencv庫里的resize和copyMakeBorder就可以實(shí)現(xiàn)保持高寬比的resize。此外，在網(wǎng)上有很多介紹nanodet網(wǎng)絡(luò)結(jié)構(gòu)的文章，但是在文章里沒有對nanodet后處理模塊做詳細(xì)介紹的。因此，在編寫這套程序時(shí)，我最關(guān)注的是nanodet的后處理模塊，在nanodet網(wǎng)絡(luò)輸出之后，經(jīng)過怎樣的矩陣計(jì)算之后得到檢測框的左上和右下兩個(gè)頂點(diǎn)的坐標(biāo)(x,y)的值的。接下來，我結(jié)合代碼來理解后處理模塊的運(yùn)行原理。首先，原圖經(jīng)過預(yù)處理之后形成一個(gè)320x320的圖片作為nanodet網(wǎng)絡(luò)的輸入，經(jīng)過forward前向計(jì)算后會得到40x40，20x20，10x10這三種尺度的特征圖（換言之就是原圖縮小8倍，16倍，32倍），在程序代碼里設(shè)斷點(diǎn)調(diào)試，查看中間變量，截圖如下：

從上圖可以看到，經(jīng)過forward前向計(jì)算后，有6個(gè)輸出矩陣。第1個(gè)輸出的維度是(1600,80)，它對應(yīng)的是40x40的特征圖(拉平后是長度為1600的向量，也就是說一共有1600個(gè)像素點(diǎn))里的每個(gè)像素點(diǎn)在coco數(shù)據(jù)集的80個(gè)類別里的每個(gè)類的置信度。第2個(gè)輸出的維度是(1600,32)，它對應(yīng)的是40x40的特征圖(拉平后是長度為1600的向量，也就是說一共有1600個(gè)像素點(diǎn))里的每個(gè)像素點(diǎn)的檢測框的預(yù)測偏移量，可以看到這個(gè)預(yù)測偏移量是一個(gè)長度為32的向量，它可以分成4份，每份向量的長度為8，接下來的第3，4，5，6個(gè)輸出矩陣的意義以此類推。

前面講到過nanodet的特點(diǎn)是讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)feature map中每個(gè)位置到檢測框的四條邊的距離，接下來我們繼續(xù)在程序里設(shè)斷點(diǎn)調(diào)試，來理解這4份長度為8的預(yù)測偏移量是如何經(jīng)過一系列的矩陣計(jì)算后得到到檢測框的四條邊的距離。代碼截圖如下：

從上圖可以看到，把形狀為(1600,32)的矩陣reshape成(6400,8)的矩陣bbox_pred，其實(shí)就等同于把每一行切分成4份組成新的矩陣，然后做softmax變換，把數(shù)值歸一化到0至1的區(qū)間內(nèi)。繼續(xù)調(diào)試接下來的一步，代碼截圖如下：

可以看到project是一個(gè)長度8的向量,元素值是從0到7。形狀為(6400,8)的矩陣bbox_pred與向量project做乘法得到6400的列向量，然后reshape為(1600,4)的矩陣，接下來乘以縮放步長。這時(shí)候就得到的形狀為(1600,4)的矩陣bbox_pred，它的幾何意義就是40x40的特征圖里的每個(gè)像素點(diǎn)到檢測框的四條邊的距離。有了這個(gè)值之后，接下來的計(jì)算就簡單了，在此不做詳細(xì)講述，可以參閱我的代碼。簡單來說就是計(jì)算特征圖的每個(gè)像素點(diǎn)在coco數(shù)據(jù)集里的80類里的最大score值作為類別置信度，然后把特征圖的所有像素點(diǎn)的類別置信度從高到低排序，取前topk個(gè)像素點(diǎn)，然后根據(jù)上一步計(jì)算出的到檢測框四條邊的距離換算出檢測框的左上和右下兩個(gè)頂點(diǎn)的(x,y)值，最后做NMS去除重疊的檢測框。為了更好的理解從nanodet輸出特征圖到最終計(jì)算出目標(biāo)檢測框的左上和右下頂點(diǎn)坐標(biāo)(x,y)值的這個(gè)過程，我在草稿紙上畫圖演示，如下所示：

在編寫完調(diào)用opencv的做nanodet目標(biāo)檢測的程序后，為了驗(yàn)證程序的有效性，從COCO數(shù)據(jù)集里選取幾張圖片測試并且與官方代碼做比較，官方代碼是用python編寫的調(diào)用pytorch框架做目標(biāo)檢測的。結(jié)果如下，左邊的圖是官方代碼的可視化結(jié)果，右邊的圖是opencv做nanodet目標(biāo)檢測的可視化結(jié)果。

把官方代碼和我編寫的代碼做了一個(gè)性能比較的實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境是ubuntu系統(tǒng)，8G顯存的gpu機(jī)器。在實(shí)驗(yàn)中讀取一個(gè)視頻文件，對視頻里的每一幀做目標(biāo)檢測，分別運(yùn)行官方的調(diào)用pytorch框架做目標(biāo)檢測的python代碼和我編寫的調(diào)用opencv做目標(biāo)檢測的python代碼，在terminal終端輸入top查看這兩個(gè)程序運(yùn)行時(shí)占用的內(nèi)存,截圖如下。第一行是opencv做nanodet目標(biāo)檢測程序運(yùn)行時(shí)占用的內(nèi)存，第二行是官方代碼運(yùn)行時(shí)占用的內(nèi)存，可以看到使用opencv做nanodet目標(biāo)檢測對內(nèi)存的消耗明顯要低于官方代碼的pytorch框架做nanodet目標(biāo)檢測的。