序言

目標(biāo)檢測(cè)篇面試知識(shí)點(diǎn)總結(jié)，自問(wèn)自答，學(xué)習(xí)、記錄、分享和復(fù)習(xí)。

一、目標(biāo)檢測(cè)篇

1. 介紹YOLO，并且解釋一下YOLO為什么可以這么快？

yolo是單階段檢測(cè)算法的開山之作，最初的yolov1是在圖像分類網(wǎng)絡(luò)的基礎(chǔ)上直接進(jìn)行的改進(jìn)，摒棄了二階段檢測(cè)算法中的RPN操作，直接對(duì)輸入圖像進(jìn)行分類預(yù)測(cè)和回歸，所以它相對(duì)于二階段的目標(biāo)檢測(cè)算法而言，速度非常的快，但是精度會(huì)低很多；但是在迭代到目前的V4、V5版本后，yolo的精度已經(jīng)可以媲美甚至超過(guò)二階段的目標(biāo)檢測(cè)算法，同時(shí)保持著非?？斓乃俣?，是目前工業(yè)界內(nèi)最受歡迎的算法之一。yolo的核心思想是將輸入的圖像經(jīng)過(guò)backbone特征提取后，將的到的特征圖劃分為S x S的網(wǎng)格，物體的中心落在哪一個(gè)網(wǎng)格內(nèi)，這個(gè)網(wǎng)格就負(fù)責(zé)預(yù)測(cè)該物體的置信度、類別以及坐標(biāo)位置。

2. 介紹一下YOLOv3的原理？

yolov3采用了作者自己設(shè)計(jì)的darknet53作為主干網(wǎng)絡(luò)，darknet53借鑒了殘差網(wǎng)絡(luò)的思想，與resnet101、resnet152相比，在精度上差不多的同時(shí)，有著更快的速度，網(wǎng)絡(luò)里使用了大量的殘差跳層連接，并且拋棄了pooling池化操作，直接使用步長(zhǎng)為2的卷積來(lái)實(shí)現(xiàn)下采樣。在特征融合方面，為了加強(qiáng)小目標(biāo)的檢測(cè)，引入了類似與FPN的多尺度特征融合，特征圖在經(jīng)過(guò)上采樣后與前面層的輸出進(jìn)行concat操作，淺層特征和深層特征的融合，使得yolov3在小目標(biāo)的精度上有了很大的提升。yolov3的輸出分為三個(gè)部分，首先是置信度、然后是坐標(biāo)信息，最后是分類信息。在推理的時(shí)候，特征圖會(huì)等分成S x S的網(wǎng)格，通過(guò)設(shè)置置信度閾值對(duì)格子進(jìn)行篩選，如果某個(gè)格子上存在目標(biāo)，那么這個(gè)格子就負(fù)責(zé)預(yù)測(cè)該物體的置信度、坐標(biāo)和類別信息。

3. YOLO、SSD和Faster-RCNN的區(qū)別，他們各自的優(yōu)勢(shì)和不足分別是什么？

YOLO、SSD和Faster-RCNN都是目標(biāo)檢測(cè)領(lǐng)域里面非常經(jīng)典的算法，無(wú)論是在工業(yè)界還是學(xué)術(shù)界，都有著深遠(yuǎn)的影響；Faster-RCNN是基于候選區(qū)域的雙階段檢測(cè)器代表作，而YOLO和SSD則是單階段檢測(cè)器的代表；在速度上，單階段的YOLO和SSD要比雙階段的Faster-RCNN的快很多，而YOLO又比SSD要快，在精度上，F(xiàn)aster-RCNN精度要優(yōu)于單階段的YOLO和SSD；不過(guò)這也是在前幾年的情況下，目標(biāo)檢測(cè)發(fā)展到現(xiàn)在，單階段檢測(cè)器精度已經(jīng)不虛雙階段，并且保持著非?？斓乃俣?，現(xiàn)階段SSD和Faster-RCNN已經(jīng)不更了，但是YOLO仍在飛快的發(fā)展，目前已經(jīng)迭代到V4、V5，速度更快，精度更高，在COCO精度上雙雙破了50map，這是很多雙階段檢測(cè)器都達(dá)不到的精度，而最近的Scale yolov4更是取得了55map，成功登頂榜首。當(dāng)然雖然SSD和Faster-RCNN已經(jīng)不更了，但是有很多他們相關(guān)的變體，同樣有著不錯(cuò)的精度和性能，例如Cascade R-CNN、RefineDet等等。

4. 介紹一下CenterNet的原理，它與傳統(tǒng)的目標(biāo)檢測(cè)有什么不同點(diǎn)？

CenterNet是屬于anchor-free系列的目標(biāo)檢測(cè)算法的代表作之一，與它之前的目標(biāo)算法相比，速度和精度都有不小的提高，尤其是和yolov3相比，在速度相同的情況下，CenterNet精度要比yolov3高好幾個(gè)點(diǎn)。它的結(jié)構(gòu)非常的簡(jiǎn)單，而且不需要太多了后處理，連NMS都省了，直接檢測(cè)目標(biāo)的中心點(diǎn)和大小，實(shí)現(xiàn)了真正的anchor-free。CenterNet論文中用到了三個(gè)主干網(wǎng)絡(luò)：ResNet-18、DLA-34和Hourglass-104，實(shí)際應(yīng)用中，也可以使用resnet-50等網(wǎng)絡(luò)作為backbone；

CenterNet的算法流程是：一張512512（1x3x512x512）的圖片輸入到網(wǎng)絡(luò)中，經(jīng)過(guò)backbone特征提取后得到下采樣32倍后的特征圖（1x2048x16x16），然后再經(jīng)過(guò)三層反卷積模塊上采樣到128128的尺寸，最后分別送入三個(gè)head分支進(jìn)行預(yù)測(cè)：分別預(yù)測(cè)物體的類別、長(zhǎng)寬尺寸和中心點(diǎn)偏置。其中推理的核心是從headmap中提取需要的bounding box，通過(guò)使用3*3的最大池化，檢查當(dāng)前熱點(diǎn)的值是否比周圍的8個(gè)臨近點(diǎn)值都大，每個(gè)類別取100個(gè)這樣的點(diǎn)，經(jīng)過(guò)box后處理后再進(jìn)行閾值篩選，得到最終的預(yù)測(cè)框。

5. CenterNet中heatmap（熱力圖）如何生成？

heatmap的生成可以通過(guò)高斯核公式來(lái)理解，其中(x，y)為待檢測(cè)圖像中枚舉的步長(zhǎng)塊位置，(px，py)為低分辨率圖像中對(duì)應(yīng)于GT關(guān)鍵點(diǎn)的坐標(biāo)?？梢钥闯?，當(dāng)枚舉塊的位置和GT關(guān)鍵點(diǎn)坐標(biāo)接近重合的時(shí)候，高斯核輸出值接近為1；當(dāng)枚舉塊位置和GT關(guān)鍵點(diǎn)相差很大時(shí)，高斯核輸出值接近為0.這樣一來(lái)經(jīng)過(guò)高斯核映射后的每個(gè)關(guān)鍵點(diǎn)（塊）高斯熱圖為：

每個(gè)點(diǎn)的范圍是0-1，而1則代表 這個(gè)目標(biāo)的中心點(diǎn)，也就是要預(yù)測(cè)學(xué)習(xí)的點(diǎn)，該點(diǎn)處為最大值，沿著半徑向外按高斯函數(shù)遞減 。一個(gè)類別對(duì)應(yīng)一張heatmap，80個(gè)類別則有80張heatmap，若還有一只狗，則狗的keypoint再另一張heatmap上。

6. 你知道哪些邊緣端部署的方案？

目前大多數(shù)深度學(xué)習(xí)算法模型要落地對(duì)算力要求還是比較高的，如果在服務(wù)器上，可以使用GPU進(jìn)行加速，但是在邊緣端或者算力匱乏的開發(fā)板子上，不得不對(duì)模型進(jìn)一步的壓縮或者改進(jìn)，也可以針對(duì)特定的場(chǎng)景使用市面上現(xiàn)有的推理優(yōu)化加速框架進(jìn)行推理。目前來(lái)說(shuō)比較常見(jiàn)的幾種部署方案為：

nvidia GPU：pytorch->onnx->TensorRT

intel CPU：pytorch->onnx->openvino

移動(dòng)端（手機(jī)、開發(fā)板等）：pytorch->onnx->MNN、NCNN、TNN、TF-lite、Paddle-lite、RKNN等

7. 你最常用的幾種目標(biāo)檢測(cè)算法是什么？為什么選擇這些算法，你選擇它們的場(chǎng)景分別是什么？

在工作中，我通常會(huì)根據(jù)不同的任務(wù)選取不同的算法模型：

• 目標(biāo)檢測(cè)：yolov5、yolov3、CenterNet、SSD、Faster RCNN、EfficientDet；

• 圖像分類：mobileNetv2、mobileNetv3、ghostNet、ResNet系列、ShuffleNetV2、EfficientNet；

• 實(shí)例分割：mask-rcnn、yolact、solo；

• 語(yǔ)義分割：deeplabv3、deeplabv3+、UNet；

• 文本檢測(cè)：CTPN、PSENet、DBNet、YOLOV5；

• 文本識(shí)別：CRNN+CTC、CRNN+Attention；

通常，我比較喜歡性能好的模型，性能的指標(biāo)由兩部分，一個(gè)是精度，一個(gè)是速度。比如在目標(biāo)檢測(cè)中，用的比較多的是yolo系列，特別是v4、v5出來(lái)后。通常在圖像分類的任務(wù)上，分類并不困難的情況下會(huì)選擇一些輕量型的網(wǎng)絡(luò)，能夠一定程度上節(jié)省算力資源。其他領(lǐng)域的任務(wù)算法抉擇也大同小異。

8. 介紹一下yolov5

yolov5和v4都是在v3基礎(chǔ)上改進(jìn)的，性能與v4基旗鼓相當(dāng)，但是從用戶的角度來(lái)說(shuō)，易用性和工程性要優(yōu)于v4，v5的原理可以分為四部分：

輸入端、backbone、Neck、輸出端；輸入端：針對(duì)小目標(biāo)的檢測(cè)，沿用了v4的mosaic增強(qiáng)，當(dāng)然這個(gè)也是v5作者在他復(fù)現(xiàn)的v3上的原創(chuàng)，對(duì)不同的圖片進(jìn)行隨機(jī)縮放、裁剪、排布后進(jìn)行拼接；二是自適應(yīng)錨框計(jì)算，在v3、v4中，初始化錨框是通過(guò)對(duì)coco數(shù)據(jù)集的進(jìn)行聚類得到，v5中將錨框的計(jì)算加入了訓(xùn)練的代碼中，每次訓(xùn)練時(shí)，自適應(yīng)的計(jì)算不同訓(xùn)練集中的最佳錨框值；

backbone：沿用了V4的CSPDarkNet53結(jié)構(gòu)，但是在圖片輸入前加入了Focus切片操作，CSP結(jié)構(gòu)實(shí)際上就是基于Densnet的思想，復(fù)制基礎(chǔ)層的特征映射圖，通過(guò)dense block發(fā)送到下一個(gè)階段，從而將基礎(chǔ)層的特征映射圖分離出來(lái)。這樣可以有效緩解梯度消失問(wèn)題，支持特征傳播，鼓勵(lì)網(wǎng)絡(luò)重用特征，從而減少網(wǎng)絡(luò)參數(shù)數(shù)量。在V5中，提供了四種不同大小的網(wǎng)絡(luò)結(jié)構(gòu)：s、m、l、x，通過(guò)depth（深度）和width（寬度）兩個(gè)參數(shù)控制。

Neck：采用了SPP+PAN多尺度特征融合，PAN是一種自下而上的特征金字塔結(jié)構(gòu)，是在FPN的基礎(chǔ)上進(jìn)行的改進(jìn)，相對(duì)于FPN有著更好的特征融合效果。

輸出端：沿用了V3的head，使用GIOU損失進(jìn)行邊框回歸，輸出還是三個(gè)部分：置信度、邊框信息、分類信息。

9. 在你的項(xiàng)目中為什么選用yolov5模型而不用v4？

yolov4和v5都是yolo系列性能非常優(yōu)秀的算法，性能上不分伯仲，而且最近出來(lái)的scale yolov4更是達(dá)到了55的map。在項(xiàng)目中選擇v5的原因是因?yàn)樵趘4、v5出來(lái)之前，就一直在用U版的yolov3，相對(duì)于原版的v3，做了很多改進(jìn)，而V5是在這個(gè)hub的基礎(chǔ)上改進(jìn)的，用起來(lái)上手比較快，而且代碼和之前的v3相似度很高，可以無(wú)縫對(duì)接以前的項(xiàng)目。另一方面，v5可選的模型比較多，在速度和精度上對(duì)比v4有一定的優(yōu)勢(shì)，而且模型采用半精度存儲(chǔ)，模型很小，訓(xùn)練和推理上都很友好。通常用s或者m版本的基本上都可以滿足項(xiàng)目需求。

比較官方一點(diǎn)的回答：

• 使用Pytorch框架，對(duì)用戶非常友好，能夠方便地訓(xùn)練自己的數(shù)據(jù)集，相對(duì)于YOLOV4采用的Darknet框架，Pytorch框架更容易投入生產(chǎn)。

• 代碼易讀，整合了大量的計(jì)算機(jī)視覺(jué)技術(shù)，非常有利于學(xué)習(xí)和借鑒。

• 不僅易于配置環(huán)境，模型訓(xùn)練也非?？焖伲⑶遗幚硗评懋a(chǎn)生實(shí)時(shí)結(jié)果。

• 能夠直接對(duì)單個(gè)圖像，批處理圖像，視頻甚至網(wǎng)絡(luò)攝像頭端口輸入進(jìn)行有效推理。

• 能夠輕松的將Pytorch權(quán)重文件轉(zhuǎn)化為安卓使用的ONXX格式，然后可以轉(zhuǎn)換為OPENCV的使用格式，或者通過(guò)CoreML轉(zhuǎn)化為IOS格式，直接部署到手機(jī)應(yīng)用端。

• 最后YOLO V5s高達(dá)140FPS的對(duì)象識(shí)別速度令人印象非常深刻，使用體驗(yàn)非常棒。

10. 介紹yolov5中Focus模塊的原理和作用

Focus模塊，將W、H信息集中到通道空間，輸入通道擴(kuò)充了4倍，作用是可以使信息不丟失的情況下提高計(jì)算力。具體操作為把一張圖片每隔一個(gè)像素拿到一個(gè)值，類似于鄰近下采樣，這樣我們就拿到了4張圖，4張圖片互補(bǔ)，長(zhǎng)的差不多，但信息沒(méi)有丟失，拼接起來(lái)相當(dāng)于RGB模式下變?yōu)?2個(gè)通道，通道多少對(duì)計(jì)算量影響不大，但圖像縮小，大大減少了計(jì)算量。

以Yolov5s的結(jié)構(gòu)為例，原始640×640×3的圖像輸入Focus結(jié)構(gòu)，采用切片操作，先變成320×320×12的特征圖，再經(jīng)過(guò)一次32個(gè)卷積核的卷積操作，最終變成320×320×32的特征圖。

11.yolov4和v5均引入了CSP結(jié)構(gòu)，介紹一下它的原理和作用；

CSP結(jié)構(gòu)是一種思想，它和ResNet、DenseNet類似，可以看作是DenseNet的升級(jí)版，它將feature map拆成兩個(gè)部分，一部分進(jìn)行卷積操作，另一部分和上一部分卷積操作的結(jié)果進(jìn)行concate。主要解決了三個(gè)問(wèn)題：1. 增強(qiáng)CNN的學(xué)習(xí)能力，能夠在輕量化的同時(shí)保持著準(zhǔn)確性；2. 降低計(jì)算成本；3. 降低內(nèi)存開銷。CSPNet改進(jìn)了密集塊和過(guò)渡層的信息流，優(yōu)化了梯度反向傳播的路徑，提升了網(wǎng)絡(luò)的學(xué)習(xí)能力，同時(shí)在處理速度和內(nèi)存方面提升了不少。

12. 你還了解當(dāng)下哪些比較流行的目標(biāo)檢測(cè)算法？

目前比較流行的目標(biāo)檢測(cè)算法有以下幾種類型，不局限于這幾種：

• anchor-based： yolov3、yolov4、yolov5、pp-yolo、SSD、Faster-R-CNN、Cascade R-CNN、EfficientDet，RetinaNet、MTCNN；

• anchor-free： CornerNet、CenterNet、CornerNet-lite、FCOS；

• transform： DETR；

• mobile-detector： mobileNet-yolo、mobileNet-SSD、tiny-yolo、nanodet、yolo-fastest、YOLObile、mobilenet-retinaNet、MTCNN；

還有很多很多。。。mmdetection里面就實(shí)現(xiàn)了幾十種，可以去看一看，這里面最想總結(jié)的是移動(dòng)端的det，很多都是一些大佬在原生算法基礎(chǔ)上的改進(jìn)，有時(shí)間出一篇文章專門記錄這個(gè)類型的檢測(cè)器。

13. EfficentDet為什么可以做到速度兼精度并存 ？

14. 介紹Faster R-CNN和Cascade R-CNN

Faster-RCNN是基于候選區(qū)域的雙階段檢測(cè)器代表作，總的來(lái)說(shuō)可以分為四部分：首先是主干卷積網(wǎng)絡(luò)的特征提取，然后是RPN層，RPN層通過(guò)softmax判斷anchors屬于positive或者negative，再利用邊框回歸修正anchors獲得精確的候選區(qū)域，RPN生成了大量的候選區(qū)域，這些候選區(qū)域和feature maps一起送入ROI pooling中，得到了候選特征區(qū)域，最后送入分類層中進(jìn)行類別判斷和邊框回歸，得到最終的預(yù)測(cè)結(jié)果。

Cascade R-CNN算法是在Faster R-CNN上的改進(jìn)，通過(guò)級(jí)聯(lián)幾個(gè)檢測(cè)網(wǎng)絡(luò)達(dá)到不斷優(yōu)化預(yù)測(cè)結(jié)果的目的，預(yù)普通的級(jí)聯(lián)不同，Cascade R-CNN的幾個(gè)檢測(cè)網(wǎng)絡(luò)是基于不同的IOU閾值確定的正負(fù)樣本上訓(xùn)練得到的。簡(jiǎn)單來(lái)說(shuō)cascade R-CNN是由一系列的檢測(cè)模型組成，每個(gè)檢測(cè)模型都基于不同IOU閾值的正負(fù)樣本訓(xùn)練得到，前一個(gè)檢測(cè)模型的輸出作為后一個(gè)檢測(cè)模型的輸入，因此是stage by stage的訓(xùn)練方式，而且越往后的檢測(cè)模型，其界定正負(fù)樣本的IOU閾值是不斷上升的。

15. SSD相比于YOLO做了哪些改進(jìn)？

這里說(shuō)的是SSD相對(duì)于YOLOv1的改進(jìn)，因?yàn)楝F(xiàn)在SSD已經(jīng)不更了，但是YOLO還如日中天，已經(jīng)發(fā)展到v5，性能在目標(biāo)檢測(cè)算法里一騎絕塵。那么最原始的SSD相對(duì)于YOLOv1做了哪些改進(jìn)呢？

• SSD提取了不同尺度的特征圖來(lái)做檢測(cè)，而YOLO在檢測(cè)是只用了最高層的Feature maps；

• SSD引入了Faster-RCNN的anchor機(jī)制，采用了不同尺度和長(zhǎng)寬比的先驗(yàn)框；

• SSD網(wǎng)絡(luò)結(jié)構(gòu)是全卷積，采用卷積做檢測(cè)，YOLO用到了FC（全連接）層；

16. 介紹SSD原理

SSD算法流程

輸入一幅圖，讓圖片經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)（VGG）提取特征，生成feature map

抽取其中六層的feature map，然后分別在這些feature map層上面的每一個(gè)點(diǎn)構(gòu)造4、個(gè)不同尺度大小的default box，然后分別進(jìn)行檢測(cè)和分類（各層的個(gè)數(shù)不同，但每個(gè)點(diǎn)都有） 將生成的所有default box都集合起來(lái)，全部丟到NMS中，輸出篩選后的default box。

17. 了解哪些開源的移動(dòng)端輕量型目標(biāo)檢測(cè)？

輕量型的目標(biāo)檢測(cè)其實(shí)有很多，大多數(shù)都是基于yolo、SSD的改進(jìn)，當(dāng)然也有基于其他算法改的；比較常用的改進(jìn)方法是使用輕量型的backbone替換原始的主干網(wǎng)絡(luò)，例如mobilenet-ssd、mobilenet-yolov3、yolo-fastest、yolobile、yolo-nano、nanodet、tiny-yolo等等，在減少了計(jì)算量的同時(shí)保持著不錯(cuò)的精度，經(jīng)過(guò)移動(dòng)部署框架推理后，無(wú)論是在服務(wù)器還是移動(dòng)端都有著不錯(cuò)的精度和速度。

18. 對(duì)于小目標(biāo)檢測(cè)，你有什么好的方案或者技巧？

• 圖像金字塔和多尺度滑動(dòng)窗口檢測(cè)（MTCNN）

• 多尺度特征融合檢測(cè)（FPN、PAN、ASFF等）

• 增大訓(xùn)練、檢測(cè)圖像分辨率；

• 超分策略放大后檢測(cè)；

19. 介紹一下NMS和IOU的原理；

NMS全稱是非極大值抑制，顧名思義就是抑制不是極大值的元素。在目標(biāo)檢測(cè)任務(wù)中，通常在解析模型輸出的預(yù)測(cè)框時(shí)，預(yù)測(cè)目標(biāo)框會(huì)非常的多，其中有很多重復(fù)的框定位到了同一個(gè)目標(biāo)，NMS的作用就是用來(lái)除去這些重復(fù)框，從而獲得真正的目標(biāo)框。而NMS的過(guò)程則用到了IOU，IOU是一種用于衡量真實(shí)和預(yù)測(cè)之間相關(guān)度的標(biāo)準(zhǔn)，相關(guān)度越高，該值就越高。IOU的計(jì)算是兩個(gè)區(qū)域重疊的部分除以兩個(gè)區(qū)域的集合部分，簡(jiǎn)單的來(lái)說(shuō)就是交集除以并集。

在NMS中，首先對(duì)預(yù)測(cè)框的置信度進(jìn)行排序，依次取置信度最大的預(yù)測(cè)框與后面的框進(jìn)行IOU比較，當(dāng)IOU大于某個(gè)閾值時(shí)，可以認(rèn)為兩個(gè)預(yù)測(cè)框框到了同一個(gè)目標(biāo)，而置信度較低的那個(gè)將會(huì)被剔除，依次進(jìn)行比較，最終得到所有的預(yù)測(cè)框。

20. 目標(biāo)檢測(cè)單階段和雙階段優(yōu)缺點(diǎn)，雙階段的為什么比單階段的效果要好？

21. 目標(biāo)檢測(cè)中如何處理正負(fù)樣本不平衡的問(wèn)題？

22. yolov3為什么這么快？

yolov3和SSD比網(wǎng)絡(luò)更加深了，雖然anchors比SSD少了許多，但是加深的網(wǎng)絡(luò)深度明顯會(huì)增加更多的計(jì)算量，那么為什么yolov3會(huì)比SSD快3倍？

SSD用的很老的VGG16，V3用的其最新原創(chuàng)的Darknet，darknet-53與resnet的網(wǎng)絡(luò)結(jié)構(gòu)，darknet-53會(huì)先用1x1的卷積核對(duì)feature降維，隨后再利用3x3的卷積核升維，這個(gè)過(guò)程中，就會(huì)大大降低參數(shù)的計(jì)算量以及模型的大小，有點(diǎn)類似于低秩分解。究其原因是做了很多優(yōu)化，比如用卷積替代替代全連接，1X1卷積減小計(jì)算量等。

23. 你認(rèn)為當(dāng)前目標(biāo)檢測(cè)算法發(fā)展的趨勢(shì)是什么？現(xiàn)階段存在什么難點(diǎn)？

24. 你知道哪些模型壓縮和推理優(yōu)化的方案？

如果覺(jué)得有用，就請(qǐng)分享到朋友圈吧！