自動(dòng)駕駛中實(shí)時(shí)車道檢測(cè)和警報(bào)
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
車道檢測(cè)模型
未來十年，自動(dòng)駕駛將徹底改變?nèi)藗兊某鲂蟹绞健Ｄ壳?，自?dòng)駕駛應(yīng)用程序目前正在測(cè)試各種案例，包括客車，機(jī)器人出租車，自動(dòng)商業(yè)運(yùn)輸卡車，智能叉車以及用于農(nóng)業(yè)的自動(dòng)拖拉機(jī)。自動(dòng)駕駛需要計(jì)算機(jī)視覺感知模塊來識(shí)別和導(dǎo)航環(huán)境。此感知模塊的作用是：
車道檢測(cè)
檢測(cè)環(huán)境中的其他物體：車輛，行人，動(dòng)物
跟蹤檢測(cè)到的對(duì)象
預(yù)測(cè)他們可能的運(yùn)動(dòng)
一個(gè)好的感知系統(tǒng)應(yīng)該能夠在各種駕駛條件下（白天/晚上、夏天/冬天、下雨/下雪等）實(shí)時(shí)完成這項(xiàng)工作。在本文中，我們將探究一個(gè)實(shí)時(shí)模型，用于檢測(cè)車道、其他車輛等以及生成警報(bào)。
車道檢測(cè)問題通常被構(gòu)造為語義或?qū)嵗指顔栴}，目的是識(shí)別屬于車道類別的像素。TUSimple是用于車道檢測(cè)任務(wù)的常用數(shù)據(jù)集，這個(gè)數(shù)據(jù)集有3626個(gè)道路場(chǎng)景的注釋視頻剪輯，每個(gè)剪輯有20幀，數(shù)據(jù)都是從安裝在汽車上的攝像機(jī)所捕獲的。下面分享一個(gè)示例圖像及其注釋。
TUSimple數(shù)據(jù)集的樣本圖像和車道注釋
在此數(shù)據(jù)集中，我們可以訓(xùn)練語義分割模型用于分割出屬于車道類別的像素。U-Net模型是一個(gè)理想的模型，因?yàn)樗蔷哂袑?shí)時(shí)推理速度的輕量級(jí)模型。U-Net是一種編碼器-解碼器模型，具有跳過連接編碼器和解碼器塊。模型架構(gòu)如下所示。
U-Net論文中的U-Net模型架構(gòu)?
但是，損失函數(shù)應(yīng)修改為骰子損失系數(shù)。車道線分割問題是一個(gè)極不平衡的數(shù)據(jù)問題，圖像中的大多數(shù)像素都屬于背景類。Dice Loss基于Sorenson-Dice系數(shù)，它對(duì)假陽性和假陰性具有相似的重要性，這使它在數(shù)據(jù)不平衡問題的處理上表現(xiàn)更好。你可以在他們的論文中閱讀有關(guān)Dice Loss的更多信息。Dice Loss嘗試匹配地面真實(shí)情況和預(yù)測(cè)模型中的車道像素，并能夠獲得清晰的邊界預(yù)測(cè)。個(gè)人非常喜歡這個(gè)關(guān)于使用骰子進(jìn)行邊界預(yù)測(cè)的博客。
對(duì)于本文，我使用LaneNet模型生成車道線。LaneNet模型是兩階段車道線預(yù)測(cè)器。第一階段是編碼器-解碼器模型，以創(chuàng)建車道線分割掩碼。第二階段是車道定位網(wǎng)絡(luò)，該車道網(wǎng)絡(luò)將從掩碼中提取的車道點(diǎn)作為輸入，并使用LSTM學(xué)習(xí)預(yù)測(cè)車道點(diǎn)的二次函數(shù)。
下圖顯示了操作的兩個(gè)階段。左圖是原始圖像，中間圖像是第1階段車道注釋的輸出，右圖是第2階段的最終輸出。
LaneNet模型的解釋（論文圖片-https://arxiv.org/pdf/1807.01726.pdf）
我使用了這個(gè)repo中的LaneNet模型實(shí)現(xiàn)。代碼維護(hù)良好，運(yùn)行無錯(cuò)誤。
我將車道的預(yù)測(cè)與對(duì)象檢測(cè)相結(jié)合，以生成智能警報(bào)。這些智能警報(bào)可以：
檢測(cè)車輛的自我車道中是否存在其他車輛并測(cè)量與它們的距離
檢測(cè)相鄰車道中的車輛
識(shí)別彎曲道路的轉(zhuǎn)彎半徑
在這里，我使用YOLO v5來檢測(cè)道路上的汽車和人。如果您有興趣測(cè)試YOLO v5，請(qǐng)?jiān)诖颂幉榭次业牟┛?https://towardsdatascience.com/yolov5-compared-to-faster-rcnn-who-wins-a771cd6c9fb4)
YOLO v5在檢測(cè)道路上的其他車輛方面表現(xiàn)出色，而且推斷時(shí)間也非?？臁?/span>接下來，我們使用YOLO v5來測(cè)量我方車輛與前面最近的車輛之間的距離。模型返回以像素為單位的距離，可以根據(jù)相機(jī)參數(shù)將其轉(zhuǎn)換為米。由于TUSimple數(shù)據(jù)集的相機(jī)參數(shù)未知，因此我根據(jù)車道的標(biāo)準(zhǔn)寬度估算了像素到米的轉(zhuǎn)換。
距離測(cè)量警報(bào)
我們同樣可以計(jì)算車道的曲率半徑，并將其用于汽車的轉(zhuǎn)向模塊。
曲率半徑測(cè)量
在本文中，我們探討了針對(duì)自動(dòng)駕駛中如何準(zhǔn)確而快速地檢測(cè)車道線的問題。然后，我們使用YOLO v5建立對(duì)道路上其他對(duì)象的識(shí)別，用于生成智能警報(bào)。在深度學(xué)習(xí)分析中，我們非常熱衷于使用機(jī)器學(xué)習(xí)解決現(xiàn)實(shí)世界中的問題。我們已經(jīng)幫助許多企業(yè)部署了基于AI的創(chuàng)新解決方案。如果您發(fā)現(xiàn)合作的機(jī)會(huì)，請(qǐng)通過此處的網(wǎng)站與我們聯(lián)系。
YOLO v5
LaneNet
U-Net
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~