一文看懂滴滴的ADAS解決方案！自研超低功耗目標(biāo)檢測(cè)框架：ZoomNet
桔妹導(dǎo)讀：道路交通事故每年都給人類帶來巨大的生命和財(cái)產(chǎn)損失。滴滴作為交通領(lǐng)域的深度參與者，不斷地探索降低交通事故的方法。本文重點(diǎn)介紹車載視覺團(tuán)隊(duì)是如何在滴滴的場(chǎng)景下，在桔視設(shè)備上，使用超低功耗的桔視ADAS（高級(jí)輔助駕駛系統(tǒng)）技術(shù)，降低交通事故發(fā)生率，守護(hù)司乘安全。
道路交通事故是一種世界性的公害，每年都給人類帶來巨大的生命和財(cái)產(chǎn)的損失。滴滴作為交通領(lǐng)域的深度參與者，不斷地探索降低交通事故的方法。
近些年ADAS（高級(jí)輔助駕駛系統(tǒng)）逐漸進(jìn)入大眾的視野，在前裝汽車中的滲透率也在不斷提高。但對(duì)于滴滴司機(jī)駕駛的私家車來說，ADAS覆蓋率仍然非常低，只能依賴后裝的ADAS系統(tǒng)。
相信很多人在乘坐滴滴的時(shí)候，見過前擋玻璃上的桔視行車記錄儀，偶爾也能聽到“注意前車”，“請(qǐng)保持車距”，”前車剎車“等語音提醒。在此款設(shè)備上，我們研發(fā)了后裝ADAS系統(tǒng)。該系統(tǒng)支持前向碰撞預(yù)警（FCW），跟車過近提醒（HMW），前車剎車提醒（BLW），前車起步提醒等功能。
本文將闡述，我們是如何在滴滴場(chǎng)景下，在桔視設(shè)備上，使用超低功耗的桔視ADAS（高級(jí)輔助駕駛系統(tǒng)）技術(shù)，降低交通事故發(fā)生率，守護(hù)司乘安全。
對(duì)歷史交通事故的分析表明，同責(zé)及以上事故中，追尾事故占比60%，遠(yuǎn)高于其他事故類型，而追尾事故中又有80%是由于跟車過近所引起的，可見司機(jī)的駕駛習(xí)慣和交通事故有較強(qiáng)的關(guān)聯(lián)性。駕駛過程中無意識(shí)的跟車過近，常常會(huì)導(dǎo)致駕駛員在前方突發(fā)緊急情況時(shí)無法及時(shí)作出反應(yīng)，從而引發(fā)追尾事故。
國(guó)內(nèi)外分析數(shù)據(jù)表明，ADAS是避免交通事故的一種有效手段。安盛的分析報(bào)告表明，只要1.5s的事前提醒，就能夠避免90%的事故[1]。美國(guó)IIHS機(jī)構(gòu)數(shù)據(jù)表明，F(xiàn)CW功能能夠減少69%未剎車追尾[2]；
桔視ADAS融合前置攝像頭、后置攝像頭、IMU、GPS等多種傳感器，聯(lián)動(dòng)設(shè)備端上DMS、碰撞檢測(cè)、駕駛行為檢測(cè)等多種算法，識(shí)別隱患場(chǎng)景，以實(shí)時(shí)提醒的方式，干預(yù)司機(jī)駕駛行為，培養(yǎng)司機(jī)良好的駕駛習(xí)慣，從而降低追尾事故率。
依靠桔視強(qiáng)大的AIoT平臺(tái)、近百萬量級(jí)的設(shè)備在線量，我們能夠通過設(shè)備端的邊緣計(jì)算，云端大數(shù)據(jù)分析，司機(jī)乘客主動(dòng)反饋等渠道，主動(dòng)或被動(dòng)地獲取交通事故數(shù)據(jù)。通過GPS，IMU，前后攝（訂單內(nèi)）的數(shù)據(jù)，我們能夠完整地還原交通事故的整個(gè)過程，也能夠客觀，公正，精確地評(píng)估ADAS運(yùn)行效果。
桔視ADAS上線后，進(jìn)行了為期一個(gè)月的AB實(shí)驗(yàn)。數(shù)十萬臺(tái)設(shè)備，數(shù)億公里的行駛里程，最終證明：
億公里追尾事故率能夠顯著降低11.4%，整體事故率降低9.1%
尤其是在高峰期，億公里追尾事故率顯著降低16.7%
現(xiàn)存的ADAS解決方案，往往需要超大的算力支持，使用GPU/NPU等專用加速芯片，支撐T級(jí)別算力要求。但出于成本、單次長(zhǎng)時(shí)間運(yùn)行的功耗與穩(wěn)定性等方面的考慮，桔視還無法滿足此類算力的需求。
桔視行車記錄儀，使用MTK8665芯片處理器，四核ARM Cortex-A53，最高可達(dá)1.5GHz。雖然桔視體積小，但內(nèi)部運(yùn)行著眾多業(yè)務(wù)邏輯，只能預(yù)留給ADAS 5%的算力。為了能在如此苛刻條件下運(yùn)行ADAS系統(tǒng)，我們提出了超低功耗ADAS解決方案。
整體方案如下所示：
ADAS算法在桔視設(shè)備的落地應(yīng)用過程中面臨許多挑戰(zhàn)：
桔視算力有限而算法眾多，如何實(shí)現(xiàn)超低功耗的實(shí)時(shí)目標(biāo)檢測(cè)？
輕量級(jí)模型誤差大，抖動(dòng)劇烈，如何提升目標(biāo)檢測(cè)框穩(wěn)定性？
桔視設(shè)備安裝角度各異，如何進(jìn)行滅點(diǎn)標(biāo)定？
報(bào)警時(shí)間與事故率緊密相關(guān)，如何提升報(bào)警及時(shí)性？
實(shí)際駕駛中復(fù)雜場(chǎng)景眾多，如何挖掘長(zhǎng)尾難樣本？
▍4.1 超低功耗前車檢測(cè)?
隨著深度學(xué)習(xí)領(lǐng)域的火熱發(fā)展，在圖像目標(biāo)檢測(cè)領(lǐng)域，已經(jīng)出現(xiàn)多款可落地的檢測(cè)框架。以下視頻是使用云端大模型TridentNet[3] (ResNet-101)，在桔視錄制的前攝視頻中可視化的前車檢測(cè)結(jié)果。在Nvidia K80 GPU上，單幀耗時(shí)數(shù)百毫秒。
如此龐大的模型，無論是在云端還是邊端，都無法滿足ADAS實(shí)時(shí)性要求。
為了提高實(shí)時(shí)性，出現(xiàn)了一些輕量級(jí)的檢測(cè)框架，比如目前比較流行的輕量級(jí)Backbone結(jié)合單階段檢測(cè)框架YOLO [4]、SSD [5] 等。
下圖是云端模型的渲染效果。其中紅色框?yàn)樵贫舜竽Ｐ蚑ridentNet的檢測(cè)結(jié)果，藍(lán)色框?yàn)樵贫溯p量級(jí)ShullfenetV2 + SSD[6]的檢測(cè)結(jié)果，綠色是我們的方案。從圖中，我們可以明顯看出，紅色TridentNet檢測(cè)結(jié)果不論是從目標(biāo)框的穩(wěn)定性上，或者是從左側(cè)波形的抖動(dòng)程度上，還是從右側(cè)目標(biāo)中點(diǎn)的離散程度上，都要遠(yuǎn)優(yōu)于綠色小模型的檢測(cè)結(jié)果。
從檢測(cè)效果看，與云端大模型相比，小模型的檢測(cè)穩(wěn)定性差了很多，這對(duì)整體報(bào)警策略帶來巨大的挑戰(zhàn)。
業(yè)界通用的多目標(biāo)檢測(cè)+多目標(biāo)跟蹤+車道線檢測(cè)的方案，并不適用于桔視的低功耗邊緣計(jì)算場(chǎng)景。于是我們將問題簡(jiǎn)化為單一前車檢測(cè)問題，結(jié)合現(xiàn)有條件及ADAS特性，提出了自己的單目標(biāo)檢測(cè)框架：ZoomNet。ZoomNet包括前車檢測(cè)模型和基于時(shí)序融合的模型調(diào)度策略ZoomTracker。
在將問題簡(jiǎn)化為單一前車檢測(cè)后，我們提出了基于anchor回歸的模型。前車回歸模型包含分類和回歸兩個(gè)分支，分類分支輸出前車有無，回歸分支估計(jì)前車位置。在回歸分支之中，我們將回歸坐標(biāo)轉(zhuǎn)化為回歸基于anchor的偏移量。
以下圖中，960x960的crop區(qū)域?yàn)槔覀兠扛?20像素設(shè)置了一個(gè)anchor，一共8個(gè)anchor，也就是下圖中的0到840。我們并不直接回歸y2，而是回歸y2相對(duì)于這8個(gè)anchor的偏移量delta，即
anchor設(shè)置如下圖：
為了進(jìn)一步提升計(jì)算速度，我們又使用滴滴自研的IFX模型加速框架，對(duì)我們的超輕量檢測(cè)模型進(jìn)行計(jì)算優(yōu)化，最終在4A53上占用小于5%的前提下，實(shí)現(xiàn)實(shí)時(shí)前車檢測(cè)。
▍4.2?穩(wěn)定性
由于輕量級(jí)模型的復(fù)雜度和性能有限，在單幀圖像上的檢測(cè)結(jié)果會(huì)存在以下問題：小目標(biāo)難以檢出、包圍盒誤差大、目標(biāo)丟失、目標(biāo)誤檢、魯棒性差(無法適應(yīng)遮擋、夜間黑暗、反光、逆光、大霧、雨天等復(fù)雜場(chǎng)景)。
? a) 小目標(biāo)難以檢出? ? ??
???
在單幀圖片上模型準(zhǔn)確率不高，在時(shí)序視頻流上的表現(xiàn)會(huì)更不盡人意，會(huì)出現(xiàn)諸多不穩(wěn)定情況，如目標(biāo)丟失閃爍、包圍盒抖動(dòng)劇烈。
上述問題使得目標(biāo)信息極為不穩(wěn)定，為后續(xù)算法的使用帶來極大挑戰(zhàn)，且誤差不斷向后傳播，嚴(yán)重影響整體功能的效果。
針對(duì)檢測(cè)模型性能有限，我們提出一種時(shí)序信息融合結(jié)合模型調(diào)度的方式，實(shí)現(xiàn)物體檢測(cè)框的高穩(wěn)定性，能有效克服目標(biāo)丟失誤檢、包圍盒抖動(dòng)等問題，在時(shí)序視頻流上表現(xiàn)優(yōu)越。
方案中包含2個(gè)深度網(wǎng)絡(luò)模型和卡爾曼濾波器；
首先通過端到端的前車檢測(cè)模型得出前車大致位置，再通過超輕量級(jí)的回歸網(wǎng)絡(luò)得出準(zhǔn)確的前車包圍盒。在下一時(shí)刻，利用歷史檢測(cè)結(jié)果對(duì)前車目標(biāo)可能出現(xiàn)位置進(jìn)行預(yù)測(cè)，在預(yù)測(cè)位置上直接進(jìn)行回歸。
通過時(shí)序融合的模型調(diào)度，在最終效果上克服了小目標(biāo)、目標(biāo)丟失誤檢、包圍盒抖動(dòng)、魯棒性差的問題，并在時(shí)序目標(biāo)檢測(cè)穩(wěn)定性誤差上降低了23.3%。
具體示例可見下圖，其中綠框?yàn)楸痉桨附Y(jié)果，紅框?yàn)槿斯?biāo)注的Ground Truth，藍(lán)框?yàn)闆]有進(jìn)行時(shí)序融合結(jié)果。從圖中可以明顯看出，綠色結(jié)果在目標(biāo)框穩(wěn)定性上、左側(cè)波形抖動(dòng)上、右側(cè)中點(diǎn)離散程度上，均要遠(yuǎn)優(yōu)于藍(lán)色。時(shí)序信息的引入大大提高了輕量級(jí)模型檢測(cè)結(jié)果的穩(wěn)定性，在效果上逼近云端大模型。
▍4.3?相機(jī)安裝位置標(biāo)定
前車與本車的距離關(guān)系是識(shí)別隱患場(chǎng)景的重要條件，而線上設(shè)備安裝角度各異給距離測(cè)算帶來了很大挑戰(zhàn)，那如何對(duì)大量已安裝的桔視設(shè)備進(jìn)行標(biāo)定呢？桔視ADAS團(tuán)隊(duì)在落地實(shí)踐中提出了兩種方法。
4.3.1 基于深度學(xué)習(xí)模型回歸消失點(diǎn)
業(yè)界通用的方法一般是通過車道線/直線檢測(cè)計(jì)算消失點(diǎn)，但我們發(fā)現(xiàn)在不使用車道線檢測(cè)的情況下，也可以用與前車檢測(cè)相同的anchor回歸的方式，使模型學(xué)習(xí)到消失點(diǎn)。
消失點(diǎn)回歸可以實(shí)現(xiàn)設(shè)備俯仰角的標(biāo)定，結(jié)合前車坐標(biāo)，可以得到本車與前車的縱向車距。
4.3.2 基于數(shù)據(jù)統(tǒng)計(jì)估計(jì)水平滅點(diǎn)
通過深度學(xué)習(xí)模型可以回歸車道線消失點(diǎn)，但難以回歸水平滅點(diǎn)，實(shí)現(xiàn)偏航角的標(biāo)定。偏航角誤差會(huì)導(dǎo)致橫向距離計(jì)算失準(zhǔn)，將同車道前車誤判為旁車道車輛。
基于模型檢測(cè)到的前車與本車大概率處于同一車道的先驗(yàn)條件，我們使用了一種簡(jiǎn)單有效的方法估計(jì)水平滅點(diǎn)，即通過長(zhǎng)時(shí)間統(tǒng)計(jì)模型輸出，分桶估計(jì)水平滅點(diǎn)，得到參考性的本車直行的朝向。
▍4.4?報(bào)警及時(shí)性
4.4.1 TTC
TTC（time to collision）碰撞發(fā)生時(shí)間，是衡量碰撞預(yù)警效果的重要指標(biāo)，計(jì)算方式如下：
即為兩車車距/兩車相對(duì)速度，一般取2.7s，意為在判斷出按照當(dāng)前車距與相對(duì)速度，還有2.7秒會(huì)與前車發(fā)生碰撞時(shí)，發(fā)出預(yù)警。行車記錄儀前攝視場(chǎng)角大，遠(yuǎn)距離目標(biāo)在畫面中小，前車檢測(cè)模型小且?guī)视邢蓿h(yuǎn)距離前車檢測(cè)結(jié)果易抖動(dòng)，導(dǎo)致高速情況下難以對(duì)遠(yuǎn)距離前車進(jìn)行及時(shí)預(yù)警。
4.4.2 前車剎車提醒
對(duì)高速場(chǎng)景下的事故數(shù)據(jù)進(jìn)行分析后，我們發(fā)現(xiàn)高速場(chǎng)景下的事故與前車突然剎車，司機(jī)反應(yīng)不及時(shí)有很高相關(guān)性。一般來說，高速行駛過程中，前車剎車，本車應(yīng)相應(yīng)剎車規(guī)避危險(xiǎn)。
因此，在檢測(cè)前車的基礎(chǔ)之上，我們又提出了剎車燈分類模型以識(shí)別前車剎車狀態(tài)。高速情況下，一旦前車剎車且車距滿足一定條件，系統(tǒng)即發(fā)出預(yù)警信號(hào)，提醒司機(jī)注意，這也是桔視ADAS特有的預(yù)警功能BLW（前車剎車提醒）。BLW可以顯著提高高速情況下的報(bào)警TTC，提升報(bào)警及時(shí)性。
▍4.5?長(zhǎng)尾數(shù)據(jù)挖掘
在桔視AIoT平臺(tái)上，運(yùn)行著碰撞檢測(cè)、駕駛行為檢測(cè)和DMS等算法，它們可以準(zhǔn)確識(shí)別碰撞事故、駕駛行為和司機(jī)駕駛狀態(tài)。通過多算法聯(lián)動(dòng)，我們?cè)诙松现苯硬蹲礁呶?chǎng)景，并主動(dòng)將數(shù)據(jù)回流云端。依托桔視近百萬量級(jí)的安裝量，通過駕駛行為檢測(cè)算法，分析報(bào)警后司機(jī)駕駛行為，得出報(bào)警的轉(zhuǎn)化效果。利用這些自動(dòng)化的ADAS算法反饋，配合OTA升級(jí)方式，我們實(shí)現(xiàn)了高頻率的迭代優(yōu)化。
為了覆蓋復(fù)雜場(chǎng)景的長(zhǎng)尾數(shù)據(jù)，我們還搭建了一條在線難樣本挖掘鏈路。我們利用碰撞事故前的ADAS報(bào)警情況挖掘未召回的事故數(shù)據(jù)，利用ADAS報(bào)警后司機(jī)反應(yīng)挖掘虛警數(shù)據(jù)。更近一步，我們積累了一批ADAS播報(bào)干預(yù)但沒有幫助駕駛員避免交通事故的極難樣本，針對(duì)性優(yōu)化報(bào)警TTC，提升報(bào)警及時(shí)性。
挖掘回流的數(shù)據(jù)在云端會(huì)自動(dòng)導(dǎo)入標(biāo)注平臺(tái)和實(shí)驗(yàn)評(píng)估系統(tǒng)。在標(biāo)注平臺(tái)中，通過深度模型算法預(yù)標(biāo)注+人工，不斷擴(kuò)充數(shù)據(jù)集。在實(shí)驗(yàn)評(píng)估系統(tǒng)中，算法捕捉播報(bào)后駕駛員的轉(zhuǎn)化行為，結(jié)合駕駛員歷史行駛數(shù)據(jù)，自動(dòng)化評(píng)估ADAS在降發(fā)生上的影響面、線上準(zhǔn)召等多維度指標(biāo)。
通過這一整套完整的數(shù)據(jù)鏈路，我們實(shí)現(xiàn)了對(duì)長(zhǎng)尾復(fù)雜場(chǎng)景的覆蓋，用數(shù)據(jù)驅(qū)動(dòng)整套ADAS算法的迭代。
本文總結(jié)了車載視覺團(tuán)隊(duì)在桔視ADAS方面工作，分享了桔視ADAS算法的整體架構(gòu)。未來我們將在以下方面持續(xù)探索：
模型策略的持續(xù)優(yōu)化，覆蓋更多長(zhǎng)尾復(fù)雜場(chǎng)景；
行人碰撞預(yù)警 PCW (Pedestrian Collision Warning)；
桔視ADAS將不斷提升，全力幫助司機(jī)師傅避免交通事故，為司機(jī)和乘客的安全保駕護(hù)航。
[1] Board N T S. Special investigation report-highway vehicle and infrastructure-based technology for the prevention of rear-end collisions[J]. NTSB Number SIR-OI/ll, 2001.
[2] Farmer C M. Crash avoidance potential of five vehicle technologies[J]. Insurance Institute for highway safety, 2008.
[3] Li Y, Chen Y, Wang N, et al. Scale-aware trident networks for object detection[C]//Proceedings of the IEEE international conference on computer vision. 2019: 6054-6063.
[4] Redmon J, Farhadi A. Yolov3: An incremental improvement[J]. arXiv preprint arXiv:1804.02767, 2018.
[5] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European conference on computer vision. Springer, Cham, 2016: 21-37.
[6] Ma N, Zhang X, Zheng H T, et al. Shufflenet v2: Practical guidelines for efficient cnn architecture design[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 116-131.
?
團(tuán)隊(duì)招聘
?
滴滴智能中臺(tái)集結(jié)了中臺(tái)產(chǎn)品技術(shù)、AI能力和體驗(yàn)平臺(tái)技術(shù)，致力于為集團(tuán)各業(yè)務(wù)線提供行業(yè)領(lǐng)先的專業(yè)服務(wù)，當(dāng)前已沉淀了賬號(hào)、支付、計(jì)價(jià)、觸達(dá)、IOT、體驗(yàn)等核心中臺(tái)能力；AI技術(shù)已深入應(yīng)用于安全、智能運(yùn)營(yíng)、智能客服、智能駕駛等場(chǎng)景；持續(xù)通過搭建客服及體驗(yàn)平臺(tái)等技術(shù)手段，提升用戶體驗(yàn)問題的解決效率。智能中臺(tái)是一支專業(yè)、多元、高效、務(wù)實(shí)的團(tuán)隊(duì)，堅(jiān)持用技術(shù)賦能出行領(lǐng)域，力爭(zhēng)成為業(yè)內(nèi)多快好省的中臺(tái)標(biāo)桿。
滴滴車載視覺團(tuán)隊(duì)基于桔視近百萬設(shè)備量和PB量級(jí)行駛數(shù)據(jù)，在交通安全和人身安全落地多款A(yù)I算法，包括桔視ADAS、車內(nèi)安全、視頻理解等。利用AI算法，不斷努力讓司機(jī)和乘客逐漸感受到滴滴的安全。
團(tuán)隊(duì)長(zhǎng)期招聘視覺算法工程師、安卓開發(fā)實(shí)習(xí)生，歡迎有興趣的小伙伴加入，可投遞簡(jiǎn)歷至 [email protected]，郵件請(qǐng)郵件主題請(qǐng)命名為「姓名-應(yīng)聘部門-應(yīng)聘方向」。
掃碼了解更多崗位
