點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達(dá)
作者：Dr. Luo，東南大學(xué)工學(xué)博士，英國布里斯托大學(xué)博士后，是復(fù)睿微電子英國研發(fā)中心GRUK首席AI科學(xué)家，常駐英國劍橋。Dr. Luo長期從事科學(xué)研究和機器視覺先進(jìn)產(chǎn)品開發(fā)，曾在某500強ICT企業(yè)擔(dān)任機器視覺首席科學(xué)家。
來源：佐思汽車研究
《荀子 · 修身》曰“道雖邇，不行不至。事雖小，不為不成?！?/span>
ADS三十年之現(xiàn)狀，可謂：“道阻且長，行則將至；行而不輟，未來可期”?！断髠鳌饭试?，“求而往，明也”。
ADS純視覺感知產(chǎn)品設(shè)計的痛點觀察
自動駕駛ADS是新世紀(jì)產(chǎn)業(yè)革命即行業(yè)數(shù)字化AI化的第二個發(fā)力市場，近幾年來具備L2/L2+功能的車型紛紛成功上市并占領(lǐng)市場，特定場景的L3/L4級功能的車型也開始落地。L3是有關(guān)安全責(zé)任歸屬的臨界點，L3以上才可以被稱為是自動駕駛，駕駛主體將變成車輛的自動駕駛系統(tǒng)，人類駕駛員只在必要時接管。隨著AI技術(shù)與駕駛場景的深度融合，智能車AVs將按照大眾的預(yù)期逐步實現(xiàn)從低速到高速、從載物到載人、從商用到民用的落地節(jié)奏。領(lǐng)航輔助駕駛（Navigation On Autopilot）做為L2+級功能也受到大眾廣泛的歡迎，在自動巡航控制ACC、車道居中控制LCC、勻速保持控制ALC等初級功能基礎(chǔ)上，允許汽車根據(jù)導(dǎo)航信息，自主完成上下匝道、高速巡航、換道超車等智能化操作。半封閉、道路結(jié)構(gòu)化的高速場景復(fù)雜度較低，易于智能駕駛功能量產(chǎn)落地，商業(yè)化落地主要為車道保持輔助LKA、ACC、車道居中輔助LCA、高速NOA等功能。城市路況復(fù)雜度高，行人、非機動車、機動車等道路因素較多，開發(fā)NOA功能挑戰(zhàn)性顯然更大。上述所說的針對L2的場景應(yīng)用，可以解放人的雙手和雙腳，但駕駛員做為責(zé)任主體，必須負(fù)責(zé)監(jiān)督路況并在需要時能夠迅速接管駕駛?cè)蝿?wù)，責(zé)任主體的分心或者打盹可以說仍是當(dāng)前一個非常致命性的因素之一，需要車輛銷售人員的正確宣傳與算法的技術(shù)有效檢測這類事件，并配合用戶進(jìn)行改善。大量的分析已經(jīng)表明，目前在很大的程度上AVs的安全性能估計比人類駕駛(也可以說人類自身的最好能力或者是人類心理可接受的期望值)明顯要差一個數(shù)量級以上，雖然可以適應(yīng)仿真和簡單低遮擋的約束真實場景，但仍難以應(yīng)對城市的復(fù)雜道路交通場景，包括惡劣天氣環(huán)境，定位信號缺失，目標(biāo)高度遮擋，有限全局視野，人車交互，車車交互，以及小尺寸目標(biāo)或干擾目標(biāo)等。場景動態(tài)適應(yīng)能力問題，即所謂“Long-Tail Challenge”長尾挑戰(zhàn)，依舊是ADS當(dāng)前待解決的主要難題之一。
為了提升ADS的時空4D感知能力和人身安全等特性，市場上AVs類似配置29個攝像頭，6個Radar和5個LiDAR多模多傳感器的設(shè)計已經(jīng)非常常見。對比昂貴的LiDAR設(shè)備，攝像頭一個最大的優(yōu)勢是高分辨率和低成本，純視覺的多攝像頭組合設(shè)計可以提供充分的場景語義信息。針對當(dāng)前市場上所采用的純視覺感知的產(chǎn)品設(shè)計，除了上述極端場景外，本文在這里將重點交流一下我們的總體深度洞察，尤其是包括應(yīng)用的主力場景，即非惡劣天氣下被大眾認(rèn)為不容易被干擾或者是認(rèn)為目標(biāo)不容被易漏檢誤檢的行駛場景等等。
圖1：交通事故現(xiàn)場 (online media, 2022)
對于ADS Auto-Pilot純視覺感知產(chǎn)品應(yīng)用，現(xiàn)有市場上頻頻爆發(fā)出來的嚴(yán)重或者致命的交通事故，反而多發(fā)生在這類比較正常的天氣和一些認(rèn)為很容易處理的交通場景下。如圖1所示(備注：圖片都來自官方報告或者官網(wǎng)新聞)，事故原因大體包括:
-
(2022年7月) 臺灣某市，天氣良好，Auto-Pilot模式，與高速公路的路邊橋墩相撞，導(dǎo)致車輛起火，人員重傷
-
(2022年7月) 美國佛州，天氣良好，Auto-Pilot模式，與洲際公路的路肩停車位的卡車相撞，導(dǎo)致車輛起火，2人死亡
-
(2022年x月) 美國多州，夜晚行駛，Auto-Pilot模式，與拋錨車輛(拋錨現(xiàn)場設(shè)置有warning lights, flares, cones, and an illuminated arrow board)相撞，16次車禍中，15人傷1人亡
-
(2021年7月20日-2022年5月21日) 美國多州，Auto-Pilot模式，總共392起EV車禍，273次車禍來自純視覺感知產(chǎn)品應(yīng)用
-
(2018年3月) 美國加州，天氣良好，Auto-Pilot模式，與高速公路的邊界柵欄相撞，導(dǎo)致車輛起火，人員死亡
-
(2016年下月) 美國威州，天氣良好，Auto-Pilot模式，(第一起)與洲際公路的路肩停車位的卡車相撞，導(dǎo)致車輛起火，1人死亡
如圖1所示，事故分析原因比較復(fù)雜，人為疏忽因素猜測應(yīng)該是主因(例如系統(tǒng)感知決策能力不滿足應(yīng)用場景時責(zé)任人主體未能及時接管車輛等等)。有關(guān)系統(tǒng)感知決策能力問題，目測分析有可能來自于感知層目標(biāo)識別，其原因可能包括：未能準(zhǔn)確識別倒地的貨車、路邊橋墩、可行駛的區(qū)域，或者攝像頭臟污，器件突然失靈等等。從上述分析可以看出，從2016年的第一起，到2022年的相同事故發(fā)生，純視覺方案未能有效識別路肩停車位的卡車還是有很大可能性的。我們的出發(fā)點是希望能夠更好的解決ADS行業(yè)落地的眾多難題，當(dāng)然不希望這些前沿技術(shù)探討誤導(dǎo)了行業(yè)專家和消費者心理，也特別注明不會對文中任何敏感領(lǐng)域的問題探討承擔(dān)任何法律責(zé)任，完整的事故分析結(jié)果請讀者以官方出臺的報告為事實依據(jù)。
對比US全國1 in 484,000 miles的事故率，來自某著名T車廠發(fā)布的2021年自產(chǎn)車交通事故安全評估的分析數(shù)據(jù)如下：
可以看出十倍的提升，依舊滿足不了大眾對智能出行安全的期望值。如果定位在上百倍或上千倍的提升為目標(biāo)值或者說大眾可以接受的程度，對行業(yè)設(shè)計者來說，前方的路依舊是任重而道遠(yuǎn)，更需要上下而求索，在5-10年內(nèi)交付一個比較完美的答案。
自動駕駛ADS主要是由高速場景向城市道路場景演進(jìn)來落地領(lǐng)航輔助NOA功能，AI與場景的深度融合，推動ADS逐步實現(xiàn)從低速到高速，從載物到載人，從商用到民用，從階段一提供L2高級輔助駕駛和L3擁堵高速公路副駕駛，發(fā)展到階段二可以提供L3擁堵公路自動駕駛和L4高速公路自動駕駛，最終實現(xiàn)階段三的L4城郊與市區(qū)自動駕駛和L5商用無人駕駛等等。ADS算法的典型系統(tǒng)分層架構(gòu)如圖2所示，一般包括傳感層，感知層，定位層，決策層(預(yù)測+規(guī)劃)和控制層。每個層面會采用傳統(tǒng)算法模型或者是與深度學(xué)習(xí)DNN模型相結(jié)合，從而在ADS全程駕駛中提供人類可以認(rèn)可的高可靠和高安全性，以及在這個基礎(chǔ)上提供最佳能耗比、最佳用車體驗、和用戶社交娛樂等基本功能。
圖2：ADS技術(shù)棧案例 (Nageshrao,2022)
ADS部署的傳感器在極端惡劣場景(雨雪霧、低照度、高度遮擋、傳感器部分失效、主動或被動場景攻擊等)的影響程度是不一樣的。所以傳感器組合應(yīng)用可以來解決單傳感器的感知能力不足問題，常用的多模傳感器包括Camera(Front-View or Multiview; Mono or Stereo；LD or HD)，毫米波Radar(3D or 4D)和激光雷達(dá)LIDAR(LD or HD)。如圖3所示，ADS傳感器特性可以總結(jié)如下：
-
可以提供360環(huán)視和遠(yuǎn)距前后視角的環(huán)境語義表征。
-
單目和多目Camera可以提供一定程度的目標(biāo)深度信息。
不足：
不足：
-
-
(如圖5所示)當(dāng)雨速高于40mm/hr到95mm/hr，信號反射密度嚴(yán)重?fù)p失并產(chǎn)生雨枕現(xiàn)象。
-
(如圖5、圖6所示)大雪天氣下可視距離縮短并產(chǎn)生反射干擾波形。
-
(如圖5所示)濃霧場景會產(chǎn)生鬼影現(xiàn)象。
-
優(yōu)勢：
-
-
對周圍車輛檢測準(zhǔn)確率高，可以提供目標(biāo)的速度信息。
-
4D Radar還可以提供目標(biāo)高度的可靠信息。
不足：
-
-
-
(如圖6所示)大雨濃霧和暴風(fēng)雪會產(chǎn)生接收信號強衰減和斑點噪聲。
圖3：ADS傳感層的不確定性與性能對比(Khan, 2022)
圖4：Camera(RGB, Thermal) 和LiDAR的強光場景(Zhang 2022)
圖5：Camera和LiDAR的濃霧暴雨場景(Zhang, 2022)
圖6：LiDAR的暴風(fēng)雪場景(Zhang 2022)
圖7：Camera和LiDAR的雨天場景(Zhang 2022)
ADS感知層的一個主要挑戰(zhàn)是惡劣場景的挑戰(zhàn)。如圖8所示，對比LiDAR和Camera，4D高清Radar發(fā)送的毫米波，可以有效穿越雨滴和雪花，不受低照與雨雪霧天氣影響，但會受到多徑干擾問題影響，總體來說對環(huán)境的適應(yīng)性高，單獨或者組合應(yīng)用對2D/3D目標(biāo)檢測非常有優(yōu)勢，同時還可以提供高精度的目標(biāo)高度和速度信息，可以有助于ADS的預(yù)測規(guī)劃性能提升。
圖8：4D Radar，Camera，LiDAR點云的3D目標(biāo)檢測識別對比案例 (Paek, 2022)
ADS感知層的主要應(yīng)用場景包括高速公路，城郊與市區(qū)道路；十字路口，交通環(huán)島，潮汐公路；隧道，停車場等，其主要任務(wù)是基于多模的2D/3D人車物目標(biāo)識別，動態(tài)目標(biāo)跟蹤與速度識別，交通標(biāo)志識別，車道線識別，紅綠燈識別，路面可行駛區(qū)域語義分割，路面障礙檢測，盲區(qū)檢測，交通事件檢測，司機打瞌睡檢測等。與此對應(yīng)的核心產(chǎn)品特性包括：碰撞預(yù)警，緊急剎車，車道偏離預(yù)警，傳感部分失效預(yù)警；車道變道，車道并道，路口通行，行為預(yù)測，軌跡預(yù)測，軌跡規(guī)劃；車速控制，轉(zhuǎn)向控制等等。
ADS感知層的一個挑戰(zhàn)是目標(biāo)遮擋即感知盲區(qū)的挑戰(zhàn)。單純依賴AVs自身360全方位近距感知和遠(yuǎn)距感知，很難能夠讓ADS從理論上完全超越人類的駕駛水平，通過預(yù)測預(yù)警達(dá)到更低的交通事故率和提供更好的人身安全。如圖9所示的典型前方遮擋場景，Camera畫面相對影響較小，LiDAR前方有大片區(qū)域由于遮擋出現(xiàn)空白，嚴(yán)重影響感知決策。一個可行的策略是利用這類3D陰影特性進(jìn)行障礙目標(biāo)檢測，即將陰影與遮擋目標(biāo)關(guān)聯(lián)，通過這種先驗假定來降低目標(biāo)漏檢率(Haul, 2022)。
圖9：近場目標(biāo)遮擋場景（Haul, 2022)
如圖10所示的對比案例，可以看出車路協(xié)同可以有效解決盲區(qū)與上述所說的長距感知的挑戰(zhàn)，但對應(yīng)的缺點也不言而喻，部署的成本與長期可靠運營費用以及如何防網(wǎng)絡(luò)攻擊問題，這決定了對鄉(xiāng)村和偏遠(yuǎn)地區(qū)的場景，需要尋求AVs自身的多模感知認(rèn)知決策能力提升。
圖10：獨立感知與車路協(xié)同感知對比案例(Mao, 2022)
圖11：多視覺的目標(biāo)多模感知與融合識別案例(Mao, 2022)
如圖11所示，V2X的可行解決方案包括交通要道部署的RSU Camera，LiDAR，或者Radar，對算法設(shè)計來說，需要解決海量點云數(shù)據(jù)的壓縮與實時傳輸，以及針對接收數(shù)據(jù)的時間軸同步，多模感知與特征融合目標(biāo)識別等。目前這個領(lǐng)域基于Transformer在BEV空間進(jìn)行多任務(wù)多模態(tài)的融合感知已經(jīng)有了一些長足進(jìn)展，融合的方式也可以自由組合，包括多視覺的Camera視頻融合，以及 Camera與LiDAR或者Radar的組合融合模式，對點云數(shù)據(jù)的超分變率會改善融合效果，但融合對延遲非常敏感。
ADS感知層的一個挑戰(zhàn)是可感知目標(biāo)距離的挑戰(zhàn)。遠(yuǎn)距離(250-300米)小目標(biāo)感知任務(wù)對高速行駛AVs的安全響應(yīng)速度是至關(guān)重要的。對3D目標(biāo)識別等視覺任務(wù)可說，隨著感知距離增加，抽取高密度特征的AI主干網(wǎng)絡(luò)的計算復(fù)雜度會按照二次元速度增加，對算力需求也加速度增加。從圖12的對比還可以看出，采用長距LIDAR可以提升感知距離，特征點可以覆蓋更大的區(qū)域但更稀疏，同時也會產(chǎn)生”Centre Feature Missing(CFM)”即點云空心化或者叫黑洞的問題，極端場景包括近距離的超大車輛的中心特征缺失。解決CFM挑戰(zhàn)問題的一般方法是在BEV特征空間依賴卷積操作通過特征發(fā)散來提供中心區(qū)域的感知場，或者通過點云中非空的區(qū)域來預(yù)測中間空心區(qū)目標(biāo)，代價是目標(biāo)預(yù)測誤差和不確定性的輸出結(jié)果，或者通過連通域打標(biāo)簽CCL進(jìn)行Instance Point Group進(jìn)行插值和濾波，以及整個點云的超分變率Super-Resolution來改善性能。
圖12：短距LIDAR點云(紅色，75米)與長距LIDAR點云(藍(lán)色，200米)對比案例 (Fan, 2022)
人類是通過雙目視差來進(jìn)行2D/3D目標(biāo)的識別與定位，純視覺感知設(shè)計，通過跨攝像頭部署或者希望通過單目視頻信息進(jìn)行3D目標(biāo)識別，總體性能在實際駕駛環(huán)境中有產(chǎn)品應(yīng)用體驗。立體盲的問題，可以對比參考一下這些場景分析來定義，如圖13所示的兩個事故案例：純視覺感知算法錯把2D宣傳畫當(dāng)成真實的3D目標(biāo)，不停地針對假想的在前方飛奔的行人進(jìn)行緊急剎車，徹底是一種邏輯混亂狀態(tài)，嚴(yán)重的話也會因為采取了錯誤決策導(dǎo)致車禍。設(shè)想一下，如果類似宣傳畫、交通障礙標(biāo)志(宣傳畫或者實際物品)在行駛車輛上，也許通過點云來識別目標(biāo)是否運動，純粹靠單目或跨攝像頭融合感知3D或者所謂活體目標(biāo)，困難重重。一種解決的思路是采用Few-shot Learning-based的方法來消除立體盲問題帶來的致命安全威脅。如圖14所示，EyeDAS案例是對檢測到的目標(biāo)摳圖進(jìn)行四種屬性的非監(jiān)督概率估測，通過一個宏分類器來決策是否是2D/3D目標(biāo)。類似這樣的實現(xiàn)策略，相信如果有足夠的數(shù)據(jù)，一個DNN網(wǎng)絡(luò)同樣可以基于單目做很好的活體或者3D目標(biāo)識別，可以見到類似的這樣設(shè)計，但立體盲問題需要重點評估。
圖13：兩個事故案例：錯把2D宣傳畫當(dāng)成真實目標(biāo)(Levy 2022)
圖14：EyeDAS 后處理算法案例(Levy 2022)
從UN的統(tǒng)計數(shù)據(jù)可以看到，全球每年道路交通事故都約有5000萬人傷，125萬人亡，經(jīng)濟損失可以高達(dá)約1.85萬億美元，而94%交通事故均來自可以避免的人為因素，且90%發(fā)生在中低收入的國家。研究表明，將有效預(yù)警提前1.9秒，事故率可下降90%，而提前2.7秒，事故率可下降95%，所以AI算法的感知認(rèn)知領(lǐng)域的技術(shù)進(jìn)展推動了輔助ADAS以及自動駕駛ADS技術(shù)的行業(yè)落地也是勢在必然的。2021年統(tǒng)計數(shù)據(jù)表明，一個US司機在自然駕駛環(huán)境NDE下每英里的車禍發(fā)生平均概率約在百萬分之一的水平。而2021年US加州自動駕駛車輛AVs最好的disengagement rate也只能做到十萬分之一。由于篇幅原因，本文不準(zhǔn)備全面展開討論感知算法中眾多不確定性問題。只重點討論1-2個大家比較關(guān)注的技術(shù)難點。
“長尾問題”沒有一個很明確的定義，一般指AVs即使經(jīng)歷了交通公路百萬公里數(shù)的路況測試，對每個AI算法模塊而言，包括感知層和決策層(預(yù)測+規(guī)劃)，仍不能完全覆蓋各種各樣的低概率安全至關(guān)重要的復(fù)合駕駛場景，即所謂的“Curse of Rarity(CoR)稀缺問題”。業(yè)界對如何實現(xiàn)一個通用的任意目標(biāo)種類的檢測器或者是一個通用的運動目標(biāo)檢測器，依舊是一個未解的技術(shù)難題。如何定義和分析這些稀有場景，也可以有助于更好理解目標(biāo)檢測識別語義理解預(yù)測決策算法性能的提升，從而加速安全可靠的ADS解決方案的開發(fā)與部署。
如同圖15和本文開頭所提到的交通事故原因分析所述，CoR問題中稀有(小樣本)目標(biāo)的場景比比皆是，這里簡短羅列一些供大家參考：
Traffic Cone，Traffic Barrels, Traffic Warning Triangles未能被準(zhǔn)確識別導(dǎo)致的二次車禍場景
不容易被檢測到的公路上飄逸的塑料袋
山體滑坡導(dǎo)致公路路面障礙物
公路上行走的各類動物
車前方正常行駛交通車輛，如果裝載了交通交通標(biāo)志物體如何有效檢測和決策
有一定坡度的路面如何有效進(jìn)行2D/3D物體檢測
圖15：CoR小樣本目標(biāo)場景(Li 2022)
圖16：ADS中CoR問題的呈現(xiàn)圖 (Khan, 2022)
如圖16所示，CoR稀缺問題總體有很多中解決方法，但在機器人、ADS領(lǐng)域的一個關(guān)鍵挑戰(zhàn)是系統(tǒng)安全性能的保證。一個解決的思路是采用仿真來產(chǎn)生上述所提的大量稀少的安全事件場景，但仍然遠(yuǎn)遠(yuǎn)不夠，原因在于多數(shù)仿真環(huán)境采用手工設(shè)計的規(guī)則很難模仿現(xiàn)實駕駛場景的高復(fù)雜性與不確定性，安全相關(guān)的真實事件數(shù)據(jù)非常難以采集，實際路況中人車交互和車車交互也很難建模，安全度量和評估也同樣異常艱難。從AI算法角度，可以在仿真數(shù)據(jù)基礎(chǔ)上繼續(xù)結(jié)合Importance Sampling和Importance Splitting方法，Importance Sampling方法可以根據(jù)輸入的概率分布來對輸出的Likelihood Ratio釋然比進(jìn)行加權(quán)來產(chǎn)生無偏置的估計，這只適合簡單的場景。Importance Splitting方法強激勵的通道可以繼續(xù)分解，可以將稀有事件的估計分解成條件概率分布序列從而減少估計方差，但人工設(shè)置的閾值選取是一個挑戰(zhàn)，也很難評估Policy空間的性能敏感性，尤其是針對near-miss事件和交通事故等各類不確定性。
涉及交通安全的事件場景數(shù)據(jù)是非常稀缺的。假定上億英里里程數(shù)可能碰到一次AVs的致命事件，需要上萬億英里的里程數(shù)估計才能積累足夠的數(shù)據(jù)。從工程實踐來看是非常不現(xiàn)實的，雖然2022已有幾個國家先后開通了ADS L4車輛上路的法規(guī)，但這個僵局嚴(yán)重影響了AVs安全性能的提升和部署進(jìn)程。一個可行的方案是通過收集人駕駛的車輛數(shù)據(jù)，例如US交通部的統(tǒng)計，每年全國有3萬億英里的里程數(shù)累計，其中包括6百萬次車禍，2百萬人受傷，3萬人致命傷亡事件。避開數(shù)據(jù)采集的隱私問題不談，這類自然駕駛環(huán)境NDE海量車輛軌跡數(shù)據(jù)，可以有助于建立高保真NDE模型，從而通過仿真環(huán)境來構(gòu)建大量合成數(shù)據(jù)，這樣的思路在過去對其它行業(yè)感知類視覺任務(wù)已經(jīng)證明是非常行之有效的。
業(yè)界第二種思路是將這類涉及交通安全事件的發(fā)生概率降低到人類可以接受或者可以忽略的水平。如圖11所示，解決問題的途徑包括協(xié)同CAV技術(shù)，即通過對道路基礎(chǔ)設(shè)施部署大量的多模傳感設(shè)備(Camera, LIDAR, Radar)，通過 V2V，V2I(例如路邊邊緣計算設(shè)備RSD)和V2X通信技術(shù)來提供車車或者車路協(xié)同來實現(xiàn)知識與信息共享，有效解決單個AVs由于遮擋和有限視野問題產(chǎn)生的難決策的僵局。相對而言，單AV的多攝像頭、多模融合感知多任務(wù)共享，以及CAV(V2V,V2I)之間跨攝像頭、跨模感知融合技術(shù)目前已經(jīng)有非常明顯的進(jìn)展。
對目標(biāo)檢測任務(wù)而言，一個主要的發(fā)展趨勢，是從CNN(Compute-bound)向Transformer (memory-bound)演進(jìn)。CNN目標(biāo)檢測方法包括常用的Two-Stage Candidate-based常規(guī)檢測方法(Faster-RCNN)和One-Stage Regression-based 快速檢測方法(YOLO, SSD, RetinaNet, CentreNet)。Transformer目標(biāo)檢測方法包括DETR, ViT, Swin Transformer, Detection Transformer (如Error! Reference source not found.所示)等等。兩者之間的主要差別是目標(biāo)感知場的尺寸，前者是局部視野，側(cè)重目標(biāo)紋理，后者是全局視野，從全局特征中進(jìn)行學(xué)習(xí)，側(cè)重目標(biāo)形狀。
對于這些目標(biāo)檢測識別的SOTA深度學(xué)習(xí)DL模型而言，采用Softmax或者Sigmoid層做預(yù)測輸出，一個常見的問題是，由于遮擋等多因素原因，會導(dǎo)致網(wǎng)絡(luò)層產(chǎn)生過高的置信度預(yù)測，會遠(yuǎn)偏離實際的概率分布score，如圖17所示。而且DNN網(wǎng)絡(luò)越深，神經(jīng)元越多，這種叫做Overconfidence的交叉效應(yīng)也越明顯。對應(yīng)感知輸出結(jié)果會極大影響ADS決策甚至?xí)a(chǎn)生錯誤決策。一種可行的技術(shù)策略是在DNN中添加一個基于貝葉斯最大似然率ML或最大后驗概率MAP的推理層，這種基于目標(biāo)識別的概率特性可解釋性強，更值得信賴。
圖17：Softmax過高置信度分布VS概率密度分布的案例(Melotti 2022)
ADS算法設(shè)計的一個艱巨任務(wù)是如何減少Overconfidence預(yù)測，如何捕獲這種預(yù)測的不確定性。然而這類不確定性估計和對應(yīng)基于安全的設(shè)計是一個很大的挑戰(zhàn)，不確定性與采用的算法形態(tài)(模塊化的或者端到端的；多模態(tài)實現(xiàn)；深度融合或者部分模塊聯(lián)合建模的策略)、數(shù)據(jù)規(guī)模、不確定性的量化表征(熵、交互信息、KL Divergence、預(yù)測方差)、多智能體的交互狀態(tài)和行為都非常相關(guān)，也不容易建模，所以有改善，仍待從理論的角度進(jìn)行提高，這也是當(dāng)前學(xué)術(shù)研究的一個最大熱點，即如何有效對ADS系統(tǒng)進(jìn)行概率估計，確保AVs車輛在行駛中保持在一個安全狀態(tài)。一些有效的嘗試包括采用Generalized Polynomial Chaos(GPC)混沌學(xué)GPC模型來取代感知模型中的復(fù)雜度感知分量，并用來評估加入不安全狀態(tài)的狀態(tài)分布或者是概率，評估的準(zhǔn)確度很接近Monte Carlo仿真，并有幾倍計算速度提升。
ADS感知的數(shù)據(jù)驅(qū)動DDM模型，其安全可信某種程度上其實是來自與訓(xùn)練數(shù)據(jù)中隱含的行為定義，這對實現(xiàn)ADS安全至上的感知帶來了大挑戰(zhàn)。實際行駛應(yīng)用中(可以認(rèn)為是隨機的、部分可觀察的交互環(huán)境)可以通過對當(dāng)前運行狀態(tài)的不確定性進(jìn)行估計，進(jìn)而調(diào)整系統(tǒng)隨后的行為，和基于這些估計決定AVs的安全距離控制。
參考文獻(xiàn)：
【1】Z. Wu and etc., “DST3D: DLA-Swin Transformer for Single-Stage Monocular 3D Object Detection”, https://ieeexplore.ieee.org/document/9827462
【2】W. Wang and etc., “Towards Data-Efficient Detection Transformers”, https://arxiv.org/abs/2203.09507
【3】S. Nageshrao and etc., “Robust AI Driving Strategy for Autonomous Vehicles”, https://arxiv.org/pdf/2207.07829.pdf
【4】M. Khan and etc., “Level-5 Autonomous driving – are we there yet?”, https://www.researchgate.net/publication/358040996
【5】D. Paek and etc., “K-Radar: 4D Radar Object Detection Dataset” https://arxiv.org/pdf/2206.08171.pdf
【6】R. Mao and etc., “perception Enabled Harmonious and Interconnected Self-Driving”, https://arxiv.org/pdf/2207.07609.pdf
【7】L. Fan and etc., “Fully Sparse 3D Object Detection”, https://arxiv.org/pdf/2207.10035.pdf
【8】Z. Hau and etc., “Using 3D Shadows to Detect Object Hiding Attacks on Autonomous Vehicle Perception”, https://arxiv.org/pdf/2204.13973.pdf
【9】Y. Zhang and etc., “Autonomous Driving in Adverse Weather Conditions: A Survey”, https://arxiv.org/pdf/2112.08936v1.pdf
【10】N. Li and etc., “Traffic Context Aware Data Augmentation for Rare Object Detection in Autonomous Driving”,https://arxiv.org/pdf/2205.00376.pdf
【11】G. Melotti and etc., “Reducing Overconfidence Predictions in Autonomous Driving Perception”, https://arxiv.org/pdf/2202.07825.pdf
【12】E. Levy and etc., “EyeDAS: Securing Perception of Autonomous Cars Against the Stereoblindness Syndrome”, https://arxiv.org/pdf/2205.06765.pdf
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。
下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺實戰(zhàn)項目52講
在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。
在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~
