多傳感器融合為什么是自動駕駛的必由之路?
點擊上方“小白學視覺”,選擇加"星標"或“置頂”
重磅干貨,第一時間送達 ![]()
智能網(wǎng)聯(lián)汽車,與自動駕駛有什么關(guān)系?
自動駕駛核心在于車,那智能網(wǎng)聯(lián)系統(tǒng)又是什么呢?智能網(wǎng)聯(lián)的載體也是車,但核心是需要連接的網(wǎng)絡(luò)。一個是汽車內(nèi)部的傳感器和智能控制系統(tǒng)構(gòu)成的一張網(wǎng)絡(luò),另一個是所有汽車連接、共享的網(wǎng)絡(luò)。網(wǎng)聯(lián)就是將一臺車置身到一張大的網(wǎng)絡(luò)之中,去交換重要的信息,比如位置、路線、速度等信息。智能網(wǎng)聯(lián)系統(tǒng)的發(fā)展目標就是通過汽車內(nèi)部傳感器和控制系統(tǒng)的設(shè)計優(yōu)化能夠改善汽車的安全性和舒適性,使汽車更加人性化,當然終極目標是在實現(xiàn)無人駕駛。
上次說到自動駕駛汽車三大核心輔助系統(tǒng):環(huán)境感知系統(tǒng)、決策與規(guī)劃系統(tǒng)和控制與執(zhí)行系統(tǒng),這也是智能網(wǎng)聯(lián)汽車車輛本身必須解決的三大關(guān)鍵技術(shù)問題。
環(huán)境感知系統(tǒng)在智能網(wǎng)聯(lián)系統(tǒng)里面扮演什么角色?
什么是環(huán)境感知技術(shù),主要包含哪些內(nèi)容?
環(huán)境感知主要包括三個方面:傳感器、感知和定位。傳感器包括攝像頭、毫米波雷達、激光雷達以及超聲波,不同傳感器被安置在車輛上,分別發(fā)揮著采集數(shù)據(jù),識別顏色、測量距離等作用。

智能汽車要想采用傳感器獲得的數(shù)據(jù)去實現(xiàn)智能駕駛,通過傳感器獲得的數(shù)據(jù)必須經(jīng)過(感知)算法處理,匯算成數(shù)據(jù)結(jié)果,實現(xiàn)車、路、人等信息交換,使車輛能夠自動分析車輛行駛的安全還是危險狀態(tài),讓車輛能夠按照人的意愿實現(xiàn)智能駕駛,最終替代人來做出決策和無人駕駛目標。
那這里就會有個關(guān)鍵技術(shù)問題,不同傳感器發(fā)揮的作用不同,多個傳感器掃描到數(shù)據(jù)如何形成一個完整的物體圖像數(shù)據(jù)呢?
——多傳感器融合技術(shù)
攝像頭的作用主要是識別物體顏色,但會受陰雨天氣的影響;毫米波雷達能夠彌補攝像頭受陰雨天影響的弊端,能夠識別距離比較遠的障礙物,比如行人、路障等,但是不能夠識別障礙物的具體形狀;激光雷達可以彌補毫米波雷達不能識別障礙物具體形狀的缺點;超聲波雷主要識別車身的近距離障礙物,應用在車輛泊車過程中比較多。要想融合不同傳感器的收集到外界數(shù)據(jù)為控制器執(zhí)行決策提供依據(jù),就需要經(jīng)過多傳感器融合算法處理形成全景感知。
什么是多傳感器融合(融合算法處理),主要有哪些融合算法?
多傳感器融合基本原理就像人腦綜合處理信息的過程一樣,將各種傳感器進行多層次、多空間的信息互補和優(yōu)化組合處理,最終產(chǎn)生對觀測環(huán)境的一致性解釋。在這個過程中要充分利用多源數(shù)據(jù)進行合理支配與使用,而信息融合的最終目標則是基于各傳感器獲得的分離觀測信息,通過對信息多級別、多方面組合導出更多有用信息。這不僅是利用了多個傳感器相互協(xié)同操作的優(yōu)勢,而且也綜合處理了其它信息源的數(shù)據(jù)來提高整個傳感器系統(tǒng)的智能化。

多傳感器數(shù)據(jù)融合概念最早應用于軍事領(lǐng)域,近年來隨著自動駕駛的發(fā)展,各種雷達運用于車輛做目標的檢測。因為不同的傳感器都存在數(shù)據(jù)準確性的問題,那么最終融合的數(shù)據(jù)該如何判定?比如激光雷達報告前車距離是5m,毫米波雷達報告前車距離是5.5m,攝像頭判定前車距離是4m,最終中央處理器該如何判斷。那就需要一套多數(shù)據(jù)融合的算法來解決這個問題。
多傳感器融合的常用方法分為兩大類:隨機和人工智能。AI類主要是模糊邏輯推理和人工神經(jīng)網(wǎng)絡(luò)方法;隨機類方法主要有貝葉斯濾波、卡爾曼濾波等算法。目前汽車融合感知主要采用隨機類融合算法。
自動駕駛汽車融合感知算法課程主要采用卡爾曼濾波算法,利用線性系統(tǒng)狀態(tài)方程,通過系統(tǒng)輸入輸出觀測數(shù)據(jù),對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法,它是目前解決絕大部分問題都是最優(yōu)、效率最高的的方法。

多傳感器需要進行融合算法處理,企業(yè)相應就會需要融合感知類的算法工程師去解決多傳感器融合的問題,融合感知類的絕大多數(shù)的崗位要求都是需要能夠掌握多種傳感器的工作原理及信號的數(shù)據(jù)特征,能夠掌握融合算法進行軟件開發(fā)以及傳感器標定算法能力以及點云數(shù)據(jù)處理、深度學習檢測算法等等。
環(huán)境感知的的第三部分內(nèi)容——定位(slam)
Slam叫做同步定位和制圖,是假設(shè)場景是靜態(tài)情況下通過攝像機的運動來獲取圖像序列并得到場景3-D結(jié)構(gòu)的設(shè)計,這是計算機視覺的重要任務,攝像機獲得的數(shù)據(jù)經(jīng)過算法處理也就是視覺slam。
環(huán)境感知定位方法除了視覺slam,還有激光雷達slam、GPS/IMU和高精地圖。這些傳感器獲得的數(shù)據(jù)都是需要經(jīng)過算法的處理才能形成數(shù)據(jù)結(jié)果為自動駕駛決策提供位置信息依據(jù)。
所以想要從事環(huán)境感知方向的工作,不僅可以選擇融合感知算法崗位,還可以選擇slam方向。選擇轉(zhuǎn)崗感知算法類工作也是個不錯的選擇,專業(yè)熱門,薪資高,當然入門學習相比運動控制算法工程師課程需要一定的高等數(shù)學基礎(chǔ),課程難度中等。
多傳感器融合算法,目前不僅僅應用在自動駕駛領(lǐng)域,還應用在機器人領(lǐng)域,對于就業(yè)來說是個一大的契機。
本文僅做學術(shù)分享,如有侵權(quán),請聯(lián)系刪文。
下載1:OpenCV-Contrib擴展模塊中文版教程
在「小白學視覺」公眾號后臺回復:擴展模塊中文教程,即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版,涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2:Python視覺實戰(zhàn)項目52講
在「小白學視覺」公眾號后臺回復:Python視覺實戰(zhàn)項目,即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目,助力快速學校計算機視覺。
下載3:OpenCV實戰(zhàn)項目20講
在「小白學視覺」公眾號后臺回復:OpenCV實戰(zhàn)項目20講,即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目,實現(xiàn)OpenCV學習進階。
交流群
歡迎加入公眾號讀者群一起和同行交流,目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群(以后會逐漸細分),請掃描下面微信號加群,備注:”昵稱+學校/公司+研究方向“,例如:”張三 + 上海交大 + 視覺SLAM“。請按照格式備注,否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告,否則會請出群,謝謝理解~
