自動駕駛最核心的技術(shù)是什么？

點擊上方“小白學(xué)視覺”，選擇加"星標"或“置頂”
     
     

      
      

       
       
        
        

         重磅干貨，第一時間送達 
         
         
        
        
      
      
     
     

所長

鏈接：

https://www.zhihu.com/question/267204565/answer/2222217534

大家把自動駕駛各個技術(shù)板塊都扒的差不多了，我就從實際的車輛表現(xiàn)來說下我的看法。

前段時間我還在新能源媒體電動邦的時候開發(fā)了一套自動駕駛評測體系，當(dāng)時對Model 3、小鵬P7、蔚來ES6的自動駕駛功能進行了完整的測試。其中一項是對雪糕筒的識別和反饋：

三臺車在同樣的路段沖向同樣的樁桶 ，結(jié)果卻截然不同：

小鵬：直接沖過去。

特斯拉：變道躲避。

蔚來：提示駕駛員接管車輛，自動剎車，同時打開雙閃。

當(dāng)時我們測試的車輛速度是40-50km/h，理論上來說，以三臺車當(dāng)前的硬件能力，不可能識別不到前方樁桶，最終不同的表現(xiàn)其實代表的就是三臺車不同的決策邏輯，我們來聽下三臺車的內(nèi)心獨白：

小鵬P7：前方有樁桶？這是施工路段吶，理論上這屬于駕駛員自己接管的范圍，主動介入有可能造成危險，萬一出了事責(zé)任也很難劃分清楚吧？算了，還是維持當(dāng)前操作！

特斯拉：前方有障礙物？哈哈，大顯身手的機會來了！看我的，變道避障！

蔚來：前方有障礙物？可能有危險吧？不行不行，趕緊剎車降速，同步告知駕駛員和周圍車輛，小心！有危險啊！

針對以上三臺車的表現(xiàn)，肯定會有人覺得特斯拉“太激進”，或者P7“太保守”，當(dāng)然這不是本次回答的重點，以后有機會再深入交流。

回到題目：“自動駕駛最核心的技術(shù)是什么”。我認為是決策的能力和決策的邏輯。

隨著激光雷達的應(yīng)用、其他傳感器能力的加強，車輛能“感知”到的信息一定會越來越豐富，但我覺得這并不一定代表著自動駕駛能力一定會加強。

之前做市場調(diào)研，剛接觸到“大數(shù)據(jù)”的時候特別興奮，我們能拿到運營商和銀聯(lián)的數(shù)據(jù)，而且能夠打通（當(dāng)時管控還沒那么嚴），這意味著幾乎所有的消費者網(wǎng)絡(luò)行為和消費行為都是能獲取的，本以為就此擁有了“王炸”的調(diào)研資源，但是，實際做出來的分析報告卻并不理想。后來慢慢明白了，大數(shù)據(jù)，能用好才是寶礦，用不好就是一堆垃圾。

我想自動駕駛的道理應(yīng)該是差不多？歡迎自動駕駛開發(fā)的大拿們前來交流指正。

小方有點小方

原鏈接：

https://www.zhihu.com/question/267204565/answer/2211929588

個人認為自動駕駛技術(shù)的核心實際上還是決策。過去幾年由于視覺感知的不穩(wěn)定，自動駕駛的發(fā)展收到了極大的制約，因此很多人都認為環(huán)境感知才是自動駕駛技術(shù)的核心。但隨著環(huán)境感知的硬件越來越好，底層控制系統(tǒng)越來越精準，智能決策的重要性越來越關(guān)鍵。

如果自動駕駛類比人開車，那么感知就類似于人的眼耳，獲取汽車周邊的環(huán)境信息，而手腳則是偏執(zhí)行層的控制。那么自動駕駛的核心就應(yīng)該更偏向腦部的功能——決策。

作為一名開發(fā)工程師，在過去我們往往都在吐槽Mobileye的攝像頭或者哪家的雷達不行（眼神不太好），譬如車道線無法準確識別，靜止車輛在遠距離識別不到，這個目標又丟了，然后再加一堆的邏輯去解決這些參數(shù)異常跳動或者目標無法準確識別、丟失等問題。除此之外還需對執(zhí)行層進行調(diào)試，譬如這個EPS死區(qū)有點大，這個車輛制動響應(yīng)不太好（可以理解為手腳不太好使）。但隨著供應(yīng)商以及自研技術(shù)的提升，這樣的場景越來越少了，無車道線場景也可以給出安全行駛的邊界了，大家也有更多的精力去打磨決策相關(guān)的內(nèi)容了，在學(xué)會走路的基礎(chǔ)之上，研究如何的跑的更快，跑的更優(yōu)雅了。

華為自動駕駛demo視頻放出來之后，大家討論的更多的也是其在低速擁堵場景下的智能表現(xiàn)，自動駕駛汽車不再像過去那樣傻傻的按照簡單的既定規(guī)則去運行，開始有一些新的閃避、加塞、試探、博弈的技能點，自動駕駛系統(tǒng)開車可以更優(yōu)雅更協(xié)調(diào)更像“人類”了。

在以前，我們可以把車輛的行為分為縱向的加減速和橫向的車道保持和變道。但隨著自動駕駛技術(shù)的發(fā)展，人類交通參與者與自動駕駛汽車并存，這種簡單的組合已經(jīng)不太能夠滿足高階自動駕駛的需要，汽車在行為層面需要可能需要做出更精細的分類，并設(shè)計一套更復(fù)雜、更類人的決策系統(tǒng)，做出未來一段時間更合理更智能的行為序列，從而化身我們口中的充滿靈動而又穩(wěn)重的“老司機”。

Sean

原鏈接：

https://www.zhihu.com/question/267204565/answer/2219851929

游戲規(guī)則

除了前面幾位提到的感知，決策，我認為一套合理的開發(fā)、評價和管理體系，是大部分公司所缺失的，這里面涉及的東西很多，遠遠超出了核心技術(shù)的概念。

1）能不能

比如，我想識別所有的障礙物，但是你能枚舉出所有的障礙物來測試嗎？大千世界，無奇不有，顯然是不能枚舉完的。所以，那些沒測過的障礙物，風(fēng)險怎么評估呢？你敢在產(chǎn)品放行文件上簽字嗎？

OK，我知道有仿真，仿真能大大提高測試的覆蓋度，那么仿真和實際的偏差，怎么評估呢？仿真能識別了，實際就能嗎？

簡單來說就是幾個問題，第一，你知道你能識別什么，但是你知道你不能識別什么嘛？第二，如果你知道不能識別，那你能及時報警讓駕駛員接管嗎？第三，如果沒接管，你能及時執(zhí)行最小風(fēng)險策略嗎？這些需要一套體系來管理和評價。

SOTIF能解決不少問題，但是SOTIF，有幾個公司能完全用起來呢。更別說SOTIF解決不了的問題了。

2）可不可靠

之前是一些模糊邊界的問題。那么對于已經(jīng)定義清楚的功能，怎么保證可靠性呢？

功能安全里有個安全目標的概念，簡單說就是對于影響安全的事件（比如制動失效），有一套體系來保證相關(guān)的功能是可靠的。這里就引出了最常用的提高可靠性的方法---冗余。

冗余在傳統(tǒng)的車輛上很常見，比如扭矩計算，比如制動執(zhí)行機構(gòu)的冗余。但是對于自動駕駛的一些問題，比如基于AI的感知，目前還不好做。

因此，我們沒法直接套用功能安全的體系，來保證我們已經(jīng)定義并實施的功能，是‘可靠’的。那怎么辦呢？可以結(jié)合數(shù)據(jù)閉環(huán)來debug。但有個問題是，數(shù)據(jù)閉環(huán)是滯后的。就算用測試車，測試車的數(shù)據(jù)在數(shù)量和test case的覆蓋度是比較局限的。OK，所以還要結(jié)合仿真，所以老問題又來了，仿真測試能過，路測就可以嗎？偏差怎么評估呢？

這就是一系列如何評價可靠性的問題。

我不是對自動駕駛悲觀，只是覺得要正視問題，避免盲目自信。

也許以后有更好的體系來支撐自動駕駛的開發(fā)，但是歸納起來一句話---都需要時間。但是我不希望有車企用激進的方式，像特斯拉那樣用消費者來做測試，加速這個進步。

大包子貍

原鏈接：

https://www.zhihu.com/question/267204565/answer/2216606250

決策！這個答案基本無疑了。

人類是如何走路的

講到最核心的技術(shù)，那一定要知道自動駕駛一共有哪些環(huán)節(jié)？在了解這些環(huán)節(jié)之前，我們不妨看看我們自己，人類是怎么實現(xiàn)走路的呢？

首先是觀察，我們走路的時候，會用眼睛去看路和路上的情況，用耳朵去聽周邊的聲音，用腳（偶爾會加上手和身體）去觸摸道路的情況。比如：

“前面有個轉(zhuǎn)彎，這里是個十字路口”

“后面好像有腳步聲越來越近了，而且聲音越來越大了”

*“現(xiàn)在腳下都是爛泥，感覺腳都陷進去了” *

然后，這些看到、聽到和觸摸到的情況都被傳送到你的大腦，你就會在大腦里做各種分析和判斷：

“在這個十字路口，我要向右轉(zhuǎn)彎了”

*“后面的人感覺走的很快，我要讓開他，避免他撞上我” *

“路太差了，我要走慢一點”

通過你大腦的決策以后，你的身體開始做出反應(yīng)，你的手、腳和身體開始執(zhí)行大腦的命令：

“腳開始向右邊移動，最短距離的進入彎道”

“身體向距離聲音比較遠的方向移動，甚至靠近聲音比較近的身體做一些側(cè)傾的避讓動作”

*“腳的動作變緩，每踩一步，都要更慢和更穩(wěn)定” *

所以，人就是通過上面的三個部分的不斷循環(huán)，來實現(xiàn)了走路。其實，自動駕駛也是通過這三個部分，來實現(xiàn)了車輛的行駛，這三個部分就是感知，決策和執(zhí)行三個部分。

自動駕駛是如何工作的

上面的部分已經(jīng)說到了，自動駕駛分為感知、決策和執(zhí)行三個部分，那么在實際過程中，目前的車輛大概按照這些流程來進行操作。

首先是感知，目前來說，我們具有感知功能的車輛普遍安裝了各種傳感器，包括激光雷達，毫米波雷達，超聲波雷達，攝像頭，高精地圖，定位系統(tǒng)等等設(shè)備，這些設(shè)備在工作的過程中，收集了大量的數(shù)據(jù)，比如激光雷達收集到了大量的點云數(shù)據(jù)，超聲波雷達收集到了距離和速度的數(shù)據(jù)，攝像頭收集到了大量的形狀數(shù)據(jù)，定位系統(tǒng)收集到了坐標系的數(shù)據(jù)，這些數(shù)據(jù)都通過清洗和整理后，被傳輸?shù)經(jīng)Q策模塊。

其次到了決策，在感知把這些數(shù)據(jù)提交到了決策模塊之后，決策模塊就要開始工作了，把所有的這些數(shù)據(jù)和車輛的運動結(jié)合起來，比如毫米波雷達告訴你前車的速度突然降低了，那么決策模塊就會做出“立即降低車速”的決策，又比如視覺模塊報告前方有交通錐，那么決策模塊就做出“變道，繞開”的決策，這些都是需要決策模塊進行判斷的。其實在這個階段，不僅僅有這么大方向的決策，還有很多小細節(jié)上，比如減速的距離，減速的下降速率，變道的時機，甚至對感知到的車輛將來行駛軌跡的預(yù)測，這些都和駕駛?cè)藛T的體驗密切相關(guān)，往往要做一個好的決策，需要融合多方面的數(shù)據(jù)。

最后就是執(zhí)行，在執(zhí)行層面，主要是完成決策交待的任務(wù)，比如決策模塊做出了“減速”的決策，如何來落實減速的決策，車輛可能會調(diào)用制動器去操作，也可能用動能回收的方式來實現(xiàn)車輛的減速。當(dāng)然，再很多更復(fù)雜的決策下，車輛或許需要聯(lián)合規(guī)劃方向盤、加速、剎車等部件的動作，才能達到預(yù)定目標。比如下面的視頻中，車輛根據(jù)綜合傳感器的融合，做出了減速、變道和急剎等反應(yīng)：

為什么決策最重要？

首先的就是對數(shù)據(jù)進行分析，由于目前的量產(chǎn)車上來說，感知硬件非常多，會收集到非常多的數(shù)據(jù)，那么如何融合和利用這些數(shù)據(jù)，就成了一個很大的問題。舉個簡單的例子：

毫米波雷達：報告決策中心，前方發(fā)現(xiàn)橫在道路上的重型卡車。

視覺攝像頭：決策中心，前方一路通暢，未有障礙。

激光雷達：前面看到的是一輛電動車。

決策中心：……停車？正常行駛？繞行？

這個時候，就要依靠決策來融合各方面的數(shù)據(jù)來進行判斷，比如按照不同的場景來設(shè)置不同的權(quán)重，來進行判斷，比如通過高精地圖信息我們發(fā)現(xiàn)車輛這個時候正要進入隧道，毫米波雷達發(fā)現(xiàn)的重型卡車很可能只是隧道上方的名牌，但是視覺攝像頭因為光線陰影沒有發(fā)現(xiàn)機動車道上的小型電動車，那么我們就可以采取及時繞行的策略。如果沒有決策，那么車輛的自動駕駛就很難做進一步的操作。

其次是任務(wù)決策。任務(wù)決策主要是做多個層級的任務(wù)規(guī)劃，比如規(guī)劃從點到點的道路行駛路徑，規(guī)劃車道級的變道行駛策略，行駛過程中的各種繞行時機等。這些策略會根據(jù)交通流的復(fù)雜度進行改變，從而不斷調(diào)整自動駕駛的動作。比如當(dāng)探測到當(dāng)前道路堵塞的時候，要求重新規(guī)劃任務(wù)，并做分解調(diào)整。

最后是用戶體驗上的決策。比如同樣是ACC的自動降速，可以在偵測到前車減速的時候，立即采取快速制動，這樣操作簡單還不容易發(fā)生碰撞，但是用戶體驗上就會大大下降，相當(dāng)于坐在一個不停的踩剎車和油門的新手司機上。另一種方法就是可以按照減速的程度和距離前車的距離進行線性的減速，這樣的體驗會對用戶更加友好，但是可能在算法上要求就更高一點。

所以，決策系統(tǒng)通過感知信息來進行決策判斷，確定適當(dāng)工作模型，制定相應(yīng)控制策略，替代人類駕駛員做出駕駛決策。這部分的功能類似于給自動駕駛汽車下達相應(yīng)的任務(wù)，類似于自動駕駛的大腦，這才是整個駕駛過程中最重要的一部分，而且在實踐中，目前無論是自動駕駛公司還是大規(guī)模量產(chǎn)的輔助駕駛技術(shù)中，硬件堆砌的水平基本上差距不大，核心競爭的還是決策算法，比如說特斯拉的輔助駕駛為什么領(lǐng)先？為什么可以實現(xiàn)純視覺的優(yōu)勢，更多的還是其算法上的優(yōu)勢。比如下面的視頻中，特斯拉僅僅依靠視覺，AP就可以通過無道線路口，目前應(yīng)該是尚未有其他量產(chǎn)的2級駕駛自動化車輛可以實現(xiàn)這一技術(shù)。

Mr.Zhang

原鏈接：

https://www.zhihu.com/question/267204565/answer/2216804968

純技術(shù)方面什么最核心大家估計誰都說服不了誰，然而我覺得大家需要站得更高一點來看這個問題。

我認為自動駕駛最核心的技術(shù)是能夠賺到錢。

純技術(shù)方面到最后大家都是趨同的，關(guān)鍵還是誰能搞清楚哪個賽道以及哪種商業(yè)模式是能賺錢讓自己活下去的。

現(xiàn)在全球搞自動駕駛的公司太多了，昨天某國內(nèi)頭部獨角獸又分裂出三個新公司，然而可以預(yù)見的是這個市場并不需要這么多同質(zhì)化的公司反復(fù)造輪子，找不到合適的商業(yè)模式的公司五年內(nèi)就會死掉一大批。

目前看來還沒有一家搞高級別自動駕駛的公司是能夠盈利的，包括最早入局的那一家。反而是某家兼營ADAS解決方案供應(yīng)商的獨角獸似乎更受資本和市場的青睞，所以很多其他獨角獸現(xiàn)在也都在嘗試和傳統(tǒng)車企已經(jīng)Tier1接觸并尋求合作。

所以說不管你感知規(guī)劃做得多好  ，搞不明白該怎么賺錢的公司，最終也只能淪為為他人做嫁衣。

看完了以上討論，你認為自動駕駛最核心的技術(shù)是什么？，歡迎留言區(qū)討論

    
    

     下載1：OpenCV-Contrib擴展模塊中文版教程
     
     

    
    
    
    

     在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
    
    
    
    

     
     

    
    
    
    

     下載2：Python視覺實戰(zhàn)項目52講
    
    
    
    

     在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。
    
    
    
    

     
     

    
    
    
    

     下載3：OpenCV實戰(zhàn)項目20講
    
    
    
    

     在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。
    
    
    
    

     
     

    
    
交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~