綜述：基于深度強化學習的自動駕駛算法

點擊下方卡片，關(guān)注“新機器視覺”公眾號

重磅干貨，第一時間送達

轉(zhuǎn)載自：paperweekly

?作者 |?陳道明?學校 |?布里斯托爾大學?研究方向 |?自動駕駛方向

這是 21 年的一篇綜述文章，可以算得上是最前沿的自動駕駛技術(shù)綜述。這幾年隨著深度表征學習的發(fā)展，強化學習領(lǐng)域也得到了加強。本文會對目前最先進的自動駕駛 DRL 算法進行匯總和分類。

論文標題：

Deep Reinforcement Learning for Autonomous Driving: A Survey

論文鏈接：

https://arxiv.org/abs/2002.00444

—— 01?簡介 ——

自動駕駛系統(tǒng)（AD system），由多個級別的感知和控制任務組成，目前在感知方面，已經(jīng)可以通過深度學習架構(gòu)來實現(xiàn)。但在控制層面，經(jīng)典的監(jiān)督學習已經(jīng)不再使用，因為代理需要在每一個瞬間做出動作決策，這些決策可能會改變場景條件。

▲?自動駕駛各級別的任務

—— 02?AD system 的組成 ——

2.1 感知模塊（Preception Module）

感知模塊的目標是創(chuàng)建環(huán)境狀態(tài)的中間級別表示（例如所有障礙物和代理的鳥瞰圖），稍后將由最終產(chǎn)生駕駛策略的決策系統(tǒng)使用。該狀態(tài)將包括車道位置、可行駛區(qū)域、代理（例如汽車和行人）的位置、交通信號燈的狀態(tài)等。感知中的不確定性傳播到信息鏈的其余部分。強大的傳感對于安全至關(guān)重要，因此使用冗余源可以提高檢測的信心。這是通過語義分割、運動估計、深度估計、污點檢測等幾種感知任務的組合來實現(xiàn)的，這些任務可以有效地統(tǒng)一成一個多任務模型。

▲?多視角相機融合的鳥瞰

2.2 場景理解（Scene Understanding）

該模塊的作用是將感知模塊獲得的信息映射到高級動作或決策層。該模塊旨在提供對場景的更高層次的理解，通過融合異構(gòu)傳感器源（如激光雷達、相機、雷達、超聲波），抽象和概括場景信息，為決策制定提供簡化的信息。

2.3 定位和建圖（Localization and Mapping）

定位和建圖技術(shù)，又稱 SLAM 是自動駕駛的關(guān)鍵技術(shù)之一。由于問題的規(guī)模，傳統(tǒng)的 SLAM 技術(shù)通過語義對象檢測得到增強，以實現(xiàn)可靠的消歧。此外，局部高清地圖（HD maps）可以用作物體檢測的先驗。

2.4 規(guī)劃和推動策略（Planning and Driving Policy）

軌跡規(guī)劃是自動駕駛中的關(guān)鍵模塊，在高清地圖或基于 GPS 的地圖上計劃路線，并引導代理生成運動層的命令。經(jīng)典運動計劃會忽略環(huán)境動態(tài)和差分約束，因此類似于 A* 算法之類的基于 Djisktra 的算法在此問題中并不適用。而快速探索隨機樹（RRT）通過隨機采樣和無障礙路徑生成來探索配置空間。目前有多種版本的 RRT 被用于自動駕駛管道中的運動規(guī)劃。

2.5 控制（Control）

這是最底層的運動控制，即汽車的加速加速，方向盤的轉(zhuǎn)動角度，以及剎車。目前的車輛控制通常是基于經(jīng)典的最優(yōu)控制理論，通過狀態(tài)空間方程??中的汽車當前狀態(tài)??和 控制輸入量??來控制汽車。此方法通常使用 MPC 模型和 PID 控制器使車輛跟隨軌跡。但是目前自動駕駛車輛通常使用的是強化學習，該方法的好處是可以處理隨機控制問題以及具有未知獎勵和狀態(tài)轉(zhuǎn)移概率的不適定問題。更多此方面的內(nèi)容推薦閱讀綜述文?[1]。

—— 03?強化學習 ——

強化學習（RL）是于 監(jiān)督學習（Sueprvised Learning）和非監(jiān)督學習（Unsupervised Learning）之外的第三種機器學習（Machine Learning）方式。RL 通過一個代理來完成行動策略。代理的目標是最大化在其生命周期內(nèi)收到的累積獎勵。代理可以通過利用了解不同狀態(tài)-動作對的預期效用（即預期未來獎勵的折扣和）的知識來逐漸增加其長期獎勵。

在形式化涉及單個 RL 代理的順序決策問題時，馬爾可夫決策過程 (MDP) 是最流行的解決方法。MDP 由一個狀態(tài)集合?、一個動作集合?、一個轉(zhuǎn)移函數(shù)??和一個獎勵函數(shù)??組成。通過目標是找到最優(yōu)策略 ，從而產(chǎn)生最高的折扣獎勵總和期望值：

其中，?是遵循策略??的狀態(tài)值方程，?是折扣系數(shù)，，?用于控制代理如何看待未來的獎勵，低??值鼓勵代理人的短視行為，其中代理人旨在最大化短期獎勵，而高??值導致代理人更具前瞻性并在更長的時間范圍內(nèi)最大化獎勵。?為時間步數(shù)，它可以是有限的也可以是無限的。

另一個與狀態(tài)函數(shù)方程相關(guān)的是狀態(tài)-動作方程，又稱為“Q值”：

▲?MDP 決策的組成部分和關(guān)系圖

在許多現(xiàn)實世界的應用領(lǐng)域中，智能體不可能觀察到環(huán)境狀態(tài)的所有特征；在這種情況下，決策問題被表述為部分可觀察的馬爾可夫決策過程（POMDP）。解決強化學習任務意味著找到一個策略?，該策略使狀態(tài)空間中軌跡上的期望折扣總和最大化。

RL 代理可以直接學習價值函數(shù)估計、策略和/或環(huán)境模型。動態(tài)規(guī)劃（DP）算法可用于在給定環(huán)境模型的獎勵和轉(zhuǎn)移函數(shù)方面計算最優(yōu)策略。與 DP 不同，在 MonteCarlo 方法中沒有完整環(huán)境知識的假設(shè)。蒙特卡洛方法在逐集意義上是增量的。情節(jié)完成后，價值估計和政策被更新。

另一方面，時間差（TD）方法在逐步意義上是增量的，使其適用于非情節(jié)場景。與蒙特卡羅方法一樣，TD 方法可以直接從原始經(jīng)驗中學習，而無需環(huán)境動態(tài)模型。與 DP 一樣，TD 方法基于其他估計來學習它們的估計。

文章對于 RL 和 DRL 的算法進行了綜合性的概述，這里不做詳細的解釋，建議系統(tǒng)性的學習這些算法。

—— 04 自動駕駛?cè)蝿罩械膹娀瘜W習 ——

在自動駕駛中，RL 可以完成的任務有：控制器優(yōu)化、路徑規(guī)劃和軌跡優(yōu)化、運動規(guī)劃和動態(tài)路徑規(guī)劃、為復雜導航任務開發(fā)高級駕駛策略、高速公路、交叉路口、合并和拆分的基于場景的策略學習，預測行人、車輛等交通參與者的意圖，并最終找到確保安全和執(zhí)行風險估計的策略。

4.1 狀態(tài)空間、動作空間和獎勵

為了成功地將 DRL 應用于自動駕駛?cè)蝿眨O(shè)計適當?shù)臓顟B(tài)空間、動作空間和獎勵函數(shù)非常重要。

4.1.2 狀態(tài)空間

自動駕駛汽車常用的狀態(tài)空間特征包括：本車的位置、航向和速度，以及本車的傳感器視野范圍內(nèi)的其他障礙物。此外，我們通常使用一個以自主車輛為中心的坐標系，并在其中增強車道信息，路徑曲率、自主的過去和未來軌跡、縱向信息等。我們通常會使用一個鳥瞰圖來展示這些信息。

▲?鳥瞰圖

4.1.3 動作空間

自主車輛的控制策略需要操縱一系列執(zhí)行器，比如方向盤，油門和剎車（暫時不考慮其他的執(zhí)行器）。有一點需要注意的是，這些控制器都是在連續(xù)空間中運行的，而大多數(shù) DRL 控制器屬于離散空間。因此我們需要選擇合適的時間步長。

獎勵為自動駕駛的 DRL 代理設(shè)計獎勵函數(shù)仍然是一個懸而未決的問題。AD 任務的標準示例包括：向目的地行駛的距離 、本車的速度、使本車保持靜止、與其他道路使用者或場景對象的碰撞，人行道上的違規(guī)行為，保持在車道上，保持舒適和穩(wěn)定性，同時避免極端加速、制動或轉(zhuǎn)向，并遵守交通規(guī)則。

4.2 運動規(guī)劃和軌跡優(yōu)化

運動規(guī)劃是確保目標點和目的地點之間存在路徑的任務。但是動態(tài)環(huán)境和變化的車輛動力學中的路徑規(guī)劃是自動駕駛中的一個難題，比如通過十字路口，或者并入高速公路。有許多文章在這方面做了嘗試，并獲得了不錯的效果，比如論文?[4] [5] [6] [7]。

4.3 模擬器和場景生成工具

自動駕駛數(shù)據(jù)集使用包含圖像、標簽對的訓練集來處理監(jiān)督學習設(shè)置，用于各種模式。強化學習需要一個可以恢復狀態(tài)-動作對的環(huán)境，同時分別對車輛狀態(tài)、環(huán)境以及環(huán)境和代理的運動和動作的隨機性進行建模。各種模擬器被積極用于訓練和驗證強化學習算法。具體信息如下：

—— 05?自動駕駛在現(xiàn)實世界的挑戰(zhàn) ——

此部分內(nèi)容我目前不會接觸到，因此先留個坑，等以后再填。

參考文獻

[1] A Survey of Deep Learning Applications to Autonomous Vehicle Control:

https://ieeexplore.ieee.org/abstract/document/8951131?casa_token=fwUZxwU0Eo8AAAAA:B

[2] End-to-End Deep Reinforcement Learning for Lane Keeping Assist:https://arxiv.org/abs/1612.04340

[3] Deep Reinforcement Learning framework for Autonomous Driving:https://www.ingentaconnect.com/content/ist/ei/2017/00002017/00000019/art00012

[4] A Reinforcement Learning Based Approach for Automated Lane Change Maneuvers:https://ieeexplore.ieee.org/abstract/document/8500556?casa_token=OcyB7gHOxcAAAAAA:JrwO6

[5] Formulation of deep reinforcement learning architecture toward autonomous driving for on-ramp merge:https://ieeexplore.ieee.org/abstract/document/8317735?casa_token=HaEyBLwaSU0AAAAA:5

[6] A Multiple-Goal Reinforcement Learning Method for Complex Vehicle Overtaking Maneuvers:https://ieeexplore.ieee.org/abstract/document/5710424?casa_token=Y-bJbe3K9r0AAAAA:ZNo

[7] Navigating Occluded Intersections with Autonomous Vehicles Using Deep Reinforcement Learning:https://ieeexplore.ieee.org/abstract/document/8461233?casa_token=uuC5uVdLp60AAAAA:6fr7

[8] Reinforcement Learning with A* and a Deep Heuristic:https://arxiv.org/abs/1811.07745

[9] CARLA: An Open Urban Driving Simulator:https://proceedings.mlr.press/v78/dosovitskiy17a.html

[10] TORCS - The Open Racing Car Simulator:https://sourceforge.net/projects/torcs/

[11] MADRaS Multi-Agent DRiving Simulato:https://www.opensourceagenda.com/projects/madras

[12] Microscopic Traffic Simulation using SUMO:https://ieeexplore.ieee.org/abstract/document/8569938?casa_token=1z4z-bT6kTsAAAAA:BdTO6tJB4xEgr_EO0CPveWlForEQHJWyprok3uyy3DssqzT-7Eh-pr7H__3DOJPDdpuIVUr7Lw

[13] Flow: Architecture and Benchmarking for Reinforcement Learning in Traffic Control:https://www.researchgate.net/profile/Abdul-Rahman-Kreidieh/publication/320441979_Flow_Archite

[14] A Collection of Environments for Autonomous Driving and Tactical Decision-Making Tasks:https://github.com/eleurent/highway-env

本文僅做學術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

—THE END—