【06】無人駕駛的預測

1.簡介

無人車在與多物體之間穿梭行駛，這些物體本身就是一直在移動的，比如汽車、自行車、行人等，無人車需要預測這些物體的行為，來幫助無人車做出最佳的決策。通常情況會生成一條路徑來預測一個物體的行動軌跡，看下邊這輛車，它所在的車道是匝道，并且在入口處有右轉和減速的趨勢，此時我們就可以判斷他大概率是要下匝道了，因此車輛前方的箭頭就是我們?yōu)檐囕v生成的一條預測軌跡。

在無人車行駛的過程中，我們對所有的物體做出類似的預測，在每一個時間段內，我們會為每一輛車重新計算預測他們新生成的路徑，這些預測路徑為我們無人車在規(guī)劃階段做出合理的路徑規(guī)劃提供了必要的支持。

預測路徑有非常高實時性的要求，試想一下，假如一輛車以60km/h的速度行駛，那么每秒就是16.66米，所以系統(tǒng)稍微存在一些延遲就會產生很大的誤差，因此預測路徑對實效性的要求很高。

另一個要求就是準確性，以下圖為例，我們同向車道上有一輛車，他有可能會直行也可能并入我方車道，不同的行駛方式會決定自車的行駛方式，正確的預測有助于車輛保持連續(xù)且平穩(wěn)的行駛。

除了這些特性之外，預測功能還應該應用人工智能能力，自主學習新的行為，當路上有很多車的時候，情況變得復雜，開發(fā)出每種場景的靜態(tài)模型是不可能完成的任務，因此就需要預測模塊具備學習的能力，當我們使用多源的算法進行訓練的時候，隨著時間的推移，算法的預測能力能不斷的提升。

2.不同的預測方式

我們介紹兩種不同的預測方式。基于模型的預測與基于數(shù)據(jù)驅動預測。

假如我們在一個丁字路口，我們看到左邊有一輛車行駛而來，如下圖所示：

此時我們還不知道這輛車是要右轉還是要直行，用基于模型的方法，我們可以為這個場景創(chuàng)建兩個候選的預測模型，一個模型描述了該車進行右轉彎，在下圖中用綠色軌跡描述，另一份模型描述了該車繼續(xù)直行，我們用藍色軌跡描述，在此刻我們認為兩種軌跡發(fā)生的概率是相同的：

因此此時我們有兩個候選模型，每個模型都有自己的軌跡，我們繼續(xù)觀察白色車輛的移動，繼續(xù)預測他的行為，看和哪一條軌跡更加匹配，如果我們看到車輛開始向左變道，我們就可以更加確信車輛最終會直行，但如果我們看到車在左右轉彎的車道繼續(xù)保持著前行，我們則會預測車輛會進行右轉，這就是基于模型預測方法的工作原理。

另一種預測方法是數(shù)據(jù)驅動預測，數(shù)據(jù)驅動預測使用機器學習算法，通過觀察結果來訓練模型，一旦機器學習模型訓練好，我們就可以在現(xiàn)實世界中利用此模型去做出預測，數(shù)據(jù)驅動方法的優(yōu)點是訓練數(shù)據(jù)越多，模型效果越好。而基于模型的方法的優(yōu)點在于它的直觀，并且它結合了我們現(xiàn)有的物理知識以及交通法規(guī)還有人類行為多方面知識。

3.基于車道的預測

3.1 方法簡介

這里我們講講百度Apollo帶來的預測方式，它提供了一種基于車道序列的方法，來實現(xiàn)預測。為了建立車道序列，我們首先將道路分成多個部分，如下圖所示：

每一個部分都覆蓋了一個易于描述車輛運動的區(qū)域，如上圖所示的十字路口，為了預測，我們更關系車輛如何在這些區(qū)域內轉換，而不是車輛在某個區(qū)域內的具體行為，我們可以將車輛的行為劃分為一組有限的模式組合，并將這些模式組合描述為車道序列，例如車輛直行的運動可以描述為車道序列是0-1-3-7，如下圖所示：

這就是基于車道的預測。

3.2 障礙物的狀態(tài)

為了預測物體的運動，我們就需要知道物體的狀態(tài)，當我們開車時，作為人類，我們通過觀察一個物體的朝向、位置、速度和加速度來預測它接下來的行為，這種思路也是無人車觀察物體狀態(tài)的方式，除了上述四個參數(shù)之外，無人車還需要考慮車道段內物體的位置，例如預測模塊會考慮物體到車道線段邊界的縱向和橫向距離，也就是車輛在路段內的位置，除此之外，預測模塊還包含之前時間間隔的狀態(tài)信息，以便做出更加準確的預測。

3.3 預測目標車道

我們使用車道序列框架的目標是為道路上的物體生成預測軌跡，這是一個非常復雜的過程，我們先從一個稍微簡單的問題開始，我們會預測車道線段之間的過渡，假如我們在車道段0中檢測到一輛車，我們要預測在接下來的幾個時間段中它將如何行駛，現(xiàn)在有兩個顯而易見的情況，它可能會在0車道繼續(xù)行駛，然后右轉，或者可能轉向車道段1然后直行，如圖所示：

這個過程就已經將一個預測問題簡化為了一個選擇問題，可下來我們要做的就是選擇車輛最有可能采取的車道順序，我們可以通過計算每個車道序列的概率來進行選擇，我們需要一個模型，將車輛狀態(tài)和車道段作為輸入，該模型用于提供車輛可能采用的每個車道序列的概率，我們希望我們的模型能否學習新的行為，因此應該使用觀測數(shù)據(jù)對模型進行經驗性訓練，在訓練中，我們將真實的車輛行為提供給模型，真實車輛行為的數(shù)據(jù)不僅包括車道段和對象的狀態(tài)，還包括對象最終選擇哪條車道序列，隨著記錄和時間的增加，模型可以自我迭代和更新，精確度不斷提升，每個記錄結果中包括觀察對象跟隨的車道段序列和對象的相關狀態(tài)，在每個時間點，對象對應一段記錄結果并具有特定的狀態(tài)，整個記錄由一系列車道段和對象的相關狀態(tài)組成。

4.遞歸神經網(wǎng)絡

遞歸神經網(wǎng)絡（RNN）是一種利用時間序列數(shù)據(jù)特征的預測方法，在我們了解CNN之前，我們先來回顧一下之前提到過的神經網(wǎng)絡。

神經網(wǎng)絡是可訓練的多層模型，神經網(wǎng)絡從輸入，提取高級特征，并使用這些特征來計算得到輸出，例如現(xiàn)在有一個神經網(wǎng)絡來分類圖像是否包含汽車，網(wǎng)絡的中間層將提取諸如車輪、窗戶之類的特征，最終來實現(xiàn)識別。神經網(wǎng)絡有許多結構，一個基本的神經網(wǎng)絡首先得到輸入，然后將數(shù)據(jù)通過隱藏層，然后經過處理的到輸出，這種結果有時也被稱作多層感知網(wǎng)絡或MLP。在訓練的過程中，會有很多訓練數(shù)據(jù)輸入模型，每一個數(shù)據(jù)都由原始的數(shù)據(jù)和對應的標簽組成，例如輸入數(shù)據(jù)是一張圖片，而標簽就是一個包含汽車的符號或者其他符號。神經網(wǎng)絡從數(shù)據(jù)中學習的方式叫做后向傳播，首先神經網(wǎng)絡通道輸入并產生輸出，然后計算機比較輸出與真值之間的誤差，接著這種誤差通過后向傳回到整個神經網(wǎng)絡，中間的隱藏層會根據(jù)觀察到的這種差別調整其中的中間值或者叫權重，這樣可以提到神經網(wǎng)絡的準確率。該過程如下圖：

圖 輸出結果

圖 結果反向傳播

我們可以建立像這樣的多重結構的遞歸神經網(wǎng)絡，我們稱之為MLP單元，從數(shù)據(jù)序列中提取出高級特征，每個MLP單元將序列的一個元素作為輸入，并預測序列的下一個元素作為輸出，為了對元素之間的順序關系建立模型，我們在每個單元之間建立一個額外的連接，這意味著每個單元根據(jù)原始輸入和前一個單元的輸出進行預測，這就是RNN的基本結構。

5.遞歸神經網(wǎng)絡在車道線預測的應用

我們可以使用RNN建立模型來預測車輛的目標車道，這個過程需要兩個RNN模型，為車道序列提供一個RNN模型，為相關對象狀態(tài)提供另一個RNN模型，連接這兩個RNN的輸出并將他們饋送到另一個神經網(wǎng)絡，該神經網(wǎng)絡會顧及每個車道序列的概率，具有最高概率的車道序列是我們預測目標車輛將遵循的序列，這個過程如下圖：

為了訓練這個網(wǎng)絡，我們使用現(xiàn)有的記錄，每條記錄都包含一個車道序列、相關的對象狀態(tài)和一個標簽，該記錄用于指示對象是否遵循此特定的車道序列，在訓練中，我們比較網(wǎng)絡輸出和真值標記，并反向傳播來訓練網(wǎng)絡。

6.軌跡生成

講了這么多，最后一步就是預測的結果，輸出一段軌跡。一旦我們預測到物體的車道序列，我們就可以預測物體的軌跡，在任何兩個點A和B之間，物體的行駛軌跡有無限種可能：

我們如何預測最有可能的軌跡，我們可以先通過設置約束條件，來去除大部分的候選軌跡。

首先，我們假設汽車將于目標車道的中心對齊，這就能輕易排除掉上圖中右上角的三條路線。我們繼續(xù)去去除一些車輛無法實際執(zhí)行的軌跡，例如左下角的兩條軌跡，我們通過車輛的當前速度和加速度，從剩下的最后兩條最中間的軌跡中進行選擇，這就相對容易很多了。從上圖中來看，我們其實并沒有列出所有可能的軌跡，相反我們只是在數(shù)學理論上來應用這個想法，注意車輛在兩點的位置和方位，這兩個姿勢表示運動模型的初始狀態(tài)和最終狀態(tài)，我們可以使用這兩個條件來擬合一個多項式模型，在大多數(shù)情況下，這種多項式足以進行預測。