自動駕駛高清地圖問題的研究

點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達(dá)

地圖是構(gòu)建自動駕駛技術(shù)的關(guān)鍵組成部分。與如今廣泛用于導(dǎo)航的常規(guī)網(wǎng)絡(luò)地圖服務(wù)不同，自動駕駛汽車（AV）的特殊需求需要一類新的高清（HD）地圖。這些高清地圖需要具備以前所未有的厘米級分辨率，這比今天Web地圖服務(wù)提供的米級分辨率要高一到兩個數(shù)量級。

視音頻設(shè)備需要如此高的分辨率，因為它們需要執(zhí)行復(fù)雜的操作，例如，鉆入自行車道以轉(zhuǎn)彎并安全地通過騎自行車的人。在美國，標(biāo)記的自行車道通常為4英尺（1.2米）寬，但對于未標(biāo)記的車道則可以窄至2英尺（0.6米）。車道標(biāo)記本身為4英寸（10厘米）寬。厘米級的精確地圖使AV能夠自信地推斷其在車道中的位置，評估與路緣的距離并果斷采取必要的行動。

今天，我們將分享我們?nèi)绾蝧hi用于自動駕駛的高清地圖，以及如何生成和組織高清地圖中的各種信息以供AV使用。主要面向有興趣了解高清地圖及其如何為自動駕駛提供動力的小伙伴們。

什么是高清地圖？

高清地圖并不是新提出的的。幾家繪圖和自動駕駛公司已經(jīng)開始制作和使用高清地圖。但是，關(guān)于這些地圖的構(gòu)建方式，其包含的信息的豐富程度以及準(zhǔn)確性的精確度，還處于初期。各個公司正在快速發(fā)展以改進(jìn)這些高清地圖，因此，目前各種提供商和消費者之間幾乎沒有一致的標(biāo)準(zhǔn)。

我們正在構(gòu)建高清地圖的目的是用于大規(guī)模運營的自動駕駛汽車。總體目標(biāo)是成為第一個大規(guī)模運營的自動駕駛汽車的地圖提供者。這里的規(guī)模意味著數(shù)十萬輛自動駕駛汽車。鑒于此，我們將高清地圖視為自治堆棧中的專用組件。

高清映射技術(shù)（HD映射）中包含哪些內(nèi)容不包含哪些內(nèi)容是根據(jù)一組原則確定的。有人會問，為什么這很重要？如果我們?yōu)橐粋€用例構(gòu)建HD地圖，該地圖也可能用作其他方面，從而提高高清地圖的實用性。讓我們思考兩個例子。

構(gòu)建高清地圖，以供共享駕駛網(wǎng)絡(luò)中的AV使用，也可以與手機上的虛擬現(xiàn)實（AR）應(yīng)用程序一起使用。前者側(cè)重于道路要素和駕駛員需求少的高需求路線，而后者側(cè)重于路邊，店面和室內(nèi)裝飾，公共地標(biāo)等。這兩個用例之間幾乎沒有重疊。擁有一套清晰的原則有助于我們構(gòu)建正確的高清映射技術(shù)。地圖構(gòu)建技術(shù)與計算機技術(shù)的緊密集成可以通過創(chuàng)建和利用共享組件來加快開發(fā)速度。因此，當(dāng)今為自用而使用的大多數(shù)高清地圖都與相應(yīng)的計算機軟件堆棧垂直集成。

有四個主要原則可以獲知我們?nèi)绾味x地圖以及如何進(jìn)行構(gòu)建。

從自動駕駛技術(shù)的角度來看，映射操作包括在AV開始驅(qū)動之前，我們可以做的所有事情以進(jìn)行預(yù)計算。在某些情況下，這種預(yù)計算可以完全解決主要問題的各個子部分。例如，可以離線且以高度準(zhǔn)確的方式解決諸如道路，交叉路口，路牌等靜態(tài)物體的感知和定位。人工操作人員可以整理預(yù)先計算的數(shù)據(jù)以確保高質(zhì)量。在其他情況下，無法提前完全解決問題，但可以預(yù)先計算部分，近似或中間結(jié)果，從而使實時計算工作變得更加容易。

我們使用后者先建立各種地圖代表有關(guān)世界動態(tài)部分的貝葉斯先驗概率的片段，例如觀察到的速度曲線和未標(biāo)記的停車位。預(yù)先計算的結(jié)果包括世界的空間和時間方面，并進(jìn)行索引以進(jìn)行有效檢索。

映射以提高安全性眾所周知，將地圖用于導(dǎo)航。安全駕駛的AV不僅需要執(zhí)行專業(yè)的導(dǎo)航，還需要采用最佳實踐來降低駕駛過程中的風(fēng)險。因此，高清地圖的設(shè)計不僅包含每個車道路段的限速信息，而且還包含從Lyft網(wǎng)絡(luò)上的實際人工駕駛員得出的符合我們最高安全標(biāo)準(zhǔn)的速度曲線。

在運行時，系統(tǒng)將地圖視為具有特殊感知和預(yù)測功能的傳感器。與其他傳感器（例如照相機和激光雷達(dá)）相比，地圖沒有范圍限制。它可以感覺到的東西超出了當(dāng)今AV傳感器典型的100–200m范圍。它還不受動態(tài)對象（如其他車輛）的運行時遮擋的影響。將地圖視為另一個傳感器，使我們能夠設(shè)計有效的地圖訪問模式，并將地圖數(shù)據(jù)更自然地集成到堆棧中（例如，傳感器融合組件）。

通過在視音頻團(tuán)隊的共同努力，視音頻可以實現(xiàn)更高的安全性和效率水平?？梢詫⑸鲜鲱A(yù)先計算的數(shù)據(jù)視為整個AV車隊的記憶，該機隊中的每個AV都可以將其作為地圖的一部分進(jìn)行訪問。該內(nèi)存很大，并且變化緩慢。此外，在運行時，可以從各個角度和角度以分布式的方式查看視音頻艦隊，一起感知世界。然后，地圖變成共享的數(shù)據(jù)結(jié)構(gòu)，該結(jié)構(gòu)既駐留在云端，又駐留在每個AV中。AV使用該地圖讀取和寫入此記憶。后者就是我們?nèi)绾卧谲囮牭腁V之間共享實時信息的想法。

我們使用包含最新傳感器（例如高清攝像頭，激光雷達(dá)，雷達(dá)，GPS和慣性測量單元（IMU））的車隊來構(gòu)建高清地圖。早些時候，我們選擇使傳感器配置和硬件構(gòu)造與自動駕駛汽車所使用的相同。這種限制使我們可以輕松地確保我們構(gòu)建的高清地圖可以與后續(xù)的軟件堆棧正確配合工作，該軟件堆棧支持各種自動駕駛功能，例如定位，感知，預(yù)測和計劃。

根據(jù)我們的經(jīng)驗，在映射和系統(tǒng)功能開發(fā)之間互換共享汽車可以使我們更好地利用車隊，同時保持較低的車隊管理開銷。同樣，只有一個硬件SKU可使我們更輕松地管理硬件開發(fā)。我們的地圖構(gòu)建過程還使用與自治功能開發(fā)相同的數(shù)據(jù)收集日志。這使我們能夠重用汽車收集的所有里程來構(gòu)建更好的地圖。地圖構(gòu)建數(shù)據(jù)收集運行不需要自動駕駛汽車進(jìn)入自動駕駛模式，也就是汽車自己駕駛。

分層地圖

HD地圖中包含的信息表示為圖層。通過分層組織信息，可以輕松地獨立設(shè)計，構(gòu)建，測試和發(fā)布新信息。這些層彼此完全對齊并以一種方式索引，該方式允許針對AV的當(dāng)前位置以及本地鄰域進(jìn)行有效的信息并行查找。我們認(rèn)為網(wǎng)絡(luò)地圖服務(wù)提供的基本道路網(wǎng)絡(luò)數(shù)據(jù)是最底層的。每個后續(xù)圖層都會向地圖添加其他詳細(xì)信息。我們的高清地圖包含多個圖層。HD的四個值得注意的層是：幾何地圖層，語義地圖，地圖先驗層和實時知識層。

幾何地圖圖層包含世界的3D信息。此信息的組織非常詳細(xì)，以支持精確的計算。來自激光雷達(dá)，各種相機，GPS和IMU的原始傳感器數(shù)據(jù)將使用同時定位和地圖繪制（SLAM）算法進(jìn)行處理，首先構(gòu)建由地圖數(shù)據(jù)收集運行所探索的區(qū)域的3D視圖。SLAM算法的輸出是對齊的密集3D點云和制圖工具采用的非常精確的軌跡。使用在相應(yīng)相機圖像中為該3D點觀察到的顏色對3D點中的每個進(jìn)行著色。對3D點云進(jìn)行后處理，以生成存儲在幾何地圖中的派生地圖對象。兩個重要的派生對象是體素化的幾何圖和地圖。通過將點云分割為5cm x 5cm x 5cm小的體素來生成體素化的幾何圖。

在實時操作中，幾何圖是訪問點云信息的最有效方法。它在精度和速度之間提供了一個很好的平衡。分割算法可識別點云中的3D點，以構(gòu)建地面模型（定義為地圖的可驅(qū)動表面部分）。這些地面點用于在小部分中建立地面參數(shù)模型。地面地圖是對齊地圖后續(xù)圖層（例如語義地圖）的關(guān)鍵。它在精度和速度之間提供了一個很好的平衡。

語義地圖層通過添加語義對象建立在幾何地圖層上。語義對象包括用于安全駕駛的各種交通2D和3D對象，例如車道邊界，交叉路口，人行橫道，停車位，停車標(biāo)志，交通信號燈等。這些對象包含與之關(guān)聯(lián)的豐富元數(shù)據(jù)，例如速度限制和車道轉(zhuǎn)彎限制。

雖然3D點云可能包含代表交通信號燈的所有像素和體素，但在語義地圖層中，存儲了一個清晰的3D對象，該對象標(biāo)識了交通信號燈及其各種組件的3D位置和邊界框。我們結(jié)合計算機視覺和點分類算法來生成這些語義對象及其元數(shù)據(jù)的假設(shè)。這些算法的輸出不夠準(zhǔn)確，無法生成高保真度地圖。操作員通過豐富的可視化和注釋工具對這些假設(shè)進(jìn)行后處理，以驗證質(zhì)量并修復(fù)任何遺漏。

幾何和語義地圖層提供有關(guān)世界上對自動駕駛汽車至關(guān)重要的靜態(tài)和物理部分的信息。它們以很高的保真度構(gòu)建而成，對于基本事實是什么幾乎沒有歧義。我們將地圖視為一個組成部分，不僅可以了解我們對世界的物理和靜態(tài)部分的理解，而且還可以了解環(huán)境的動態(tài)和行為方面。地圖先驗層和實時知識層表示此信息。這些層中的信息不僅可以從視音頻車隊的日志中進(jìn)行計算，還可以從包含數(shù)百萬個Lyft駕駛員的Lyft乘車共享網(wǎng)絡(luò)中進(jìn)行計算。

語義圖

地圖先驗層包含有關(guān)動態(tài)元素以及人類駕駛行為的派生信息。此處的信息可能與地圖的語義部分和幾何部分有關(guān)。例如，派生的信息，例如十字路口的交通信號燈通過其各種狀態(tài)（例如（紅色，左保護(hù)，綠色，黃色，紅色）或（紅色，綠色，左保護(hù)，黃色，紅色））循環(huán)的順序和在地圖先驗層中編碼每個狀態(tài)所花費的時間。這些先驗是近似的，可以作為車載自主系統(tǒng)的提示。

另一個例子是在地圖上停車先驗。預(yù)測和計劃系統(tǒng)使用這些停車先驗來確定物體的速度并做出適當(dāng)?shù)臎Q定。停車先驗被表示為車道上具有多邊形區(qū)域的元數(shù)據(jù)，該元數(shù)據(jù)捕獲了在車道中該位置遇到停放的車輛的可能性。當(dāng)AV在事先具有較高停車位的地圖區(qū)域中遇到靜止的車輛時，它將更加積極地探索將AV繞過車輛的路線計劃，并降級將AV排在車輛后面的計劃。同樣，知道人們通常停在哪里，可以使感知系統(tǒng)對車門打開和檢測到行人時更加謹(jǐn)慎，因為行人可能上下車。

實時層是地圖中最頂層的層，旨在具有可讀/寫功能。這是地圖上唯一設(shè)計為在乘車的AV使用地圖時進(jìn)行更新的圖層。它包含實時交通信息，例如觀測到的速度，擁堵，新發(fā)現(xiàn)的建筑區(qū)域等。實時層旨在支持在整個AV車隊之間收集和共享實時全球信息。

實時知識

上面的每個地圖圖層都是獨立構(gòu)建的。派生層可能依賴于先前層的中間輸出。例如，語義層使用由幾何層生成的地面地圖來標(biāo)識車道多邊形的z位置。在最后一步中，將特定算法用于將地圖的所有圖層拼接在一起，然后再將其作為一個一致的組件發(fā)布到自動駕駛汽車上。