本文來源：知乎-AI云原生
/?導(dǎo)讀?/
在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數(shù)據(jù)的過程。該步驟在機器人技術(shù)中是強制性的，因為它提供了更高的可靠性、冗余性以及最終的安全性。
為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達和攝像頭都在看著行人 。
由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進行最精確的估計。在融合傳感器時，我們實際上是在融合傳感器數(shù)據(jù)，或者叫做數(shù)據(jù)融合。有9種方法可以構(gòu)建數(shù)據(jù)融合算法。這9種方法又可以分為3大類。
按抽象級別進行傳感器融合
最常見的融合類型是抽象級別的。在這種情況下，問題是“應(yīng)該什么時候進行融合？”文章激光雷達和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。在業(yè)界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。低級別融合：融合原始數(shù)據(jù)
低級別傳感器融合是關(guān)于融合來自多個傳感器的原始數(shù)據(jù)。例如，融合來自激光雷達的點云數(shù)據(jù)和來自攝像頭的像素級數(shù)據(jù)。? 這種類型的融合在未來幾年具有很大的潛力，因為其考慮了所有數(shù)據(jù)。? 早期融合（Low-Level）幾年前還很難做到的，因為所需的處理量很大。每毫秒可以將數(shù)十萬個點與數(shù)十萬個像素融合在一起。
在此過程中使用了對象檢測，但真正完成這項工作的是將3D點云投影到圖像中，然后將其與像素關(guān)聯(lián)起來。中級別融合：融合檢測數(shù)據(jù)
中級傳感器融合是將傳感器獨立檢測到的物體進行融合。如果攝像頭檢測到障礙物，雷達也檢測到它，我們把這些結(jié)果融合到一起形成對障礙物的位置、類別和速度的最佳估計。通常使用的方法是卡爾曼濾波器（貝葉斯算法）。? 這個過程很容易理解，并且包含了幾個現(xiàn)有的實現(xiàn)。? 它嚴重依賴于檢測器。如果一個失敗，整個融合都可能失敗?？柭鼮V波器來解決這個問題！
在此示例中，我們將來自激光雷達的3D邊界框與來自對象檢測算法的2D邊界框融合在一起。該過程有效；但也可以逆轉(zhuǎn)。可以將3D激光雷達的結(jié)果映射到2D中，并在2D影像中進行數(shù)據(jù)融合。高級別融合：融合軌跡
最后，高級傳感器融合是關(guān)于融合對象及其軌跡。我們不僅依賴于檢測，還依賴于預(yù)測和跟蹤。? 一個主要問題是可能會丟失太多信息。如果追蹤是錯誤的，那么整件事都是錯誤的。雷達和攝像頭之間按抽象級別的數(shù)據(jù)融合圖：
中心化級別的傳感器融合
融合算法的第二類方法是按中心化級別來區(qū)分的。該場景下的問題是“融合在哪里發(fā)生？”。主計算機可以做，或者每個傳感器可以做自己的檢測和融合。?一些方法是通過使用稱為衛(wèi)星架構(gòu)的技術(shù)來做融合的。我們以一輛經(jīng)典的自動駕駛汽車為例。在這種情況下，每個傳感器都有自己的計算機。所有這些計算機都連接到一個中央計算單元。與此相反，Aptiv開發(fā)了一種衛(wèi)星架構(gòu)的架構(gòu)。這個想法是：所有傳感器都連接到一個中央單元上，該單元處理稱為主動安全域控制器的智能。
在這個過程中，利用傳感器的位置和傳遞的信息類型，可以幫助減輕車輛的總重量，并隨著傳感器的數(shù)量可以更好地擴展。1.?傳感器只是“衛(wèi)星”：它們只是用來收集原始數(shù)據(jù)的。
2.?主計算機中進行360°的融合：不必安裝非常好的傳感器，因為不會進行單個檢測。
3.?檢測是在360°的全景圖上完成的。
這是“中心化融合”的兩個例子。當我們使用經(jīng)典架構(gòu)時，可能會遇到另外兩種類型的融合。雷達和攝像頭之間按抽象級別的數(shù)據(jù)融合圖：
按競爭級別的傳感器融合
對傳感器融合算法進行分類的最后一種方法是按競爭級別。- 在抽象級別，問題是“什么時候”融合應(yīng)該發(fā)生。
- 在競爭級別，問題是“融合應(yīng)該做什么？”
競爭融合
競爭融合是指傳感器用于相同目的。例如，當同時使用雷達和激光雷達來檢測行人時。這里發(fā)生的數(shù)據(jù)融合過程稱為冗余，使用術(shù)語“競爭”。互補融合
互補融合是指使用不同的傳感器觀察不同的場景來獲取我們使用其他方式無法獲得的東西。例如，使用多個攝像頭構(gòu)建全景圖時。由于這些傳感器相互補充，使用術(shù)語“互補”。協(xié)同融合
最后，協(xié)同融合是關(guān)于使用兩個或更多傳感器來產(chǎn)生一個新場景，但是關(guān)于同一個對象的。例如，在使用2D傳感器進行3D掃描或3D重建時。要學(xué)習(xí)如何實現(xiàn)這種類型的融合，可以學(xué)習(xí)立體視覺課程，該課程可以協(xié)調(diào)融合兩個攝像頭以產(chǎn)生3D結(jié)果。
希望這篇文章可以幫助您更好地了解如何使用傳感器融合，以及如何區(qū)分不同的融合算法。融合通常由貝葉斯算法完成，例如卡爾曼濾波器。我們可以融合數(shù)據(jù)來估計物體的速度、位置或類別。譯自：Learn Self-Driving Cars, Computer Vision, and cutting-edge Artificial Intelligence
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。
