激光雷達作為相機 --數字激光雷達對計算機視覺的影響
點擊下方卡片，關注“新機器視覺”公眾號
視覺/圖像重磅干貨，第一時間送達
來源：CV技術指南 作者：ouster
翻譯：仿佛若有光
前言：
本文源自ouster(一家激光雷達公司)的博客，以往激光雷達和相機都是作為單獨的傳感器，在算法上對各自的數據做融合。這家公司開發(fā)了數字激光雷達OS1，在硬件上實現(xiàn)了對相機和激光雷達的融合。
OS1 模糊了激光雷達和相機之間的界限
三年前我們開始開發(fā) OS1 (中距激光雷達)時，很明顯，針對相機的深度學習研究已經超過了激光雷達研究。激光雷達數據具有令人難以置信的優(yōu)勢——豐富的空間信息和與光照無關的傳感等等——但它缺乏相機圖像的原始分辨率和高效的陣列結構，而且 3D 點云仍然更難以在神經網絡中編碼或使用硬件進行處理加速度。
考慮到兩種傳感模式之間的權衡，我們從一開始就著手將激光雷達和相機的最佳方面整合到一個設備中。今天，我們將發(fā)布固件升級和更新我們的開源驅動程序，以實現(xiàn)這一目標。 OS1 現(xiàn)在無需攝像頭即可實時輸出固定分辨率的深度圖像、信號圖像和環(huán)境圖像。數據層在空間上完全相關，具有零時間不匹配或快門效應，并且具有每像素 16 位和線性照片響應。一探究竟：
從 OS1 輸出的同步實時圖像層。您從上到下看到的是環(huán)境、強度、范圍和點云數據 - 全部來自我們的激光雷達。請注意，環(huán)境圖像捕獲了多云的天空以及樹木和車輛的陰影。
OS1 的光學系統(tǒng)具有比大多數數碼單反相機更大的光圈，而且我們開發(fā)的光子計數 ASIC 具有極低的光敏度，因此即使在弱光條件下我們也能夠收集環(huán)境圖像。OS1 捕獲近紅外信號和環(huán)境數據，因此數據與同一場景的可見光圖像非常相似，這使數據看起來很自然，并且很有可能為相機開發(fā)的算法很好地轉化為數據。將來，我們將努力從這些環(huán)境圖像中去除固定模式噪聲，但我們希望同時讓客戶獲得數據！
我們還更新了我們的開源驅動程序以將這些數據層輸出為固定分辨率的 360° 全景幀，以便客戶可以立即開始使用新功能，并且我們提供了一個基于 VTK 的新跨平臺可視化工具，用于查看、記錄，并在Linux、Mac 和 Windows 上并排播放圖像和點云。傳感器輸出的數據不需要后處理即可實現(xiàn)此功能——神奇之處在于硬件，驅動程序只需將流數據包組裝成圖像幀。
我們新的開源可視化工具。 完整驅動視頻：https://www.youtube.com/watch?v=LcnbOCBMiQM
我們鼓勵任何對 OS1 感到好奇的人在線觀看我們未經編輯的視頻，或下載我們的原始數據并使用可視化工具自己播放。
固件更新頁面：https://www.ouster.io/downloads
Github & 樣本數據：www.github.com/ouster-LIDAR
This Is Not a Gimmick(噱頭)
我們已經看到多家激光雷達公司通過將單獨的攝像頭與激光雷達共同安裝、執(zhí)行劣質的外部校準并發(fā)布最終無用產品的新聞稿來銷售激光雷達/攝像頭融合解決方案。我們沒有這樣做，為了證明這一點，我們想分享一些示例，說明 OS1 傳感器數據的強大功能，這讓我們回到了深度學習。
由于傳感器輸出具有每個像素的深度、信號和環(huán)境數據的固定分辨率圖像幀，因此我們能夠將這些圖像直接輸入到最初為相機開發(fā)的深度學習算法中。我們在向量中編碼深度、強度和環(huán)境信息，就像彩色圖像網絡在輸入層編碼紅色、綠色和藍色通道一樣。我們訓練的網絡非常適合新的激光雷達數據類型。
作為一個例子，我們訓練了一個每像素語義分類器，以在舊金山周圍的一系列深度和強度幀上識別可行駛的道路、車輛、行人和騎自行車的人。我們能夠在 NVIDIA GTX 1060 上實時運行生成的網絡并取得了令人鼓舞的結果，特別是考慮到這是我們嘗試的第一個實現(xiàn)。
Full video: https://www.youtube.com/watch?v=JxR9MasA9Yc
因為所有數據都是按像素提供的，所以我們能夠將 2D 掩碼無縫轉換為 3D 幀，以進行額外的實時處理，如邊界框估計和跟蹤。
在其他情況下，我們選擇將深度、信號和環(huán)境圖像分開，并將它們獨立地通過同一個網絡。 例如，我們從DeTone 等人的 SuperPoint 項目 [link] 中獲取了預訓練的網絡，并直接在我們的強度和深度圖像上運行它。該網絡在大量通用 RB 圖像上訓練，從未見過深度/激光雷達數據，但強度和深度圖像的結果都令人驚嘆：
Full video:https://www.youtube.com/watch?v=igsJxrbaejw
仔細檢查后，很明顯網絡在每張圖像中拾取了不同的關鍵點。 任何從事激光雷達和視覺里程計工作的人都會明白這個結果所體現(xiàn)的冗余的價值。 激光雷達里程計在隧道和高速公路等幾何均勻的環(huán)境中掙扎，而視覺里程計在無紋理和光線不足的環(huán)境中掙扎。 OS1 的相機/激光雷達融合為這一長期存在的問題提供了多模式解決方案。
正是這樣的結果讓我們相信，融合良好的激光雷達和相機數據遠不止它們的總和，我們預計未來激光雷達和相機之間會進一步融合。
1. 視頻：
帶有環(huán)境數據的 Sunny Drive：
正向視圖：https://www.youtube.com/watch?v=9qYwROaCxF4
頂視圖：https://www.youtube.com/watch?v=X7TljH5x2kE
斜視：https://www.youtube.com/watch?v=LcnbOCBMiQM
像素語義分割：https://www.youtube.com/watch?v=JxR9MasA9Yc
超點：https://www.youtube.com/watch?v=igsJxrbaejw
2.固件更新頁面：
https://www.ouster.io/downloads
3. Github & 樣本數據：
www.github.com/ouster-LIDAR
原文鏈接：
https://ouster.com/zh-cn/blog/the-camera-is-in-the-lidar/
—版權聲明—
僅用于學術分享，版權屬于原作者。
若有侵權，請聯(lián)系微信號:yiyang-sy 刪除或修改！