3D激光雷達(dá)和相機(jī)的外部校準(zhǔn)
標(biāo)題：Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera
作者：Raphael Voges and Bernardo Wagner
來源：IROS 2020
編譯：姚瀚晨
審核：wyc
本文轉(zhuǎn)載自泡泡機(jī)器人SLAM。
摘要
大家好，今天為大家?guī)淼奈恼率恰?nbsp;集員法對3D激光雷達(dá)和相機(jī)的外部校準(zhǔn)（Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera）。
這篇文章與傳感器的融合相關(guān)，主要介紹了3D激光雷達(dá)和相機(jī)校準(zhǔn)時候是如何考慮不同傳感器之間的誤差的；
為了融合來自3D激光雷達(dá)和相機(jī)的信息，需要知道傳感器坐標(biāo)系之間的外部校準(zhǔn)。
傳統(tǒng)的外部校準(zhǔn)方案有三個缺點：
傳統(tǒng)的校準(zhǔn)方法忽略了傳感器誤差，導(dǎo)致了校準(zhǔn)失真；
傳統(tǒng)的校準(zhǔn)方法假設(shè)了初始平均誤差為0，默認(rèn)傳感器每次測量接近真實值，這種假設(shè)常常失效。例如，激光雷達(dá)入射角和反射率帶來的誤差，可能會導(dǎo)致激光雷達(dá)偏移的情形；
傳統(tǒng)的校準(zhǔn)方法不能評估提取特征的準(zhǔn)確性，因此不能在外部校準(zhǔn)的時候不能通過調(diào)整特征的權(quán)重提高準(zhǔn)確性。
本文創(chuàng)新點：
提出了一種基于圖像的檢測方法，該方法將YOLOv3架構(gòu)擴(kuò)展為具有3D質(zhì)心損失和中級特征融合，以利用這兩種方式的互補(bǔ)信息；
介紹基于間距的方法（interval-based approaches）來提取圖像和激光點云的相應(yīng)特征；
利用間距的特征設(shè)定約束滿足問題（Constraint Satisfaction Problem, CSP），在仿真和實驗中驗證了準(zhǔn)確性。
貢獻(xiàn)
提出了一種基于圖像的檢測方法，該方法將YOLOv3架構(gòu)擴(kuò)展為具有3D質(zhì)心損失和中級特征融合，以利用這兩種方式的互補(bǔ)信息；
介紹基于間距的方法（interval-based approaches）來提取圖像和激光點云的相應(yīng)特征；
利用間距的特征設(shè)定約束滿足問題（Constraint Satisfaction Problem, CSP），在仿真和實驗中驗證了準(zhǔn)確性。
方法介紹
如圖1所示，間隔向量（interval vectors）形成了一個框（scan box），包圍了實際測量的一些點集。通過使用掃描框，可以得到平面的垂直矢量（plane normal vector）、邊界線的矢量（line direction vectors）、標(biāo)定棋盤的四個角上的點（corner boxes）。
圖1：本文的方法概述。為了找到外部校準(zhǔn)，如旋轉(zhuǎn)矩陣R和轉(zhuǎn)換向量t，在間距不確定的情況下，相機(jī)和3D激光雷達(dá)之間尋找點、線、面特征。
傳感器誤差模型
A.相機(jī)模型：
我們采用OpenCV庫中包含的方法，用于檢測相機(jī)圖像中的棋盤角。因此，我們使用的原始測量是圖像中的像素點。然后，針孔相機(jī)模型用于找到指向棋盤角的方向的3D向量。
不能完全檢測到角的原因：
相機(jī)具有有限的分辨率，因此必須將模擬信號（即實際場景）離散地分為像素；
圖像模糊，例如檢測對象未處于適當(dāng)?shù)木劢梗?/p>
圖像傳感器受到損壞，每個像素的各個顏色通道產(chǎn)生了噪聲，從而在角檢測期間再次導(dǎo)致誤差。
圖2：檢測到棋盤角（綠色點）的棋盤的示例圖。各種誤差源導(dǎo)致檢測不準(zhǔn)確（紅色點）。因此，我們應(yīng)用了我們的界限誤差模型，來包裹真實特征的藍(lán)色邊框。
B.激光雷達(dá)模型：
由于激光雷達(dá)的激光光束和表面入射角受到傳感器的環(huán)境（溫度，濕度等）的影響，實際測量通常產(chǎn)生誤差。由于無法預(yù)測此系統(tǒng)錯誤，因此無法使用已建立的隨機(jī)誤差模型進(jìn)行建模。測量點的實際位置是不確定的，并且可以是激光光束掃描的任何位置。因此，選擇基于間距的模型來考慮這種不確定性。
圖3：3D盒[P]的可視化由未知但是界面的誤差為球形坐標(biāo)R，θ和φ產(chǎn)生的誤差。3D盒可以保證覆蓋實際測量的點P *和原始測量的點P。
主要結(jié)果
我們使用Gazebo 和實際數(shù)據(jù)生成的模擬數(shù)據(jù)來評估我們的方法。此外，將我們的方法與最先進(jìn)算法進(jìn)行了比較。然而，直接比較是不合適的，因為他們的方法的目標(biāo)是找到最好的點值結(jié)果（point-valued result），而我們的方法旨在封閉真實的解決方案并同時表明計算的不確定性。
A.仿真數(shù)據(jù)
選擇尺寸為100×76厘米的標(biāo)定棋盤，其中，棋盤距離多傳感器系統(tǒng)大約2.5米。模擬相機(jī)的像素誤差遵循高斯分布，平均值為0，標(biāo)準(zhǔn)偏差為0.01。這導(dǎo)致相機(jī)校準(zhǔn)期間0.3 px的最大角度檢測誤差。模擬3D激光雷達(dá)的型號是Velodyne VLP16。球形坐標(biāo)的誤差遵循均勻的分布，無需任何異常值。
首先，我們顯示從一個標(biāo)定棋盤姿態(tài)計算的轉(zhuǎn)換參數(shù)的結(jié)果。如圖所示，我們選擇六種不同的棋盤姿態(tài)，以顯示對不同外部校準(zhǔn)參數(shù)的影響。
圖4：六種不同棋盤姿態(tài)的模擬圖像。
對于所有六個姿態(tài)，我們的方法包含真實的轉(zhuǎn)換參數(shù)。然而，轉(zhuǎn)換參數(shù)的準(zhǔn)確性隨著表I中的參數(shù)變化。這可以通過標(biāo)定棋盤的相應(yīng)姿態(tài)來解釋。例如，Pose1和Pose5可以通過沿Z軸旋轉(zhuǎn)和平移實現(xiàn)。
表I：圖3中的姿勢的間距半徑
表II顯示了相機(jī)和激光掃描儀的不同模擬誤差的結(jié)果。顯然，相應(yīng)地調(diào)整傳感器誤差界限。例如，第二行示出了用于[Δpx] = [-0.4,0.4] px的間隔半徑，而其他傳感器誤差界限保持不變。作為參考，第一行顯示出了上面引入和評估的錯誤界限的結(jié)果。表格可以說明我們的方法可以在增加不確定性的情況下處理相機(jī)和激光掃描數(shù)據(jù)的不同誤差。
表2：不同模擬誤差參數(shù)的影響
接下來，展示了系統(tǒng)誤差對我們方法的影響。我們使用總共27個棋盤姿態(tài)，包括上面所示的六個姿態(tài)，在傳感器設(shè)置周圍的旋轉(zhuǎn)空間中均勻分布。
表3：結(jié)果顯示偏誤差測量對我們和最先進(jìn)的方法的比較
B.真實數(shù)據(jù)
如圖4所示，實驗設(shè)備包括Velodyne VLP-16 LIDAR，F(xiàn)LIR Grasshopper3相機(jī)和100×76cm標(biāo)定棋盤。相機(jī)的分辨率為1920×1200 px。激光雷達(dá)LiDAR的垂直角分辨率為2°。此外，LiDAR的旋轉(zhuǎn)速率設(shè)定為5Hz，導(dǎo)致水平角分辨率為0.1?。
圖5：用于評估的設(shè)備概述。
我們收集了26個不同的棋盤姿勢的數(shù)據(jù)。表IV顯示結(jié)果。得到的間距結(jié)果和仿真結(jié)果類似。因此，我們的方法不僅可以使用外在校準(zhǔn)并評估其準(zhǔn)確性，還可以驗證隨機(jī)方法的結(jié)果。
表4：我們和最先進(jìn)方法的數(shù)據(jù)結(jié)果比較
End
聲明：部分內(nèi)容來源于網(wǎng)絡(luò)，僅供讀者學(xué)術(shù)交流之目的。文章版權(quán)歸原作者所有。如有不妥，請聯(lián)系刪除。