ICRA 2021論文匯總：視覺(jué)-慣性/視覺(jué)SLAM

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺(jué)”公眾號(hào)

視覺(jué)/圖像重磅干貨，第一時(shí)間送達(dá)

1.cooperative Transportation of Cable Suspended Payloads with MAVs Using Monocular Vision and Inertial Sensing

一個(gè)基于視覺(jué)-慣性系統(tǒng)的無(wú)人機(jī)索吊運(yùn)輸系統(tǒng)，貢獻(xiàn)點(diǎn)在于
a)提出了一種基于視覺(jué)的分布式控制系統(tǒng)
b)一種分布式的狀態(tài)估計(jì)方法，可以估計(jì)每個(gè)為無(wú)人機(jī)的吊索方向，以及移動(dòng)速度
c)一種聯(lián)合估計(jì)方案，可以推斷載荷的完整6自由度狀態(tài)
工作的重點(diǎn)在于通過(guò)多個(gè)無(wú)人機(jī)上的camera+imu傳感器進(jìn)行融合，進(jìn)行載荷的位置，姿態(tài)估計(jì)；具體的實(shí)現(xiàn)思路為，先通過(guò)VIO方法獲得每個(gè)為無(wú)人機(jī)的速度，位姿估計(jì)；再建立動(dòng)力學(xué)方程，可以由無(wú)人機(jī)位姿，速度推知載荷的狀態(tài)；最后把多個(gè)狀態(tài)放到EKF中，進(jìn)行狀態(tài)估計(jì)

2.Highly Efficient Line Segment Tracking with an IMU-KLT Prediction and a Convex Geometric Distance Minimization

中科大自動(dòng)化所和人工智能學(xué)院；該方案在open_vins項(xiàng)目上改造而成
貢獻(xiàn)點(diǎn)在于：基于直線特征的VIO方案，利用IMU加速匹配，并提高了準(zhǔn)確率
傳統(tǒng)的基于描述子的線段跟蹤方法準(zhǔn)確性和速度無(wú)法保證實(shí)時(shí)處理，影響slam系統(tǒng)表現(xiàn)；該文提出了一種IMU+KLT光流對(duì)線段位置進(jìn)行預(yù)測(cè)的方法，并且建立一個(gè)基于幾何距離的優(yōu)化方程，來(lái)進(jìn)行匹配；可以增加跟蹤的準(zhǔn)確性和速度；inlier ratio 增加了35.1%，速度增加了3倍
對(duì)于直線的匹配，首先在直線上進(jìn)行多個(gè)點(diǎn)的采樣，通過(guò)傳感器產(chǎn)生的R,t，將其投影到另張圖片中，（其假設(shè)兩張圖之間的深度不變），再通過(guò)建立 點(diǎn)到直線的距離約束，角度約束，中點(diǎn)距離約束，這三個(gè)約束來(lái)構(gòu)建一個(gè)最小二乘問(wèn)題，求解這個(gè)問(wèn)題，即可到到對(duì)應(yīng)匹配直線
對(duì)于點(diǎn)的匹配，第一張圖上直線l1的點(diǎn)p1可根據(jù)F得到對(duì)應(yīng)極線F*p1，第二張圖片上得l2由上一步得到，那么對(duì)應(yīng)點(diǎn)即為，極線于l2的角點(diǎn)，此點(diǎn)位置可能出現(xiàn)誤差，還要最后進(jìn)行一次直線上的塊匹配，使用的是NCC(歸一化互相關(guān))來(lái)計(jì)算其相關(guān)性。

3.Range-Focused Fusion of Camera-IMU-UWB for Accurate and Drift-Reduced Localization

基于VINS-mono改造而來(lái)
本文使用了相機(jī)，imu，UWB( Ultra-wideband anchor)來(lái)構(gòu)建一種緊耦合框架；UWB是一種用于近距離定位的設(shè)備，有發(fā)送端，接收端，構(gòu)成；測(cè)量結(jié)果可以直接得到對(duì)應(yīng)的距離和方位。類似于GPS的作用。
貢獻(xiàn)點(diǎn)：
1.之前使用UWB的方案存在 1.UWB和相機(jī)接收時(shí)間的誤差產(chǎn)生影響 2.僅單點(diǎn)測(cè)量，沒(méi)有數(shù)據(jù)連續(xù)性；該方案，使用一種“range-focused” 的UWB方案，將VIO策略對(duì)UWB的測(cè)量進(jìn)行fix
2.構(gòu)建了單目相機(jī) + IMU + UWB 的緊耦合方案，可以對(duì)系統(tǒng)產(chǎn)生的drift進(jìn)行矯正(UWB是一個(gè)絕對(duì)位置測(cè)量的設(shè)備，不存在累計(jì)誤差，很容易拿來(lái)矯正誤差)；并且可以在UWB的接收端未知的場(chǎng)景下運(yùn)用。

4.Learned Uncertainty Calibration for Visual Inertial Localization

UCLA 團(tuán)隊(duì)
對(duì)協(xié)方差進(jìn)行學(xué)習(xí)，并矯正
本文提出：對(duì)EKF的狀態(tài)估計(jì)來(lái)說(shuō)，對(duì)于狀態(tài)的均值一般估計(jì)的都比較準(zhǔn)確，但是對(duì)于方差的估計(jì)一般都是不準(zhǔn)確的。特別的，對(duì)于視覺(jué)-慣性定位來(lái)說(shuō)，這種協(xié)方差的不準(zhǔn)確是系統(tǒng)性的。那么可以通過(guò)學(xué)習(xí)的方法來(lái)其改正（ i.e. it is possible to learn a nonlinear map from the empirical ground truth to the estimated one.）

5.Visual-Laser-Inertial SLAM Using a Compact 3D Scanner for Confined Space

卡耐基梅隆，普渡大學(xué)團(tuán)隊(duì)
用于封閉空間的視覺(jué)-慣性-雷達(dá) 三維重建，挑戰(zhàn)在于在很多封閉空間中，缺乏定位的設(shè)備，并且很多傳感器在距離非常近的時(shí)候沒(méi)有辦法使用。
所以該團(tuán)隊(duì)設(shè)計(jì)了一個(gè)2.7cm * 1cm *1.5cm大小的RGB相機(jī)+imu+laser 的小型集成傳感器，并且成本低廉。并提出了一種用于單目相機(jī)的可調(diào)快門方法來(lái)進(jìn)行三維重建，主要的貢獻(xiàn)在于硬件上。

6.Robust Monocular Visual-Inertial Depth Completion for Embedded Systems

黃國(guó)權(quán)團(tuán)隊(duì)的論文 基于EKF方案
對(duì)于傳統(tǒng)的深度估計(jì)設(shè)備如深度傳感器，可能無(wú)法在嵌入式系統(tǒng)上工作。作者其open-vins的基礎(chǔ)上，使用一種基于學(xué)習(xí)的方法，由open-vins得到的稀疏深度估計(jì)，結(jié)合圖片完成對(duì)稠密深度圖進(jìn)行估計(jì)。
因?yàn)榛谙闰?yàn)稀疏深度+深度估計(jì)的策略，比單一的由圖像進(jìn)行深度估計(jì)準(zhǔn)確性好，送一在這項(xiàng)工作中，他們擴(kuò)展了 FastDepth 架構(gòu)以支持稀疏深度輸入和彩色圖像，并研究了該網(wǎng)絡(luò)對(duì) VIO誤差的敏感性
貢獻(xiàn)：
1.驗(yàn)證了：由VIO系統(tǒng)造成的稀疏深度點(diǎn)噪聲，不僅會(huì)影響稠密深度估計(jì)的準(zhǔn)確性，并且會(huì)導(dǎo)致其表現(xiàn)比僅有單目圖像進(jìn)行深度估計(jì)的效果差
2.提出了一種可以解決問(wèn)題1的并且具有較高魯棒性的網(wǎng)絡(luò)、在不改變網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上幾乎可以推廣到任何稀疏深度補(bǔ)全網(wǎng)絡(luò)
3.對(duì)openVINS 做了一點(diǎn)調(diào)整，讓其可以輸出高質(zhì)量的稀疏深度；以便更好用于深度補(bǔ)全網(wǎng)絡(luò)

7.Range-Visual-Inertial Odometry: Scale Observability without Excitation 

加州理工JPL實(shí)驗(yàn)室
該論文主要研究點(diǎn)在于，無(wú)激勵(lì)的尺度可觀察性；基于EKF方案
VIO的可觀性分析：在通常情況下VIO除了全局位置以及重力向量以外的狀態(tài)都是可觀的，這些不可觀察的量意味著 VIO 位的置和航向估計(jì)在任何有噪聲的條件下都會(huì)發(fā)生漂移。在實(shí)際中，這種漂移在許多小規(guī)模運(yùn)行的機(jī)器人場(chǎng)景中是可以接受的 [論文1](K. J. Wu and S. I. Roumeliotis. Unobservable Directions of VINS Under Special Motions. Technical report, University of Minnesota, 2016.)分析了 在兩種情況下，1：當(dāng)系統(tǒng)不做旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，三個(gè)旋轉(zhuǎn)向量是不可觀的2.系統(tǒng)做零速或勻速運(yùn)動(dòng)時(shí)，運(yùn)動(dòng)的尺度是不可觀的
在很多的機(jī)器人運(yùn)動(dòng)狀態(tài)中，勻速運(yùn)動(dòng)是一個(gè)很常見(jiàn)的狀態(tài)，但是在這種狀態(tài)下，加速度計(jì)輸出為0（對(duì)于零加速度或恒加速度運(yùn)動(dòng)，尺度不再位于可觀察性矩陣的右零空間中），那么通過(guò)IMU就無(wú)法獲得尺度信息。因此在該方案中加入了一維激光測(cè)量（range）來(lái)彌補(bǔ)這一缺陷。所構(gòu)建的Range-Visual-Inertial Odometry可以用于任何運(yùn)動(dòng)狀態(tài)下。該方案進(jìn)行了開(kāi)源（github.com/jpl-x）
貢獻(xiàn)點(diǎn)：
1.一個(gè)基于激光測(cè)量（range）的VIO模型
2.一個(gè)線性范圍的VIO可觀測(cè)性分析

8.Mid-Air Range-Visual-Inertial Estimator Initialization for Micro Air Vehicles

加州理工JPL實(shí)驗(yàn)室
與上文同理，為了解決飛行器的懸停，勻速運(yùn)動(dòng)初始化的問(wèn)題，因?yàn)榇藭r(shí)姿態(tài)，尺度不可觀。所以引入一維激光傳感器進(jìn)行初始化彌補(bǔ)上述缺陷
創(chuàng)新點(diǎn)在于：
1，可在懸停，勻速，自由落體等狀態(tài)下初始化系統(tǒng) 2，運(yùn)算速度加快

9.VINS-Motion: Tightly-Coupled Fusion of VINS and Motion Constraint

沒(méi)找到該文

10.Collaborative Visual Inertial SLAM for Multiple Smart Phones

多部智能手機(jī)協(xié)同的視覺(jué)-慣性SLAM
浙江大學(xué)
在每個(gè)設(shè)備上獨(dú)立運(yùn)行VIO算法，再發(fā)送到中心服務(wù)器中對(duì)地圖進(jìn)行檢測(cè)，合并，優(yōu)化，并可以在多機(jī)之間共享
貢獻(xiàn)點(diǎn)：
1.建立了多部智能手機(jī)協(xié)同的視覺(jué)-慣性SLAM系統(tǒng)，自稱是首個(gè)多機(jī)，跨平臺(tái)的協(xié)同SLAM系統(tǒng)
2.多個(gè)地圖之間的準(zhǔn)確，魯棒的融合策略，即建立了基于局部窗口用于重投影誤差優(yōu)化
地圖的融合策略具體來(lái)說(shuō)：
2.1 檢測(cè)模塊，一種是使用內(nèi)部地圖進(jìn)行地點(diǎn)識(shí)別，另一種是與服務(wù)器地圖容器進(jìn)行匹配；
2.2 當(dāng)發(fā)現(xiàn)兩個(gè)不同地圖中的關(guān)鍵幀存在匹配時(shí)，執(zhí)行地圖融合的步驟
2.2 建立局部窗口，在兩個(gè)關(guān)鍵幀周圍取M-1幀；根據(jù)已有地圖建立的3D點(diǎn)，可以建立重投影誤差的約束， 解這個(gè)優(yōu)化問(wèn)題，即可得到相對(duì)位姿。然后就可以融合地圖。

11.Revisiting visual-inertial structure from motion for odometry and SLAM initialization

將視覺(jué)-慣性結(jié)構(gòu)用于SFM和SLAM初始化
該文建立了一個(gè)直接三角化的結(jié)構(gòu)，可以從未知3D點(diǎn)的觀測(cè)值中進(jìn)行初始化。這樣的改變使得線性系統(tǒng)具有更簡(jiǎn)單的結(jié)構(gòu)，只需要求解一個(gè) 6 × 6 線性系統(tǒng)即可。降低了超過(guò)50%的速度估計(jì)誤差，以及3D點(diǎn)誤差。并且在優(yōu)化過(guò)程中減少了迭代的次數(shù)

12.Bidirectional Trajectory Computation for Odometer-Aided Visual-Inertial SLAM

中科大
輪式里程計(jì)+視覺(jué)+慣性的SLAM
對(duì)系統(tǒng)的外參做了可觀性分析，是現(xiàn)有的可觀性分析的一個(gè)補(bǔ)充；說(shuō)明了在系統(tǒng)不做旋轉(zhuǎn)運(yùn)動(dòng)的時(shí)候?qū)o(wú)法加速度計(jì)的bias和外參進(jìn)行觀測(cè)；所以在第一次進(jìn)行轉(zhuǎn)向之前，進(jìn)行一次反向計(jì)算（backward computation thread），調(diào)整之前的運(yùn)動(dòng)軌跡 ，可以提高位置估計(jì)的準(zhǔn)確率。

13.Optimization-Based Visual-Inertial SLAM Tightly Coupled with Raw GNSS Measurements

中科大
基于優(yōu)化的 GNSS+視覺(jué)+慣性SLAM；基于優(yōu)化的策略，把重投影誤差，IMU預(yù)積分誤差以及GNSS測(cè)量誤差（偽距誤差，多普勒頻移）在一個(gè)窗口內(nèi)進(jìn)行聯(lián)合優(yōu)化
貢獻(xiàn)點(diǎn)：
1.構(gòu)建了由重投影誤差，IMU預(yù)積分誤差，偽距誤差，多普勒頻移，邊緣化誤差組成的的一個(gè)大的優(yōu)化模型
2.提出了兩種方法，可以去除GNSS的測(cè)量噪聲。

14.Cooperative Visual-Inertial Odometry

黃國(guó)權(quán)團(tuán)隊(duì)
研究了多機(jī)之間的協(xié)同建圖的問(wèn)題，對(duì)于多機(jī)器人系統(tǒng)來(lái)說(shuō)，一個(gè)重要的問(wèn)題就是：在電力，通訊帶寬，算力有限的情況下，如何完成大規(guī)模機(jī)器人集群工作。所以需要一種有效的系統(tǒng)來(lái)作為支撐.
基于MSCKF 研究了兩種多機(jī)之間協(xié)同VIO的算法，分別為集中算法和分布式算法
1.第一種為集中算法，跟蹤機(jī)器人之間的互相關(guān)性，并優(yōu)先考慮位姿的精度，每次更新時(shí)要求所有機(jī)器人之間進(jìn)行通信。
2.第二種為分布式算法，忽略機(jī)器人之間的互相關(guān)性，是一種可擴(kuò)展的，魯棒，高效的分布式結(jié)構(gòu)，每次更新時(shí)機(jī)器人只和相鄰的機(jī)器人之間進(jìn)行通信。多機(jī)器人之間使用協(xié)方差交叉（IC）的策略來(lái)保證一致性

15.Visual-Inertial Filtering for Human Walking Quantification

沒(méi)找到該論文

16.VINSEval: Evaluation Framework for Unified Testing of Consistency and Robustness of Visual-Inertial Navigation System Algorithms

一個(gè)測(cè)試和評(píng)估的框架,可以用來(lái)檢測(cè)算法的一致性和魯棒性

17.CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth

蘇黎世聯(lián)邦理工
提出了一個(gè)深度估計(jì)網(wǎng)絡(luò)+VIO的系統(tǒng)，使用Conditional Variational Autoencoder ( 條件變分自動(dòng)編碼器 ) 來(lái)對(duì)深度進(jìn)行推理和編碼 構(gòu)建了一個(gè)可以進(jìn)行深度估計(jì)的網(wǎng)絡(luò)；通過(guò)邊緣化的VIO稀疏特征來(lái)增加初始深度估計(jì)的準(zhǔn)確性和網(wǎng)絡(luò)的泛化能力，之后利用估計(jì)得到的稠密深度聯(lián)合VIO滑動(dòng)窗口來(lái)恢復(fù)局部的場(chǎng)景幾何信息
貢獻(xiàn)點(diǎn)：

1. 設(shè)計(jì)了一種帶有實(shí)時(shí)稠密重建的VIO系統(tǒng)
   

2. 提出了一種新穎的CVAE神經(jīng)網(wǎng)絡(luò)用來(lái)估計(jì)深度并對(duì)深度進(jìn)行編碼，充分利用了VIO稀疏深度圖的信息，并且擁有很強(qiáng)的泛化能力
   

3. 提出了一種新的計(jì)算Jacobian的方法，計(jì)算速度相對(duì)于傳統(tǒng)的鏈?zhǔn)椒▌t有了一個(gè)數(shù)量及的提升，并利用FEJ避免了重復(fù)計(jì)算。
   

整個(gè)系統(tǒng)使用open-vins作為框架基礎(chǔ)，主要實(shí)現(xiàn)了稠密深度估計(jì)，但是其必須依賴于稀疏深度的外部輸入，那么其使用場(chǎng)景肯定十分有限（弱紋理，快速運(yùn)動(dòng)等）
另外論文精讀|CODEVIO：深度學(xué)習(xí)到的可優(yōu)化稠密深度視覺(jué)慣導(dǎo)里程計(jì) - 知乎 (zhihu.com)也對(duì)該文做了分析

8.Direct Sparse Stereo Visual-Inertial Global Odometry

馭勢(shì)科技公司
建立了一個(gè)基于多傳感器的緊耦合框架，包括雙目相機(jī)，IMU，GNSS，地磁傳感器，全都放到一個(gè)滑動(dòng)窗口內(nèi)進(jìn)行優(yōu)化，可以實(shí)現(xiàn)全局定位，局部定位，且不存在漂移
貢獻(xiàn)點(diǎn)
1.基于直接法的緊耦合多傳感器系統(tǒng)
這個(gè)工作是一個(gè)工程上的創(chuàng)新，自稱是首個(gè)雙目相機(jī)，IMU，GNSS，地磁傳感器融合的Odometry

19.An Equivariant Filter for Visual Inertial Odometry

Australian National University 的Systems Theory and Robotics Group團(tuán)隊(duì)
代碼開(kāi)源 github.com/pvangoor/eqf
基于EKF，基于卡爾曼濾波的VIO其優(yōu)點(diǎn)就在于其low memory requirement，cpu used，所以運(yùn)行時(shí)間相比于優(yōu)化方法要快
用于視覺(jué)慣性里程計(jì)的等變?yōu)V波器，
在本文中從幾何角度分析了VIO問(wèn)題，并提出了一個(gè)關(guān)于光滑商流形（smooth quotient manifold ）的新公式，并提出了一個(gè)新的李群，它可以傳遞地作用于這個(gè)流形并且與視覺(jué)測(cè)量兼容；這個(gè)濾波的方法在EuRoC dataset 上相比于其他EKF-based VIO algorithms. 有著 state-of-the-art performance

20.VID-Fusion: Robust Visual-Inertial-Dynamics Odometry for Accurate External Force Estimation

浙大FAST(Field Autonomous System & computing)團(tuán)隊(duì),，一個(gè)緊耦合的視覺(jué)-慣性-動(dòng)力學(xué)系統(tǒng)，方法基于vins-mono和Vimo改編而來(lái)，代碼開(kāi)源(github.com/ZJU-FAST-Lab), 在運(yùn)動(dòng)時(shí)可以感受外力的變化，如背負(fù)在無(wú)人機(jī)上的物體，使得系統(tǒng)在外力該改變的時(shí)候仍具有較好的魯棒性
貢獻(xiàn)點(diǎn)：
1.推導(dǎo)了external force preintegration，以及其對(duì)應(yīng)的狀態(tài)方程，
2.在vins了基礎(chǔ)上構(gòu)建了整套系統(tǒng)并進(jìn)行測(cè)試，在風(fēng)吹，懸掛重物的狀況下，系統(tǒng)的姿態(tài)，位置可以較好的進(jìn)行估計(jì)。結(jié)果顯示均方誤差有了提高

21.Run Your Visual-Inertial Odometry on NVIDIA Jetson: Benchmark Tests on a Micro Aerial Vehicle

在NVIDIA的jetson上測(cè)試了VINS-Mono, VINS-Fusion, Kimera, ALVIO, StereoMSCKF, ORB-SLAM2 stereo, ROVIO這些視覺(jué)慣性算法，衡量了他們的誤差，并給出了一個(gè)數(shù)據(jù)集KAIST VIO dataset （github.com/zinuok/kaist）

22.LVI-SAM: Tightly-Coupled Lidar-Visual-Inertial Odometry Via Smoothing and Mapping 

MIT 方案開(kāi)源(github.com/TixiaoShan/L)
提出了一種緊耦合的雷達(dá)-視覺(jué)-慣性里程計(jì)，基于因子圖構(gòu)建；整個(gè)系統(tǒng)分為兩個(gè)小的子系統(tǒng)：1.視覺(jué)-慣性系統(tǒng)(VIS ) 2. 雷達(dá)-慣性系統(tǒng)(LIS ) 。二者用一種緊耦合的方式相互關(guān)聯(lián)；VIS 借助 LIS 進(jìn)行初始化，反過(guò)來(lái)LIS 利用 VIS 估計(jì)進(jìn)行初始猜測(cè)以支持掃描匹配。閉環(huán)首先由 VIS 識(shí)別，然后由 LIS 進(jìn)一步細(xì)化。LVI-SAM 也可在兩個(gè)子系統(tǒng)之一出現(xiàn)故障時(shí)發(fā)揮作用，這增加了其在無(wú)紋理和無(wú)特征環(huán)境中的魯棒性。
貢獻(xiàn)點(diǎn)

1. 建立了一個(gè)基于因子圖的緊耦合的LVIO的框架

2. 基于上述策略，該框架是一個(gè)較為魯棒的系統(tǒng)，可以避免傳感器退化導(dǎo)致的失敗情況

23.Super Odometry: IMU-centric LiDAR-Visual-Inertial Estimator for Challenging Environments

卡耐基梅隆大學(xué)，東北大學(xué)
建立了一個(gè)高分辨率的，多傳感器的融合框架；提出了一種簡(jiǎn)單高效的形式來(lái)融合激光雷達(dá)，相機(jī)，imu，可以在感知退化的場(chǎng)景下完成魯棒的狀態(tài)估計(jì)；該里程計(jì)不同于傳統(tǒng)的方案，主線程為IMU線程；結(jié)合了松耦合，緊耦合的優(yōu)點(diǎn)。
整體分為三部分：1.imu 里程計(jì)，2 視覺(jué)慣性里程計(jì) 3.雷達(dá)慣性里程計(jì)
由視覺(jué)慣性，雷達(dá)慣性 提供先驗(yàn)信息解決bias的估計(jì)問(wèn)題，并且為IMU 里程計(jì)提供運(yùn)動(dòng)信息；并且該方案建立了一種八叉樹(shù)代替static KD-tree來(lái)管理空間3D點(diǎn)，僅消耗原有時(shí)間的10%
在DARPA的比賽中取得了第一（地下通道）第二（城市環(huán)路）的成績(jī)

二、其他傳感器與慣性組合(5)

24.Airflow-Inertial Odometry for Resilient State Estimation on Multirotors 

用于多旋翼飛機(jī)狀態(tài)估計(jì)的氣流慣性里程計(jì)，構(gòu)建了一個(gè)氣流傳感器于IMU組合的算法
貢獻(xiàn)點(diǎn)：

1. 使用新穎的仿生 3D 氣流傳感器進(jìn)行和IMU組合的航位推算

2. 放寬環(huán)境中恒定風(fēng)的普遍假設(shè)，并能夠補(bǔ)償具有挑戰(zhàn)性的湍流風(fēng)的影響

25.FAST-LIO: A Fast, Robust LiDAR-Inertial Odometry Package by Tightly-Coupled Iterated Kalman Filter

港大 代碼開(kāi)源
基于濾波的方案，將激光雷達(dá)與慣性傳感器做緊耦合；為了減少大量激光測(cè)量帶來(lái)的計(jì)算量增大，提出了一種新的用來(lái)計(jì)算卡爾曼增益的方法；使得卡爾曼增益的計(jì)算僅取決于狀態(tài)維數(shù)，而不是測(cè)量的維數(shù)

26.LIRO: Tightly Coupled Lidar-Inertia-Ranging Odometry

通過(guò)IMU+UWB+激光雷達(dá) 使用滑動(dòng)窗口解決里程計(jì)得漂移問(wèn)題，主要方法為使用預(yù)積分和聯(lián)合優(yōu)化

三、慣性數(shù)據(jù)處理(2)

27.IMU Data Processing for Inertial Aided Navigation: A Recurrent Neural Network Based Approach

阿里巴巴
設(shè)計(jì)了一種循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network）來(lái)處理原始加速度計(jì)和陀螺儀的數(shù)據(jù)，可以減少模型誤差；為了保證系統(tǒng)的通用性，通過(guò)對(duì)IMU的數(shù)據(jù)進(jìn)行回歸來(lái)訓(xùn)練網(wǎng)絡(luò)。而不是大多數(shù)方法所采用的IMU的位置和方向。并且提出了一種用于處理IMU數(shù)據(jù)的方法，包括 損失函數(shù)，訓(xùn)練策略，數(shù)據(jù)預(yù)處理，增強(qiáng)等部分。
到底學(xué)習(xí)的是什么？在文中說(shuō)到
‘’ Our objective is to represent gπ and π via a data driven way to achieve better performance compared to existing hand-crafted methods‘’
就是原有的IMU模型，包含BIas的誤差，白噪聲的影響；通常來(lái)說(shuō)，需要在使用前以及使用中不斷地對(duì)bias進(jìn)行估計(jì)并矯正，而其學(xué)習(xí)的就是IMU的模型，免去估計(jì)的麻煩；

28.Reinforcement Learning for Orientation Estimation Using Inertial Sensors with Performance Guarantee 

對(duì)慣性傳感器+地磁計(jì) 使用深度強(qiáng)化學(xué)習(xí)（DRL）來(lái)估計(jì)姿態(tài)，并對(duì)誤差的收斂性進(jìn)行了證明；自稱是首個(gè)基于深度強(qiáng)化學(xué)習(xí)的并進(jìn)行了誤差收斂證明的姿態(tài)估計(jì)方法；自稱可以用于一些傳統(tǒng)數(shù)值方法處理困難的極端場(chǎng)景下。
學(xué)習(xí)的是什么?
本文把姿態(tài)的估計(jì)看作是一個(gè)更新的過(guò)程，每一次更新都有一個(gè)estimator gain；就像EKF的kalman gain一樣；而該文就是把estimator gain的計(jì)算看作是一個(gè)強(qiáng)化學(xué)習(xí)的問(wèn)題；

四、總結(jié)與分析

總共總結(jié)了28篇文章；其中視覺(jué)慣性23篇，其他傳感器+慣性3篇，慣性傳感器2篇；

對(duì)于視覺(jué)慣性來(lái)說(shuō)28篇文章研究?jī)?nèi)容可被分為以下幾類

1.多機(jī)系統(tǒng)的SLAM問(wèn)題(1,10,14)

2.視覺(jué)慣性+其他傳感器 的SLAM問(wèn)題(3,5,7,8,12,13,18,22,23)

這里的其他傳感器包括了(uwb(3),1D laser(5,7,8),GNSS(13),GNSS+地磁傳感器(18),lidar(22,23) )

可以看出多傳感器進(jìn)行組合仍是目前的一個(gè)熱點(diǎn)研究方向，特別是和雷達(dá)融合達(dá)到了5篇，個(gè)人認(rèn)為原因在于：一方面，雷達(dá)重建可以為導(dǎo)航定位提供高精地圖，另一方面，雷達(dá)可以直接提供深度信息，并且在IMU無(wú)法產(chǎn)生足夠激勵(lì)時(shí)，為系統(tǒng)提供額外觀測(cè)；另外與GNSS融合有兩篇，個(gè)人認(rèn)為引入GNSS的目的在于可以為系統(tǒng)提供絕對(duì)pose。方便進(jìn)行全局定位。并且GNSS的觀測(cè)不存在累計(jì)誤差，可以用來(lái)消除VI系統(tǒng)的累計(jì)誤差；uwb有一篇，其作用與GNSS相似，不過(guò)uwb提供的是室內(nèi)場(chǎng)景的絕對(duì)pose，可以用于室內(nèi)定位。

值得一提的是18，是一個(gè)無(wú)人駕駛公司的論文（馭勢(shì)科技），他們采用了四種傳感器進(jìn)行組合（雙目，imu，GNSS,地磁計(jì)）；說(shuō)明在實(shí)際的工業(yè)場(chǎng)景中，這些公司認(rèn)為越多的傳感器信息，才能給系統(tǒng)提供更好的魯棒性，準(zhǔn)確性。

3.基于學(xué)習(xí)(4,6,17,27,28)

4中基于學(xué)習(xí)方法改善了EKF系統(tǒng)協(xié)方差的估計(jì)問(wèn)題，在6，17中采用了基于學(xué)習(xí)的方法來(lái)建立稠密深度圖。27，28則直接來(lái)學(xué)習(xí)IMU模型，期望使用學(xué)習(xí)的方法來(lái)得到更加準(zhǔn)確的估計(jì)信息

基于學(xué)習(xí)的策略，仍是目前的一個(gè)主流研究方向；但是因?yàn)閟lam問(wèn)題本身是可以用精確的數(shù)學(xué)模型來(lái)進(jìn)行描述的，所以學(xué)習(xí)一般用于增強(qiáng)傳感器的性能，像由單目恢復(fù)稠密深度，IMU模型改善。以及特定參數(shù)的學(xué)習(xí) 如4學(xué)習(xí)的是協(xié)方差，28學(xué)習(xí)的是增益系數(shù)。

4.SLAM的數(shù)學(xué)問(wèn)題(4,11,19）

4分析了關(guān)于協(xié)方差的問(wèn)題，11分析了 19建立SE3上的問(wèn)題，并提出了光滑商流形

5.測(cè)試評(píng)估(16,21)

提出了測(cè)試和評(píng)估的框架

6.SLAM的動(dòng)力學(xué)問(wèn)題(1,20,24)

這些動(dòng)力學(xué)問(wèn)題主要集中在無(wú)人機(jī)方面，即當(dāng)有外力存在時(shí)（重物懸吊，大風(fēng)），如何對(duì)系統(tǒng)進(jìn)行建模，并解決SLAM問(wèn)題

可以看出目前的研究熱點(diǎn)還都集中在多傳感器融合（VI+其他）以及學(xué)習(xí)方面。對(duì)于傳統(tǒng)的vI-SLAM來(lái)說(shuō)，研究的主要集中在對(duì)系統(tǒng)數(shù)學(xué)方面的分析，如何在真實(shí)場(chǎng)景下應(yīng)用，而不再有太多大的問(wèn)題需要解決。

其次ICRA2021 還召開(kāi)了視覺(jué)慣性導(dǎo)航系統(tǒng)研討會(huì)

該研討會(huì)主要做了在線報(bào)告,分別相關(guān)的題目為：

Ping Tan (Alibaba) – Visual localization and dense mapping
Stefan Leutenegger (TUM) – Visual-inertial SLAM and Spatial AI for mobile robots
Resilient Visual Inertial Estimation for Agile Aerial Robots
VINS and its Applications in Mixed Reality
Maurice Fallon (Oxford) – Multi-Sensor Tracking to enable exploration of visually degraded underground environments
From Visual Navigation to Real-time Scene Understanding: Open Problems and Opportunities
Jonathan Kelly (UToronto) – A Question of Time: Revisiting Temporal Calibration for Visual-Inertial Navigation
Robust VIO in the Real World
VINS on Unknown Devices

總結(jié)與分析

該會(huì)議主要討論了幾個(gè)方向

1.視覺(jué)定位與稠密地圖的建立

2.用于視覺(jué)SLAM的深度學(xué)習(xí)

3.飛行器的視覺(jué)慣性估計(jì)和感知

4.增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)

5.多傳感器融合

隨著相機(jī)和IMU的普及，提供高精度三維運(yùn)動(dòng)估計(jì)的視覺(jué)慣性導(dǎo)航系統(tǒng)（VINS）在從增強(qiáng)現(xiàn)實(shí)（AR）和無(wú)人機(jī)（UAV）到自動(dòng)駕駛等廣泛的應(yīng)用中擁有巨大的潛力，部分原因是這些器件的傳感能力互補(bǔ)以及成本和尺寸不斷降低。

雖然視覺(jué)慣性導(dǎo)航與SLAM在過(guò)去十年中取得了巨大的進(jìn)步，然而視覺(jué)慣性系統(tǒng)設(shè)計(jì)中的某些關(guān)鍵方面仍然沒(méi)有得到很好的探索，極大地阻礙了這些系統(tǒng)在實(shí)踐中的廣泛部署。

例如，許多VINS算法對(duì)高動(dòng)態(tài)和惡劣的照明條件還不夠穩(wěn)健；對(duì)于長(zhǎng)期、大規(guī)模的場(chǎng)景，它們還不夠精確；而且它們還不能提供語(yǔ)義和認(rèn)知理解，以支持高層決策

可以看出這些討論的問(wèn)題與上述的本次會(huì)議接受論文大體相符。

會(huì)議視頻回放地址為bilibili.com/video/BV19