↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

作者丨R

來(lái)源丨曠視研究院

編輯丨極市平臺(tái)

極市導(dǎo)讀

?

在CVPR 2020 SLAM挑戰(zhàn)賽上，曠視研究院參賽團(tuán)隊(duì)獲得了兩個(gè)賽道的冠軍。本文分享了他們采用的技術(shù)方案，并介紹了曠視SLAM機(jī)器人研究進(jìn)展。

相信做SLAM（即時(shí)定位與地圖構(gòu)建）的同學(xué)都知道或者領(lǐng)略過TartanAir，這個(gè)CMU于今年3月發(fā)布的超難數(shù)據(jù)集的“風(fēng)采”。據(jù)CMU研究人員介紹，構(gòu)建該數(shù)據(jù)集的目的就是為了推動(dòng)視覺SLAM的極限。而在完全基于該數(shù)據(jù)集舉辦的 CVPR2020 SLAM 挑戰(zhàn)賽上，曠視研究院 SLAM 組以絕對(duì)優(yōu)勢(shì)包攬?jiān)撎魬?zhàn)賽全部賽道的冠軍。本文對(duì)團(tuán)隊(duì)的方案進(jìn)行了介紹，希望與同學(xué)們交流討論。

實(shí)時(shí)定位與地圖構(gòu)建（Simultaneous Localization and Mapping，SLAM）技術(shù)是機(jī)器人導(dǎo)航控制領(lǐng)域一項(xiàng)極為重要的基礎(chǔ)技術(shù)，雖然近年來(lái)SLAM領(lǐng)域發(fā)展迅猛，但算法在各類環(huán)境下的魯棒性問題仍然有待探索，這其中數(shù)據(jù)集扮演著關(guān)鍵角色。

一個(gè)典型的SLAM工作：利用視頻序列同時(shí)估計(jì)相機(jī)姿態(tài)和構(gòu)建環(huán)境地圖，視頻源于Direct Sparse Visual-Inertial Odometry using Dynamic Marginalization, Lukas von Stumberg, Vladyslav Usenko, Daniel Cremers, 2018 IEEE International Conference on Robotics and Automation (ICRA)

當(dāng)前已有的數(shù)據(jù)集雖然極大推動(dòng)了領(lǐng)域的發(fā)展，但與實(shí)際應(yīng)用當(dāng)中的場(chǎng)景豐富度與運(yùn)動(dòng)模式相比，它們依然存在較大提升空間。為此 TartanAir 數(shù)據(jù)集橫空出世，作為對(duì)真實(shí)世界數(shù)據(jù)不足的補(bǔ)充，基于虛幻引擎強(qiáng)大擬真能力構(gòu)建的 TartanAir，包含大量風(fēng)格迥異、環(huán)境變量多元的場(chǎng)景。

另外，正是由于使用了虛擬環(huán)境，團(tuán)隊(duì)才能從各種視角、運(yùn)動(dòng)模式出發(fā)來(lái)收集數(shù)據(jù)樣本，這在真實(shí)世界的數(shù)據(jù)收集中往往十分困難。

??

TartanAir 數(shù)據(jù)示例，官網(wǎng)：http://theairlab.org/tartanair-dataset/

?

CVPR2020 SLAM 挑戰(zhàn)賽完全基于TartanAir開展，共有兩個(gè)賽道 Monocular Track、Stereo Track。每個(gè)比賽都要在給定的16個(gè)序列上算出軌跡并提交。

比賽官網(wǎng)：

https://sites.google.com/view/vislocslamcvpr2020/slam-challenge

?

評(píng)價(jià)指標(biāo)Score的計(jì)算方式為：，Score越小越好。其中取來(lái)平衡平移和旋轉(zhuǎn)的誤差，因?yàn)樵谠摂?shù)據(jù)集上平均角速度（角度為單位）是平均線速度的7倍。

?

比賽提交時(shí)間于2020.08.15截止，根據(jù)提交的最優(yōu)的Score進(jìn)行排名。曠視研究院 SLAM 組最終包攬?jiān)撎魬?zhàn)賽全部賽項(xiàng)冠軍。此次登頂一方面證明曠視研究院在 SLAM 領(lǐng)域所具備的國(guó)際頂尖水平，同時(shí)這份成績(jī)也反映了曠視在機(jī)器人建圖定位方面的業(yè)界領(lǐng)先水平。

?

CVPR2020 SLAM 挑戰(zhàn)賽之所以對(duì)現(xiàn)有 SLAM 方案十分困難，其原因在于比賽數(shù)據(jù)擁有極為豐富的場(chǎng)景與場(chǎng)景環(huán)境變化，同時(shí)相機(jī)的各種極端運(yùn)動(dòng)模式也為 SLAM 算法的魯棒性提出了巨大挑戰(zhàn)。

?

1.豐富的場(chǎng)景：如室內(nèi)場(chǎng)景、城市場(chǎng)景、森林場(chǎng)景、水下場(chǎng)景等，因此需要 SLAM 算法很高的泛化能力，能夠勝任于各種場(chǎng)景。

?

2.場(chǎng)景的變化多種多樣：如光照變化、天氣變化（雨、雪、霧）、季節(jié)變化、弱紋理、動(dòng)態(tài)物體等，需要 SLAM 算法很好的魯棒性，適應(yīng)各種場(chǎng)景變化。

?

3.極端的相機(jī)運(yùn)動(dòng)：使得視角變化很大，需要魯棒的 Tracking 算法以至于不容易跟蹤丟失。

?

技術(shù)方案

針對(duì)上述難點(diǎn)，曠視研究院 SLAM 組在此次比賽中的 Mono Track 和 Stereo Track 兩個(gè)賽道分別采用了以下的技術(shù)方案。

1.Mono Track

各階段提交結(jié)果如下：

在 Mono Track 中，研究人員主要用了以下方法：

?

• 用 COLMAP 作為 baseline 方法

COLMAP 是一種常用的 SFM 系統(tǒng)，其流程圖如上圖所示。對(duì)輸入的圖像序列，通過特征提取、匹配以及幾何校驗(yàn)來(lái)建立特征間的數(shù)據(jù)關(guān)聯(lián)，然后通過圖像配準(zhǔn)、三角化特征點(diǎn)以及Bundle Adjustment 來(lái)進(jìn)行增量式的定位與建圖。由于 COLMAP 精度高且可擴(kuò)展性較強(qiáng)，研究人員在比賽中所用方案都是基于 COLMAP 的框架。

?

• 用 SuperPoint 和 SuperGlue 進(jìn)行特征提取和匹配

在 COLMAP 中，通過提取 SIFT 特征點(diǎn)和最近鄰匹配來(lái)建立特征間的關(guān)聯(lián)。而本次比賽的難點(diǎn)之一就是豐富且不斷變化的場(chǎng)景，不論是變化的光線還是雨雪霧等天氣的影響，準(zhǔn)確的提取特征點(diǎn)以及建立特征點(diǎn)之間正確的匹配都將對(duì)結(jié)果有著至關(guān)重要的影響。如上圖所示，人工設(shè)計(jì)的 SIFT 特征和最近鄰匹配在比賽環(huán)境中無(wú)法達(dá)到理想的效果。

?

針對(duì)這一問題，研究人員采用了 SuperPoint 以及 SuperGlue 的方案。SuperPoint 通過利用深度學(xué)習(xí)來(lái)得到圖像中的特征點(diǎn)，SuperGlue 通過利用 CNN 和 GNN 將兩幀圖像的特征點(diǎn)進(jìn)行匹配。通過測(cè)試及驗(yàn)證 SuperPoint+SuperGlue 相比于 SIFT+NN，會(huì)有更多正確的匹配，同時(shí)有更少的錯(cuò)誤匹配。

?

• 根據(jù)環(huán)境進(jìn)行動(dòng)態(tài)閾值調(diào)整

由于場(chǎng)景變化豐富，即使在同一個(gè)序列中，也存在著很劇烈的變化，例如從室內(nèi)到室外、從強(qiáng)光照到弱光照、從強(qiáng)紋理到弱紋理等。這種場(chǎng)景的不均衡分布會(huì)給算法精度帶來(lái)很大的影響。如上圖所示，當(dāng)采用固定閾值時(shí)，同一個(gè)序列中的兩對(duì)匹配由于場(chǎng)景變化太快，導(dǎo)致特征點(diǎn)和匹配的數(shù)量極度不均衡，將會(huì)使得 BA 環(huán)節(jié)帶來(lái)精度的損失。

為了解決這一問題，如上圖所示，研究人員根據(jù)環(huán)境的變化動(dòng)態(tài)的調(diào)整閾值等參數(shù)，使之做到保持每幅圖像中特征點(diǎn)和匹配的數(shù)量都比較均衡，減小特征點(diǎn)的不均衡分布帶來(lái)的影響。

?

• Loop detection via BoW and geometric validation

另一個(gè)關(guān)鍵點(diǎn)就是回環(huán)檢測(cè)。研究人員發(fā)現(xiàn)有一些測(cè)試數(shù)據(jù)集存在回環(huán)，如果能正確的檢測(cè)出回環(huán)的話可以很大程度上糾正累計(jì)誤差。

?

研究人員通過 BoW 進(jìn)行回環(huán)檢測(cè)，然后通過 geometric validation 剔除錯(cuò)誤回環(huán)，然后 global BA。通過這種方式來(lái)使得精度進(jìn)一步提升。

?

如下為一些單目測(cè)試集上的結(jié)果：

?

?

2.Stereo Track

各階段提交結(jié)果如下：

雙目的方法跟單目的方法大同小異，不同的是雙目每次會(huì)輸入左目和右目一對(duì)圖像，且雙目帶有絕對(duì)尺度。除了跟單目中一樣的方法，研究人員主要用了以下方法：

?

• 由于 COLMAP 不支持雙目，首先將 COLMAP 改成雙目的 COLMAP，主要添加了COLMAP 中雙目的初始化，雙目匹配，以及適配于雙目的 BA。流程圖如下：

?

當(dāng)輸入一對(duì)雙目，研究人員對(duì)雙目的每幅圖像提取特征點(diǎn)，然后通過雙目匹配和相鄰幀匹配來(lái)建立特征間的數(shù)據(jù)關(guān)聯(lián)，然后進(jìn)行雙目初始化、雙目配準(zhǔn)、特征點(diǎn)三角化等。在BA中，研究人員只優(yōu)化左目圖像的位姿，右目的位姿通過左目和外參得到，同時(shí)固定雙目的外參。通過上述流程研究人員可以針對(duì)雙目圖像進(jìn)行增量式的定位與建圖。

?

• 跟單目的做法一樣用 SuperPoint 和 SuperGlue 進(jìn)行特征提取和匹配
• 同時(shí)使用 SIFT 特征點(diǎn)和 SuperPoint 特征點(diǎn)進(jìn)行 Mapping

?

相比于單目的測(cè)試數(shù)據(jù)集，雙目測(cè)試數(shù)據(jù)集中，相機(jī)運(yùn)動(dòng)更加極端。為了保持在極端運(yùn)動(dòng)中還能魯棒的 tracking，研究人員同時(shí)使用 SIFT 特征點(diǎn)和 SuperPoint 特征點(diǎn)進(jìn)行 Mapping，這樣能構(gòu)建更多的 Mappoints，使 Tarcking 更加魯棒而且不容易 track lost。

?

• 其他做法跟單目相同。

如下為一些雙目測(cè)試集上的結(jié)果：

?

總結(jié)

截止到 2020.8.15 比賽結(jié)束，曠視研究院 SLAM 組最終在 SLAM Challenge 的 Mono Track 和Stereo Track 兩個(gè)賽道同時(shí)獲得冠軍。以下是研究人員進(jìn)行的一些基準(zhǔn)測(cè)試以及研究人員所用的方法在 leaderboard 上的得分，供大家參考。

?

延伸閱讀：曠視SLAM機(jī)器人

曠視的 SLAM 技術(shù)在機(jī)器人產(chǎn)品中得到了廣泛應(yīng)用，業(yè)內(nèi)首創(chuàng)的激光視覺融合導(dǎo)航技術(shù)，賦予曠視機(jī)器人全新一代的 MegBot-S800 AMR 更精準(zhǔn)的定位能力，更強(qiáng)大的環(huán)境適應(yīng)性。

MegBot-S800 AMR，額定負(fù)載 800KG，360° 激光雷達(dá)覆蓋，VSLAM 技術(shù)加持，具備低矮物體檢測(cè)、智能繞障能力。

MegBot-S800 AMR

MegBot-S800 AMR 實(shí)機(jī)測(cè)試畫面

曠視機(jī)器人在 SLAM 以及 3D 感知等技術(shù)上具有多項(xiàng)行業(yè)領(lǐng)先的技術(shù)創(chuàng)新：

1）高精到點(diǎn)：自然環(huán)境導(dǎo)航，構(gòu)建高精特征地圖，實(shí)現(xiàn) ±1cm 全程平均定位精度和 ±5mm 的高精重復(fù)到點(diǎn)。

2）視覺-激光融合：融合視覺、激光等多傳感器的新一代 SLAM 技術(shù)，智能過濾動(dòng)態(tài)物體，實(shí)現(xiàn)傳統(tǒng)激光 SLAM 無(wú)法達(dá)到的動(dòng)態(tài)環(huán)境適應(yīng)性。

3）重定位：基于深度學(xué)習(xí)的視覺場(chǎng)景識(shí)別技術(shù)，隨時(shí)隨地開機(jī)、重啟，無(wú)需人為干預(yù)。

4）地圖智能更新：自動(dòng)評(píng)估當(dāng)前感知環(huán)境與建圖時(shí)刻環(huán)境的變化，多車聯(lián)動(dòng)，實(shí)現(xiàn)地圖可靠、智能的自動(dòng)升級(jí)。

5）柔性導(dǎo)航：結(jié)合高精度地圖和智能避障系統(tǒng)，實(shí)現(xiàn)靈巧、安全和高效的智能導(dǎo)航。

6）智能避障：通過深度學(xué)習(xí)和 3D 技術(shù)識(shí)別環(huán)境中的人體、坑洞、懸浮物等障礙，并實(shí)現(xiàn)不同的智能避障策略，達(dá)到極高的安全性標(biāo)準(zhǔn)。

?

相信未來(lái)，曠視 SLAM 技術(shù)還將帶來(lái)更大的突破，曠視機(jī)器人也將始終堅(jiān)持用技術(shù)革命行業(yè)的理念，為大家?guī)?lái)更多驚喜！

推薦閱讀

• 查找計(jì)算機(jī)視覺頂會(huì)CVPR/ECCV/ICCV論文的方法大全
  

• 時(shí)隔一年，盤點(diǎn)CVPR 2019影響力最大的20篇論文
  

• 極市直播回放丨第66期-曠視朱本金：AutoAssign，目標(biāo)檢測(cè)中完全動(dòng)態(tài)的正負(fù)樣本標(biāo)簽分配方法
  

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺得有用麻煩給個(gè)在看啦~??