基于圖割優(yōu)化的多平面重建視覺(jué) SLAM（ISMAR2021）

本文來(lái)自于AR領(lǐng)域最著名的學(xué)術(shù)會(huì)議ISMAR，結(jié)合了之前介紹過(guò)的圖割理論。

作者提出了一種語(yǔ)義平面 SLAM 系統(tǒng)，該系統(tǒng)使用來(lái)自實(shí)例平面分割網(wǎng)絡(luò)的線索來(lái)改進(jìn)位姿估計(jì)和映射。雖然主流方法是使用 RGB-D 傳感器，但在這樣的系統(tǒng)中使用單目相機(jī)仍然面臨著魯棒的數(shù)據(jù)關(guān)聯(lián)和精確的幾何模型擬合等諸多挑戰(zhàn)。在大多數(shù)現(xiàn)有工作中，幾何模型估計(jì)問(wèn)題，例如單應(yīng)性估計(jì)和分段平面重建（piece-wise planar reconstruction，PPR），通常由標(biāo)準(zhǔn)（貪婪）RANSAC解決。然而，在缺乏場(chǎng)景信息（即尺度）的情況下，設(shè)置RANSAC的閾值是很非常困難的。在這項(xiàng)工作中，作者認(rèn)為可以通過(guò)最小化涉及空間相干性的能量函數(shù)來(lái)解決兩個(gè)提到的幾何模型（單應(yīng)性/3D平面），即圖割優(yōu)化，這也解決了經(jīng)過(guò)訓(xùn)練的CNN的輸出是不準(zhǔn)確的問(wèn)題。此外，作者根據(jù)實(shí)驗(yàn)提出了一種自適應(yīng)參數(shù)設(shè)置策略，并完成了對(duì)各種開(kāi)源數(shù)據(jù)集的綜合評(píng)估。

語(yǔ)義平面SLAM在過(guò)去十年中備受關(guān)注，尤其是對(duì)于虛擬現(xiàn)實(shí) (virtual reality，VR) 系統(tǒng)和增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)應(yīng)用。盡管現(xiàn)在很多人對(duì)這個(gè)主題進(jìn)行了深入的研究，但目前大多數(shù)方法仍然集中在RGB-D傳感器和從深度圖像中提取平面圖元。單目方法仍然面臨一些挑戰(zhàn)和困難，例如無(wú)紋理場(chǎng)景、動(dòng)態(tài)前景、相機(jī)的純旋轉(zhuǎn)、幀之間的各種基線和尺度漂移，其中平面圖元只能從有限的3D中獲得的信息。現(xiàn)有的方法要么建立在間接 SLAM 上，要么建立在直接 SLAM上，但兩者都面臨著前面提到的挑戰(zhàn)。

在這項(xiàng)工作中，作者認(rèn)為在單目 SLAM 系統(tǒng)中通常無(wú)法有效解決數(shù)據(jù)關(guān)聯(lián)和幾何模型擬合問(wèn)題，即在從不同視點(diǎn)（在小基線或大基線下）或從相同視點(diǎn)（在純旋轉(zhuǎn)下）的幀之間建立多平面的特征匹配，實(shí)現(xiàn)單應(yīng)性估計(jì)和分解。為了相對(duì)地定位相機(jī)，通常通過(guò)三角測(cè)量（正深度驗(yàn)證）并最小化圖像對(duì)之間的對(duì)稱傳遞誤差（symmetric transfer error，STE）來(lái)驗(yàn)證合理的單應(yīng)矩陣。

然而，僅從相對(duì)姿態(tài)估計(jì)無(wú)法觀察到映射尺度。同時(shí)，3D 平面只能根據(jù)單目設(shè)置下的多組包含噪聲并且稀疏的點(diǎn)云擬合。

因此，為了解決單目系統(tǒng)的問(wèn)題，作者首先將實(shí)時(shí)的實(shí)例平面分割網(wǎng)絡(luò)集成到基于特征的 SLAM 系統(tǒng)中。然后，作者以順序 RANSAC 方式解決多模型擬合問(wèn)題，并使用了快速圖切割優(yōu)化引擎技術(shù)。其核心有以下2點(diǎn)：

1. 引入了一種基于能量的幾何模型擬合方法，即將具有圖割優(yōu)化的順序 RANSAC 轉(zhuǎn)換為基于特征的平面 SLAM 系統(tǒng)，該系統(tǒng)隱式地將 SLAM 視為優(yōu)化不同類型的幾何多模型估計(jì)。
2. 提出了一個(gè) SLAM 構(gòu)建塊，它集成了上述基于能量的方法和實(shí)例平面分割的最新的卷積神經(jīng)網(wǎng)絡(luò) (CNN)。因此，作者沒(méi)有將 CNN 的任何輸出作為無(wú)噪聲的“sensor”測(cè)量，而是在 SLAM 工作流程中對(duì)其進(jìn)行進(jìn)一步優(yōu)化，從而提高了跟蹤和優(yōu)化的性能。

最后作者進(jìn)行了詳盡的實(shí)驗(yàn)，并總結(jié)了在單目和 RGB-D 設(shè)置下對(duì)各種室內(nèi)數(shù)據(jù)集的綜合評(píng)估。

圖1   順序圖割 RANSAC實(shí)現(xiàn)魯棒的分段平面重建（PPR）。圖示為從稀疏和包含噪聲的點(diǎn)云中重建輕量級(jí)語(yǔ)義圖。不同的顏色表示不同的平面。

圖2  所提框架

作者首先介紹了用于幾何模型擬合的標(biāo)準(zhǔn)順序RANSAC pipeline（一種單應(yīng)性或平面結(jié)構(gòu)），將語(yǔ)義線索作為圖像序列的輸入。然后，為了有效處理實(shí)例分割網(wǎng)絡(luò)的可能錯(cuò)誤分類，作者并沒(méi)有簡(jiǎn)單地對(duì)每個(gè)檢測(cè)到的平面段使用標(biāo)準(zhǔn)的 RANSAC 平面擬合算法，而是在內(nèi)部?jī)?yōu)化步驟（算法1）中使用局部?jī)?yōu)化的 RANSAC 交替圖割和模型重?cái)M合實(shí)現(xiàn)更魯棒的pipeline，以自適應(yīng)不準(zhǔn)確的實(shí)例分割和噪聲。所提基于特征的 SLAM 框架，如圖2所示。

方法核心：

通過(guò) RANSAC 進(jìn)行幾何模型擬合

標(biāo)準(zhǔn) RANSAC是一種眾所周知的方法，用于在數(shù)據(jù)中進(jìn)行單一的模型擬合。隱式一元能量函數(shù)為：

使用 0-1 度量計(jì)算目標(biāo)模型的內(nèi)點(diǎn)，可以重新表述為二元標(biāo)記問(wèn)題，參數(shù)θ表示為在某個(gè)閾值ε內(nèi)具有最大內(nèi)點(diǎn)數(shù)的模型的向量：

順序 RANSAC 通過(guò)一個(gè)一個(gè)地檢測(cè)模型實(shí)例，將檢測(cè)到的實(shí)例的內(nèi)點(diǎn)從數(shù)據(jù)點(diǎn)集 P 中刪除。但這種方法的缺點(diǎn)是內(nèi)點(diǎn)通常分配給包含最多內(nèi)點(diǎn)的平面而不是實(shí)際的最佳實(shí)例。

具有空間連貫性的順序模型擬合

多幾何模型的擬合問(wèn)題通常被表述為一個(gè)最優(yōu)標(biāo)記問(wèn)題，其中二元能量 E(L) 可以擴(kuò)展為一個(gè)附加項(xiàng)，表示標(biāo)簽計(jì)數(shù)懲罰（標(biāo)簽平滑度）和一個(gè)表示空間規(guī)律的項(xiàng)。本文中作者使用的能量函數(shù)如下：

其中第一項(xiàng)表示數(shù)據(jù)點(diǎn)和相應(yīng)模型之間的幾何誤差度量，第二項(xiàng)表示空間正則化，用于懲罰圖中具有不同標(biāo)簽的鄰域。N表示由數(shù)據(jù)點(diǎn)集構(gòu)建的近鄰圖中的邊（例如圖 1 中的 Potts 模型）。權(quán)重 W_pq 是為每對(duì)近鄰數(shù)據(jù)點(diǎn)設(shè)置的不連續(xù)性懲罰因子。λ是平衡這兩項(xiàng)的參數(shù)。

視覺(jué)SLAM框架

首先進(jìn)行系統(tǒng)初始化和映射初始化。對(duì)于單目 SLAM，作者在初始化步驟中提出了的算法1，其中 Homography 矩陣和 Fundamental 矩陣是并行計(jì)算的，同時(shí)使用對(duì)稱傳遞誤差 (STE) 來(lái)測(cè)量匹配特征點(diǎn) p = (p_ref ; p_cur) 之間的幾何誤差 ||H_p||。非線性最小化的初始解是通過(guò)使用具有最小的 4 個(gè)對(duì)應(yīng)關(guān)系的歸一化直接線性變換 (Normalized Direct Linear Transform，NDLT) 得到的。然后對(duì)單應(yīng)性應(yīng)用能量最小化：

其中 H = {H|p屬于P}是模型對(duì)參考幀中特征點(diǎn) p 的匹配部分，鄰域系統(tǒng) 中N 利用基于圖像空間上的網(wǎng)格鄰域構(gòu)造，最小采樣（4 個(gè)對(duì)應(yīng)）由漸進(jìn)式 NAPSAC 采樣器在該圖像網(wǎng)格中采樣得到。然后進(jìn)行局部平面的擴(kuò)展和映射重估計(jì)。

實(shí)驗(yàn)環(huán)節(jié)：

實(shí)例分割是語(yǔ)義平面重建的先驗(yàn)信息。然而，如圖 3 所示，基于全局的實(shí)例分割方法（即 PlaneSegNet）存在特征丟失，有時(shí)無(wú)法區(qū)分相同紋理的不同特征。需要注意的是，該網(wǎng)絡(luò)未在作者用于評(píng)估 SLAM 的數(shù)據(jù)集上進(jìn)行訓(xùn)練，該數(shù)據(jù)集模擬了實(shí)際情況，因?yàn)榻?jīng)過(guò)訓(xùn)練的 CNN 在不同的實(shí)際場(chǎng)景下可能無(wú)法泛化。這也是作者在這項(xiàng)工作中引入圖割方法的原因，可以將其視為實(shí)例分割的后處理步驟。

圖3  PlaneSegNet 和 PlaneRCNN 在數(shù)據(jù)集 TUM RGB-D上的分割結(jié)果比較。

圖4  在數(shù)據(jù)集 TUM RGB-D 和 ICL-NUIM 的選定序列上構(gòu)建的輕量級(jí)語(yǔ)義圖（點(diǎn)和平面patch面，以及放大后的最佳視圖）。

表 1：絕對(duì)軌跡誤差 RMSE [cm]（X 代表跟蹤失敗，- 代表無(wú)法從相應(yīng)論文中獲得的結(jié)果）。作者的結(jié)果，ORB-SLAM2 和 OpenVSLAM 的每個(gè)結(jié)果都為每個(gè)序列執(zhí)行 5 次的平均值

表 2：在單目設(shè)置下，作者的平面 SLAM 系統(tǒng)與原始 ORB-SLAM2 和 OpenVSLAM 相比的運(yùn)行時(shí)間分析 [ms]（在數(shù)據(jù)集 TUM RGB-D上評(píng)估的平均值：fr3 st tex far），使用臺(tái)式 PC Intel Xeon(R) E-2146G 12 核 CPU @ 3.50GHz，32GB RAM。PlaneSegNet 在 NVIDIA GTX 1080 Ti 的標(biāo)準(zhǔn) GPU 上進(jìn)行評(píng)估。

備注：作者也是我們「3D視覺(jué)從入門到精通」特邀嘉賓：一個(gè)超干貨的3D視覺(jué)學(xué)習(xí)社區(qū)

原創(chuàng)征稿

初衷
3D視覺(jué)工坊是基于優(yōu)質(zhì)原創(chuàng)文章的自媒體平臺(tái)，創(chuàng)始人和合伙人致力于發(fā)布3D視覺(jué)領(lǐng)域最干貨的文章，然而少數(shù)人的力量畢竟有限，知識(shí)盲區(qū)和領(lǐng)域漏洞依然存在。為了能夠更好地展示領(lǐng)域知識(shí)，現(xiàn)向全體粉絲以及閱讀者征稿，如果您的文章是3D視覺(jué)、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、三維測(cè)量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺(jué)產(chǎn)品落地、硬件選型、求職分享等方向，歡迎砸稿過(guò)來(lái)~文章內(nèi)容可以為paper reading、資源總結(jié)、項(xiàng)目實(shí)戰(zhàn)總結(jié)等形式，公眾號(hào)將會(huì)對(duì)每一個(gè)投稿者提供相應(yīng)的稿費(fèi)，我們支持知識(shí)有價(jià)！

投稿方式

郵箱：[email protected] 或者加下方的小助理微信，另請(qǐng)注明原創(chuàng)投稿。

▲長(zhǎng)按加微信聯(lián)系

▲長(zhǎng)按關(guān)注公眾號(hào)