論文簡述 | FlowFusion：基于光流的動態(tài)稠密RGB-D SLAM

動態(tài)環(huán)境對視覺SLAM具有挑戰(zhàn)性,因?yàn)橐苿訉ο笳趽趿遂o態(tài)環(huán)境特征并導(dǎo)致錯(cuò)誤的攝像機(jī)運(yùn)動估計(jì).在這篇文章中,我們提出了一個(gè)新的密集的三維立體模型解決方案,同時(shí)完成了動態(tài)/靜態(tài)分割和相機(jī)自我運(yùn)動估計(jì)以及靜態(tài)背景重建.

我們的創(chuàng)新之處在于使用光流殘差來突出RGBD點(diǎn)云中的動態(tài)語義,并為攝像機(jī)跟蹤和背景重建提供更準(zhǔn)確和有效的動態(tài)/靜態(tài)分割.在公共數(shù)據(jù)集和真實(shí)動態(tài)場景上的密集重建結(jié)果表明,與現(xiàn)有方法相比,該方法在動態(tài)和靜態(tài)環(huán)境下均取得了準(zhǔn)確和高效的性能.

機(jī)器人的同時(shí)定位和地圖是從未知環(huán)境中獲取信息,建立地圖,并在地圖上定位機(jī)器人.無論在機(jī)器人學(xué)還是計(jì)算機(jī)視覺研究領(lǐng)域,動態(tài)環(huán)境都是實(shí)現(xiàn)SLAM的一大難題.這是因?yàn)楝F(xiàn)有的大多數(shù)SLAM方法和視覺里程計(jì)解決方案都是基于靜態(tài)環(huán)境假設(shè)來保證其魯棒性和效率的.當(dāng)動態(tài)障礙物出現(xiàn)或觀測環(huán)境發(fā)生變化時(shí),這些方法不能提取足夠可靠的靜態(tài)視覺特征,從而導(dǎo)致特征關(guān)聯(lián)不足,導(dǎo)致不同攝像機(jī)姿態(tài)之間的運(yùn)動估計(jì)失敗.為了處理動態(tài)環(huán)境,可視化SLAM的一個(gè)簡單的想法是從輸入數(shù)據(jù)中提取動態(tài)部分,并單獨(dú)處理它,以應(yīng)用靜態(tài)SLAM.

近年來,基于深度學(xué)習(xí)的圖像分割和目標(biāo)檢測方法得到了快速發(fā)展,在效率和精度上都有了很大提高.許多研究者試圖通過語義標(biāo)注或?qū)ο髾z測預(yù)處理來處理動態(tài)環(huán)境,以去除潛在的動態(tài)對象.這些方法在處理特定動態(tài)對象的特定場景中顯示了非常有效的結(jié)果.然而,當(dāng)未知動態(tài)對象出現(xiàn)時(shí),它們的魯棒性可能會下降.考慮到更廣義的動態(tài)特征,我們研究了描述各種動態(tài)對象的流動方法,如三維點(diǎn)云中的場景流動和2D圖像中的光流.Flow方法是估計(jì)給定圖像對或點(diǎn)云數(shù)據(jù)之間的像素運(yùn)動.這些方法對微小的運(yùn)動很敏感.然而此方法需要復(fù)雜的penalty設(shè)置,并且受到分割邊界不清晰的影響.

在本文中,為了擺脫預(yù)先已知的動態(tài)對象假設(shè),我們通過基于流的動態(tài)/靜態(tài)分割來處理動態(tài)SLAM問題.與現(xiàn)有方法不同,我們提出了一種新的基于光流殘差的動態(tài)分割和密集融合的RGB-D SLAM方案.該方法通過改善動態(tài)因素的影響,在當(dāng)前的RGB-D幀中有效地提取動態(tài)片段,然后精確地重建靜態(tài)環(huán)境.此外,在真正具有挑戰(zhàn)性的人形機(jī)器人SLAM場景上的演示表明,所提出的方法優(yōu)于其他先進(jìn)的動態(tài)SLAM解決方案.

論文地址

https://arxiv.org/pdf/2003.05102.pdf

輸入兩個(gè)連續(xù)的RGB-D幀A和B,RGB圖像首先被饋送到PWC-net用于光流(黃色箭頭)估計(jì).同時(shí),強(qiáng)度和深度對A和B被饋送到魯棒相機(jī)自我運(yùn)動估計(jì)器,以初始化相機(jī)運(yùn)動ξ,然后,我們用ξ將幀A映射到A’,并獲得投影的2D場景流,然后將其應(yīng)用于動態(tài)分割.經(jīng)過幾次迭代,靜態(tài)背景實(shí)現(xiàn)重建.

下圖是投影的2D場景在圖像平面中流動, 是幀A中的一個(gè)對象點(diǎn)投影像素，是幀B中的同一個(gè)3D點(diǎn)(屬于移動對象).紅色箭頭表示場景流,這是世界空間運(yùn)動.藍(lán)色箭頭是中的光流.綠色箭頭是圖像平面中投影的2D場景流,黃色向量是攝像機(jī)自身運(yùn)動產(chǎn)生的流.

下圖是迭代估計(jì)動態(tài)場景中的2D場景流.(a)是機(jī)器人向左移動而人類向右移動的場景.(b)是根據(jù)(a)的圖像對估計(jì)的光流.顏色表示流動方向,強(qiáng)度表示像素位移.藍(lán)色的流動是相機(jī)自我運(yùn)動的結(jié)果.我們從光流中減去自我流,得到像平面上的場景流分量,如(c)所示.在(b)中迭代地移除場景流和,在7次迭代之后就可以獲得更好的2D場景流結(jié)果,如(d).

下圖是TUM fr3_walking xyz序列的比較實(shí)驗(yàn).比較了JF、SF、PF和提出的FF方法的動態(tài)分割性能.藍(lán)色部分在JF和SF是靜態(tài)的.紅色部分在PF和FF中是靜態(tài)的.第一行是輸入的RGB幀,其他行是每種方法的動態(tài)/靜態(tài)分割結(jié)果,最后一列顯示背景重建(JF除外,它沒有提供重建功能).

結(jié)果:

在HRPSlam 2.1序列上的流融合實(shí)驗(yàn)結(jié)果,黃色部分是估計(jì)的動態(tài)對象.在這個(gè)序列中,HRP-4人形機(jī)器人安裝一個(gè)RGB-D傳感器.首先移動到他的左側(cè),然后向右轉(zhuǎn)動.這些數(shù)據(jù)集包含豐富的快速旋轉(zhuǎn)運(yùn)動和抖動,這使得難以獲得光流殘差.腳部分被分割成靜態(tài)背景,因?yàn)樵谛凶唠A段,地面上的支撐腳很容易被視為靜態(tài)對象.雖然掃地腳移動得很快,并保留了大量的光流殘余,但它們離堅(jiān)硬的地面太近了.因此,由于圖的連通性,它們很容易被分割成靜態(tài)背景.

在本文中,我們提出了一種新的密集的三維立體匹配算法,該算法可以聯(lián)合計(jì)算出動態(tài)片段和重建靜態(tài)環(huán)境.新提供的動態(tài)分割和密集融合公式應(yīng)用了先進(jìn)的密集光流估計(jì)器,提高了動態(tài)分割的精度和效率.