采用空間投影的深度圖像點云分割

本文摘自于：郭清達,全燕鳴. 采用空間投影的深度圖像點云分割[J]. 光學學報, 2020, 40(18): 1815001

點云分割是點云處理的一個關(guān)鍵環(huán)節(jié),其分割質(zhì)量決定了目標測量、位姿估計等任務(wù)的精確與否。

1、引言

目前,以立體成像技術(shù)為核心的立體相機獲得了多樣性發(fā)展,例如雙目相機、單目結(jié)構(gòu)光 相機、 TOF(timeofflight)相機等,其獲得的深度圖像(RGB-D)是在RGB 數(shù)據(jù)基礎(chǔ)上融合了深度數(shù)據(jù), 在參考相機內(nèi)參下深度圖像可轉(zhuǎn)化為點云數(shù)據(jù)。根據(jù)立體相機的三維數(shù)據(jù)重建感興趣區(qū)域(ROI),目標區(qū)域表面信息和背景信息的數(shù)據(jù)是混合在一起的,這給后續(xù)目標的三維測量和分析處理帶來了一 定難度,因此采用點云分割技術(shù)進行目標區(qū)域和背 景點云分離是必要的途徑。

點云分割就是將數(shù)據(jù)分割成若干個互不相交的子集。點云分割的問題一般分為4類：

1)具有 人類視覺意義的形狀確定

2)獲取點云中與空間方位無關(guān)的幾何特征

3)點云中各個形狀邊界的確定

4)具有一致性的分割結(jié)果。

目前的點云分割方法分為兩類,即主要處理點與點之間拓撲關(guān)系的傳統(tǒng)方法和基于深度學習的方法。

立體相機與激光雷達的不同之處在于拍攝場景信息所得的RGB-D數(shù)據(jù)具有物體表面的顏色紋理信息。不同于點云拓撲關(guān)系和深度學習的點云分割,本文介紹了一種采用點云空 間投影的RGB-D點云分割技術(shù),首先介紹采用圖像閾值的點云分割和利用靶標世界坐標系的點云分割兩種基礎(chǔ)方法, 將在世界坐標系中的靶標作為參考旋轉(zhuǎn)點云,并將其投影至坐標系水平面(XOY)上,利用圖像的形態(tài)學獲得目標顯著區(qū)域,進而獲得目標點云數(shù)據(jù)。

2、圖像閾值與點云關(guān)系模型

2.1 相機數(shù)學模型

攝像機數(shù)學模型采用小孔成像的原理,在笛卡兒空間中建立景物點與成像點之間的映射關(guān)系。令點P=(Xw,Yw,Zw)為像素p(u,v)投射在世界坐標系中的點,(u,v,1)是點p在像素坐標系中的齊次坐標;(Xw,Yw,Zw,1)是點 P 在世界坐標系中的 齊次坐標。那么兩個坐標的關(guān)系為

2.2 圖像閾值與點云的關(guān)系模型

RGB-D數(shù)據(jù)來自立體相機中RGB相機和 Depth相機,由于相機空間視角不同,兩組原始數(shù)據(jù)中RGB數(shù)值與深度數(shù)值不匹配。在標定立體相機的外參數(shù)后,建立RGB像素值與 Depth數(shù)值兩者之間的一一對應(yīng)關(guān)系。采用圖像閾值的點云分割基本思路:根據(jù)圖像像素和點云的對應(yīng)關(guān)系進行圖像分割,獲得目標區(qū)域點云。

3、采用空間投影的點云分割方法

3.1 建立靶標世界坐標系

立體相機中依據(jù) RGB 相機和Depth相機的外參數(shù),可以把Depth相機生成的點云轉(zhuǎn)換到相機坐標系下。參考棋盤格建立世界坐標系。利用靶標世界坐標系可實現(xiàn)一定程度的點云分割,其基本思路是:由于場景三維點云的空間尺度與世界坐標系的空間尺度具有一致性,通過建立世界坐標系并確定待測物體在世界坐標系中的空間區(qū)域,可分割映射到世界坐標系里的點云。

如圖1(a)所示,pc(xc,yc,zc)為相機坐標系中的點云,Pw (Xw,Yw,Zw)是世界坐標系中的點云,由(1)式可得

如圖1(b)所示,由于靶標板(標定板)所指定的 坐標系相對于棋盤格角點所建立的世界坐標系有一 定的偏移,這里采用補償?shù)姆绞竭M行坐標系校正。設(shè)靶標的厚度為 Δz,世界坐標系原點在待測區(qū)域的X和Y軸的偏移分別為Δx 和Δy,補償偏移量Δl3×1=[Δx Δy Δz]T,則(6)式可進一步表示為

3.2 采用空間投影的點云分割方法

參考前述的圖像閾值、靶標世界坐標系與點云區(qū)域的關(guān)系,為了突出目標區(qū)域以實現(xiàn)點云分割,可將點云的觀測視角旋轉(zhuǎn)至俯視角度(鳥瞰視角),如圖2所示,這樣可減少背景點云信息,使目標點云呈現(xiàn)更多信息,采用相機模型將點云投影至相機的圖像像素。在得到旋轉(zhuǎn)投影后場景的二維圖像后,采用圖像閾值分割的方法可快速地得到目標閾值范圍,還原后得到場景分割的目標點云。

參考(6)式得到世界坐標系中的點云 Pwl(Xwl, Ywl,Zwl),將其變換到場景點云的俯視角時,有：

根據(jù)單目攝像機模型,可以得到點云對應(yīng)的二值圖像坐標為：

4、結(jié)果對比

4.1 場景點云獲取

為了驗證算法的可行性,搭建系統(tǒng)硬件,如圖3 所示,系統(tǒng) 包 括 靶 標 (尺 寸 規(guī) 格:棋 盤 格 角 點 數(shù) 為 5×7,方格大小為 34 mm×34mm)、雙目攝像機 (MER-500-7UM)、8mm定焦鏡頭、投影儀(BenQ) 和上位機[2.53GHzIntel(R)Core (TM)2Duo CPU,2GBRAM]。

待測場景如圖4(a)~(c)所示, RGB-D點云采用投影儀投射格雷碼編碼光柵和攝像機拍攝其光柵解碼所得,其中包含1幅明、暗視場 圖像以及40幅正交格雷碼編碼光柵圖像。建立三個層疊的米袋場景(場景1#、2#、3#),分別獲取整個場景并分割其米袋區(qū)域點云數(shù)據(jù)。根據(jù)張氏標定方法建立的靶標坐標系,獲得外參數(shù)矩陣[R3×3t3×1],將三個場景點云映射到世界坐標系中,場景圖片在靶標坐標系中的點云如圖 4(d)~(f)所示。

利用圖像閾值與點云關(guān)系實現(xiàn)點云分割,首先獲得場景RGB圖,利用標定參數(shù)進行徑向與切向畸變校正,結(jié)果如圖5(a)所示;利用最大類間方差法 (Otsu)對校正后的場景圖進行處理,以突出感興趣區(qū)域,結(jié)果如圖5(b)所示。

其次,對感興趣區(qū)域中的空洞進行形態(tài)學處理,即空洞填充;建立點云坐標與圖像像素坐標的映射關(guān)系,并判斷所映射的點云是否在圖像感興趣區(qū)域里。最后分割出映射到感興趣區(qū)域的點云數(shù)據(jù),如圖5(c)所示。

采用靶標坐標系與點云區(qū)域?qū)崿F(xiàn)點云分割,首先測量并確定目標物體的待放置空間區(qū)域,把靶標板放置在待測量物體區(qū)域內(nèi),根據(jù)靶標板手工測量或設(shè)計的規(guī)格參數(shù)確定 X 軸偏移量 Δx、Y 軸偏移 量 Δy 和靶標板厚度 Δz。其次,在攝像機標定過程 中,確定世界坐標系 X 軸和Y 軸方向,如圖5(d)所示;并利用(6)、(7)式把相對于攝像機坐標系的點云映射到依據(jù)靶標板所建立的世界坐標系中,如圖5(e)所示。最后,利用參考測量限定目標物體放置區(qū)域,實現(xiàn)目標點云分割,如圖5(f)所示。

在圖像閾值和靶標世界坐標系的基礎(chǔ)上可采用點云空間投影進行點云分割,首先測量并確定目標物體的待放置空間區(qū)域,把靶標放置在待測量物體的區(qū)域內(nèi),確定X軸偏移量Δx、Y 軸偏移量 Δy 和靶標板厚度 Δz。其次,在攝像機標定過程中,確定世界坐標系X 軸和Y 軸方向。利用(9)式把點云視角變換至場景俯視角度,利用(13)、(14)式把三維點云映射到二維圖像中,如圖5(g)所示。

利用形態(tài)學對獲得的二維圖像進行膨脹處理,如圖5(h)所示, 利 用連通域方法進行感興趣區(qū)域圖像分割,如圖5(i) 所示。最后根據(jù)建立的點云與像素之間的映射關(guān)系, 還原圖像閾值分割所對應(yīng)的點云區(qū)域,如圖5(j)所示。

4.2 結(jié)果對比分析

點云分割實驗分別采用圖像閾值分割 (算法 I)、靶標坐標系(算法II)、空間投影(算法III)以及與 Halcon中的基于區(qū)域的方法(算法Ⅳ)進行對比分析,對不同算法的參考點云總數(shù)和分割后點云數(shù) 進行對比,如表1所示。

4種方法實現(xiàn)的點云分割(場景1#~3#的點云區(qū)域)結(jié)果如圖6所示。利用圖像閾值和點云映 射關(guān)系實現(xiàn)的點云分割如圖6(a)~(c)所示。立體相機的外參數(shù)誤差和相機非線性映射關(guān)系等導(dǎo)致攝 像機坐標系下的點云坐標與圖像像素坐標的對應(yīng)關(guān)系存在一定的誤差。與此同時,點云分割密度直接受圖像閾值分割好壞的影響,在場景復(fù)雜且感興趣區(qū)域閾值分割較差的情況下,點云分割不理想。采用靶標世界坐標系和點云區(qū)域模型實現(xiàn)的點云分割 如圖6(d)~ (f)所示。

根據(jù)靶標坐標系的點云分割,需要測量感興趣區(qū)域的物理空間區(qū)域和應(yīng)用攝像機RGB圖像建立相應(yīng)的參考坐標系,根據(jù)測量目 標區(qū)域范圍可在不改變點云密度的情況下快速有效 地分割出目標物點云。基于空間投影的點云分割方法,在目標物區(qū)域建立世界坐標系,利用坐標系變換 改變目標物點云投射視角,以突出目標物的閾值特征,實現(xiàn)點云分割,如圖6(g)~(i)所示。基于空間投影的點云分割結(jié)果邊界清晰且質(zhì)量較佳,但由于其融合圖像閾值和靶標坐標系算法,其執(zhí)行速度相 對慢一些。Halcon視覺開發(fā)平臺中基于區(qū)域的點云分割方法,采用點云三角化后,根據(jù)區(qū)域的點、直徑、三角等結(jié)構(gòu)元素數(shù)值選定點云區(qū)域,結(jié)果如圖 6(j)~(l)所示。

 End 

聲明：部分內(nèi)容來源于網(wǎng)絡(luò)，僅供讀者學術(shù)交流之目的。文章版權(quán)歸原作者所有。如有不妥，請聯(lián)系刪除。