2D線掃描相機(jī)與3D結(jié)構(gòu)光視覺測量系統(tǒng)的融合
點(diǎn)擊上方“程序員大白”，選擇“星標(biāo)”公眾號
重磅干貨，第一時(shí)間送達(dá)
點(diǎn)擊上方“程序員大白”，選擇“星標(biāo)”公眾號
重磅干貨，第一時(shí)間送達(dá)
本文提出了一種獲取高分辨率的三維視覺信息的方法，主要通過融合結(jié)構(gòu)光視覺測量系統(tǒng)獲得的三維信息和二維線掃描相機(jī)拍攝的高分辨率圖像。
簡介
由于目標(biāo)物體表面三維信息的測量在機(jī)器視覺中越來越重要，研究人員已經(jīng)提出了許多獲取三維形貌的技術(shù)，例如：飛行時(shí)間法，立體視覺方法和結(jié)構(gòu)光三維視覺技術(shù)等。在這些方法中，由面陣相機(jī)和結(jié)構(gòu)光組成的結(jié)構(gòu)光三維視覺測量系統(tǒng)具有結(jié)構(gòu)簡單以及圖像處理信息量少、精度高等優(yōu)點(diǎn)。結(jié)構(gòu)光三維視覺技術(shù)主要是基于三角測量原理，在獲得物體表面的三維全貌時(shí)，需要移動(dòng)被測物體或移動(dòng)測量系統(tǒng)從而能夠沿著運(yùn)動(dòng)方向獲得一系列的物體表面輪廓。雖然可以在測量結(jié)果中獲取較高的精度，但是不能獲得物體表面的灰度信息，紋理信息。與此同時(shí)，二維相機(jī)只能獲取高分辨率的灰度圖像而不能獲得三維信息。我們提出了一種通過融合結(jié)構(gòu)光視覺系統(tǒng)獲得的三維信息和線掃描相機(jī)獲取的二維圖像來獲取具有灰度、紋理信息的高分辨率三維重建結(jié)果。
實(shí)驗(yàn)證明，我們提出的方法既可以提供高分辨率的二維圖像也能得到對應(yīng)的三維空間信息，保留了二維相機(jī)獲取圖像分辨率高和結(jié)構(gòu)光視覺測量系統(tǒng)獲得三維信息精度高的優(yōu)點(diǎn)。
原理
首先我們設(shè)計(jì)了一種2D/3D復(fù)眼系統(tǒng)，如圖1所示，兩相機(jī)具有固定的空間關(guān)系和相近的視野范圍。通過機(jī)械結(jié)構(gòu)使二維線掃描相機(jī)的視平面與結(jié)構(gòu)光光平面共面。如圖2所示，我們建立了三個(gè)坐標(biāo)系：結(jié)構(gòu)光三維視覺系統(tǒng)坐標(biāo)系（簡稱CS1），此坐標(biāo)系的x軸和z軸建立在光平面上，y軸為運(yùn)動(dòng)方向且垂直于光平面；類似的，世界坐標(biāo)系的x軸和z軸也建立在光平面內(nèi)；二維線掃描相機(jī)的圖像坐標(biāo)為一維坐標(biāo)系。
圖1. 復(fù)眼成像系統(tǒng)
圖2. 坐標(biāo)系轉(zhuǎn)換示意圖
圖3描述了本文方法的總體流程圖，包括四個(gè)主要模塊。在模塊1中，我們首先利用標(biāo)準(zhǔn)的徑向多項(xiàng)式畸變模型來消除面陣相機(jī)的畸變，該模型已經(jīng)被證明能夠較好的校正鏡頭畸變。完成畸變矯正后，下一步我們推導(dǎo)出激光平面和圖像平面之間存在單應(yīng)性關(guān)系，如公式1所述。其中（X，Z）是空間中某點(diǎn)在CS1坐標(biāo)系中的坐標(biāo)，s為比例因子，（u’，v’）為該點(diǎn)在圖像中經(jīng)過畸變校正后的圖像像素坐標(biāo)。最后我們可以基于單應(yīng)性矩陣由結(jié)構(gòu)光光條中心的圖像像素坐標(biāo)計(jì)算得到目標(biāo)表面在結(jié)構(gòu)光視覺系統(tǒng)坐標(biāo)系中的三維坐標(biāo)。
公式1
在模塊2中，由于線掃描相機(jī)在y方向上沒有失真，我們使用公式2中的三階多項(xiàng)式模型來矯正失真。其中xu是校正后的坐標(biāo)，xd是原始坐標(biāo)，k0,k1,k2,k3是畸變系數(shù)。
公式2
在模塊3中，我們需要進(jìn)行聯(lián)合標(biāo)定來建立結(jié)構(gòu)光視覺系統(tǒng)坐標(biāo)系中的三維坐標(biāo)和線掃描相機(jī)的圖像坐標(biāo)之間的關(guān)系。本模塊的第一部分，我們需要從CS1坐標(biāo)系轉(zhuǎn)換到到世界坐標(biāo)，由于這兩個(gè)坐標(biāo)系之間的變換是剛體變換，他們具有等式3中的關(guān)系。然后我們需要獲得從世界坐標(biāo)系到圖像平面坐標(biāo)的透視投影關(guān)系。我們可以根據(jù)二維線掃描相機(jī)的成像幾何模型推導(dǎo)出等式4中的計(jì)算公式。Ui是線掃描相機(jī)的圖像坐標(biāo)。
公式3
公式4
綜上所述，我們可以通過公式5將CS1中的坐標(biāo)映射到相應(yīng)的圖像坐標(biāo)中。換而言之，我們可以配準(zhǔn)三維信息和二維圖像，并找到二維相機(jī)和結(jié)構(gòu)光視覺系統(tǒng)拍攝得到的公共視圖區(qū)域。
公式5
圖像配準(zhǔn)后，由于三維信息的分辨率小于二維灰度圖像，因此我們可以對三維信息與二維圖像利用三角剖分的方法進(jìn)行融合，使之具有與二維圖像相同的分辨率，最后使用OpenGL構(gòu)建目標(biāo)表面的三維形貌。
Fig. 3 general flow-chart
Fig. 4 reprojection error of? the lens correction
實(shí)驗(yàn)過程
和結(jié)果
為了驗(yàn)證我們的方法，我們按照如圖1所示搭建了實(shí)驗(yàn)系統(tǒng)。在模塊1中，我們使用張正友的方法[9]，利用MATLAB標(biāo)定工具箱來矯正透鏡畸變并計(jì)算了重投影誤差，結(jié)果如圖4所示。然后又設(shè)計(jì)了一個(gè)鋸齒標(biāo)定靶標(biāo)來標(biāo)定結(jié)構(gòu)光視覺系統(tǒng)。標(biāo)定得到的單應(yīng)性矩陣如下。? ? ? ??
? ? ? ? ? ? ? ? ? ? ? ? ? ?
在模塊2中，我們設(shè)計(jì)了一個(gè)黑白條紋靶標(biāo)來矯正二維相機(jī)的鏡頭畸變。校正結(jié)果如圖5、6所示。可以看出在矯正之后條紋具有相等的間隔，矯正效果良好。
Fig.5 distorted image of the zebra strips
Fig. 6 corrected image of the zebra strips
之后我們使用相同的鋸齒靶標(biāo)進(jìn)行聯(lián)合標(biāo)定。將鋸齒放置在合適的位置后，同步獲取三維信息和二維圖像。結(jié)果如下，7個(gè)特征點(diǎn)的重投影誤差如圖7所示。可以看到匹配誤差小于一個(gè)像素。
圖7
圖8
匹配之后，使用我們的設(shè)備對車輛底部進(jìn)行掃描，并且在圖8中顯示三維重建的結(jié)果。
結(jié)論
在本文中，我們提出了一種通過融合結(jié)構(gòu)光視覺測量系統(tǒng)的三維信息和二維線掃描相機(jī)捕獲的高分辨率圖像來獲取高質(zhì)量三維視覺信息的方法。本方法具有較低的計(jì)算成本，匹配精度僅取決于結(jié)構(gòu)光測量系統(tǒng)和線掃描相機(jī)的聯(lián)合標(biāo)定精度。實(shí)驗(yàn)結(jié)果表明我們的方法具有可行性和較好的準(zhǔn)確性。
凌云光技術(shù)集團(tuán)自 1996年6月9日?成立伊始，扎根于光纖光學(xué)，視覺與圖像兩大光電子技術(shù)方向，逐步發(fā)展形成光纖器件與儀器（FOCI），光通信接入網(wǎng)（FOAN），視覺器件（VIC）和工業(yè)視覺（IVS）?四大事業(yè)部，分別在四個(gè)業(yè)務(wù)單元開拓事業(yè)。?
集團(tuán)以推動(dòng)行業(yè)用戶發(fā)展為使命，為國際上五十多家知名光電子公司在中國內(nèi)地與香港地區(qū)做市場拓展、產(chǎn)品推廣和應(yīng)用技術(shù)服務(wù)。自2000年起，開始在高端視覺圖像和光通信領(lǐng)域進(jìn)行專業(yè)研發(fā)和生產(chǎn)。至今，已經(jīng)發(fā)展成為員工過1200人，?產(chǎn)值逾12億?，自主品牌研發(fā)生產(chǎn)和國外品牌代理服務(wù)相結(jié)合的現(xiàn)代高科技企業(yè)。
推薦閱讀
關(guān)于程序員大白
程序員大白是一群哈工大，東北大學(xué)，西湖大學(xué)和上海交通大學(xué)的碩士博士運(yùn)營維護(hù)的號，大家樂于分享高質(zhì)量文章，喜歡總結(jié)知識，歡迎關(guān)注[程序員大白]，大家一起學(xué)習(xí)進(jìn)步！