雙目視覺系統(tǒng)的原理和設(shè)計(jì)

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

雙目立體視覺是機(jī)器視覺的一種重要形式，它是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統(tǒng)一般由雙攝像機(jī)從不同角度同時(shí)獲得被測(cè)物的兩幅數(shù)字圖像，或由單攝像機(jī)在不同時(shí)刻從不同角度獲得被測(cè)物的兩幅數(shù)字圖像，并基于視差原理恢復(fù)出物體的三維幾何信息，重建物體三維輪廓及位置。

?

?

雙目立體視覺三維測(cè)量是基于視差原理，下圖所示為簡(jiǎn)單的平視雙目立體成像原理圖，兩攝像機(jī)的投影中心的連線的距離，即基線距為b。攝像機(jī)坐標(biāo)系的原點(diǎn)在攝像機(jī)鏡頭的光心處，坐標(biāo)系如圖所示。

?

事實(shí)上左右成像平面繪制在鏡頭的光心前f處，這個(gè)虛擬的圖像平面坐標(biāo)系O1uv的u軸和v軸與和攝像機(jī)坐標(biāo)系的x軸和y軸方向一致。左右圖像坐標(biāo)系的原點(diǎn)在攝像機(jī)光軸與平面的交點(diǎn)O1和O2。空間中某點(diǎn)P在左圖像和右圖像中相應(yīng)的坐標(biāo)分別為P1(u1,v1)和P2(u2,v2)。

?

假定兩攝像機(jī)的圖像在同一個(gè)平面上，則點(diǎn)P圖像坐標(biāo)的Y坐標(biāo)相同，即v1=v2。由三角幾何關(guān)系得到：

?

??由此可計(jì)算出空間中某點(diǎn)P在左攝像機(jī)坐標(biāo)系中的坐標(biāo)為：?? ?

?

因此，只要能夠找到空間中某點(diǎn)在左右兩個(gè)攝像機(jī)像面上的相應(yīng)點(diǎn)，并且通過攝像機(jī)標(biāo)定獲得攝像機(jī)的內(nèi)外參數(shù)，就可以確定這個(gè)點(diǎn)的三維坐標(biāo)。??

?

?

立體視覺系統(tǒng)的一般結(jié)構(gòu)采用交叉擺放的兩個(gè)攝像機(jī)從不同角度觀測(cè)同一被測(cè)物體。也可以由一個(gè)攝像機(jī)實(shí)現(xiàn)，如一個(gè)攝像機(jī)通過給定方式的運(yùn)動(dòng)，在不同位置觀測(cè)同一個(gè)靜止的物體，或者通過光學(xué)成像方式將兩幅圖像投影到一個(gè)攝像機(jī)，都可以滿足精度要求。??

?

各種雙目視覺系統(tǒng)結(jié)構(gòu)各有優(yōu)缺點(diǎn)，這些結(jié)構(gòu)適用于不同的應(yīng)用場(chǎng)合。對(duì)要求大測(cè)量范圍和較高測(cè)量精度的場(chǎng)合，采用基于雙攝像機(jī)的雙目立體視覺系統(tǒng)比較合適；對(duì)測(cè)量范圍要求比較小，對(duì)視覺系統(tǒng)體積和質(zhì)量要求嚴(yán)格，需要高速度實(shí)時(shí)測(cè)量對(duì)象，基于光學(xué)成像的單攝像機(jī)雙目立體視覺系統(tǒng)便成為最佳選擇。???

?

為了得到更高的精度，應(yīng)該使攝像機(jī)的焦距以及基線長(zhǎng)度增大，同時(shí)應(yīng)該使被測(cè)物體盡可能的靠近立體視覺系統(tǒng)。另外這個(gè)精度和視差的精度有直接的關(guān)系，無論在任何情況下，要確保立體圖像對(duì)之間的交迭區(qū)域足夠大并且兩個(gè)攝像機(jī)應(yīng)該大約對(duì)齊，也就是說每個(gè)攝像機(jī)繞光軸旋轉(zhuǎn)的角度不能太大。?

?

在進(jìn)行雙目視覺系統(tǒng)標(biāo)定以及應(yīng)用該系統(tǒng)進(jìn)行測(cè)量時(shí)，要確保攝像機(jī)的內(nèi)參和兩個(gè)攝像機(jī)相對(duì)位置關(guān)系不能夠發(fā)生變化，如果任何一項(xiàng)發(fā)生變化，則需要重新對(duì)雙目立體視覺系統(tǒng)進(jìn)行標(biāo)定。否則，將影響測(cè)量結(jié)果的精度。

?

?

??

攝像機(jī)內(nèi)參數(shù)的標(biāo)定和單目視覺系統(tǒng)標(biāo)定一致，雙目立體視覺系統(tǒng)的標(biāo)定主要是指攝像機(jī)的內(nèi)部參數(shù)標(biāo)定后確定視覺系統(tǒng)的結(jié)構(gòu)參數(shù)R和T（即兩個(gè)攝像機(jī)之間的位置關(guān)系，R和T分別為旋轉(zhuǎn)矩陣和平移向量）。

?

?

??

1、將標(biāo)定板放置在適當(dāng)?shù)奈恢茫顾軌蛟趦蓚€(gè)攝像機(jī)中均可以完全成像。通過標(biāo)定確定兩個(gè)攝像機(jī)的內(nèi)部參數(shù)以及他們的外部參數(shù)（R1、T1與R2、T2），則R1、T1表示左攝像機(jī)與世界坐標(biāo)系的相對(duì)位置，R2、T2表示右攝像機(jī)與世界坐標(biāo)系的相對(duì)位置。

?

2、假定空間中任意一點(diǎn)在世界坐標(biāo)系、左攝像機(jī)坐標(biāo)系和右攝像機(jī)坐標(biāo)系下的非齊次坐標(biāo)分別為xw、x1、x2，則：

?

?

?

由雙目立體視覺系統(tǒng)原理可以看出雙目立體視覺是建立在對(duì)應(yīng)點(diǎn)的視差基礎(chǔ)之上，因此左右圖像中各點(diǎn)的匹配關(guān)系成為雙目立體視覺技術(shù)的一個(gè)極其重要的問題。然而，對(duì)于實(shí)際的立體圖像對(duì)，求解對(duì)應(yīng)問題極富挑戰(zhàn)性，可以說是雙目立體視覺中最困難的一步。

?

為了能夠增加匹配結(jié)果的準(zhǔn)確性以及匹配算法的速度，在匹配過程中通常會(huì)加入下列幾種約束：?

1、極線約束。在此約束下，匹配點(diǎn)已經(jīng)位于兩副圖像中相應(yīng)的極線上。??

2、唯一性約束。兩副圖像中的對(duì)應(yīng)的匹配點(diǎn)應(yīng)該有且僅有一個(gè)。??

3、視差連續(xù)性約束。除了遮擋區(qū)域和視差不連續(xù)區(qū)域外，視差的變化都是平滑的。

4、順序一致性約束。位于一副圖像極線上的系列點(diǎn)，在另一幅圖像中極線上有相同的順序。??

?

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講
在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~