3分鐘讀懂機(jī)器人視覺：?jiǎn)文?、雙目、多目、全景、混合...

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)
本文轉(zhuǎn)自|新機(jī)器視覺

機(jī)器人視覺系統(tǒng)是指用計(jì)算機(jī)來實(shí)現(xiàn)人的視覺功能，也就是用計(jì)算機(jī)來實(shí)現(xiàn)對(duì)客觀的三維世界的識(shí)別。人類接收的信息70%以上來自視覺，人類視覺為人類提供了關(guān)于周圍環(huán)境 最詳細(xì)可靠的信息。

人類視覺所具有的強(qiáng)大功能和完美的信息處理方式引起了智能研究者的極大興趣，人們希望以生物視覺為藍(lán)本研究一個(gè)人工視覺系統(tǒng)用于機(jī)器人中，期望機(jī)器人擁有類似人類感受環(huán)境的能力。機(jī)器人要對(duì)外部世界的信息進(jìn)行感知，就要依靠各種傳感器。就像人類一樣，在機(jī)器人的眾多感知傳感器中，視覺系統(tǒng)提供了大部分機(jī)器人所需的外部相 界信息。因此視覺系統(tǒng)在機(jī)器人技術(shù) 中具有重要的作用。

依據(jù)視覺傳感器的數(shù)量和特性，目前主流的移動(dòng)機(jī)器人視覺系統(tǒng)有單目視覺、雙目立體視覺、多目視覺和全景視覺等。

單目視覺，單目視覺系統(tǒng)只使用一個(gè)視覺傳感器。單目視覺系統(tǒng)在成像過程中由于從三維客觀世界投影到N維圖像上，從而損失了深度信息，這是此類視覺系統(tǒng)的主要缺點(diǎn)( 盡管如此，單目視覺系統(tǒng)由于結(jié)構(gòu)簡(jiǎn)單、算法成熟且計(jì)算量較小，在自主移動(dòng)機(jī)器人中已得到廣泛應(yīng)用，如用于目標(biāo)跟蹤、基于單目特征的室內(nèi)定位導(dǎo)航等。同時(shí)，單目視覺是其他類型視覺系統(tǒng)的基礎(chǔ)，如雙目立體視覺、多目視覺等都是在單目視覺系統(tǒng)的基礎(chǔ)上，通過附加其他手段和措施而實(shí)現(xiàn)的。

雙目立體視覺。雙目視覺系統(tǒng)由兩個(gè)攝像機(jī)組成，利用三角測(cè)量原理獲得場(chǎng)景的深度信息，并且可以重建周圍景物的三維形狀和位置，類似人眼的體視功能，原理簡(jiǎn)單。

雙目視覺系統(tǒng)需要精確地知道兩個(gè)攝像機(jī)之間的空間位置關(guān)系，而且場(chǎng)景環(huán)境的3D信息需要兩個(gè)攝像機(jī)從不同角度，同時(shí)拍攝同一場(chǎng)景的兩幅圖像，并進(jìn)行復(fù)雜的匹配，才能準(zhǔn)確得到立體視覺系統(tǒng)能夠比較準(zhǔn)確地恢復(fù)視覺場(chǎng)景的三維信息，在移動(dòng)機(jī)器人定位導(dǎo)航、避障和地圖構(gòu)建等方面得到了廣泛的應(yīng)用用。然而，立體視覺系統(tǒng)的難點(diǎn)是對(duì)應(yīng)點(diǎn)匹配的問題，該問題在很大程度上制約著立體視覺在機(jī)器人領(lǐng)域的應(yīng)用前景。

多目視覺系統(tǒng)。多目視覺系統(tǒng)采用三個(gè)或三個(gè)以上攝像機(jī)，三目視覺系統(tǒng)居多，主要用來解決又目立體視覺系統(tǒng)中匹配多義性的問題，提高匹配精度。多目視覺系統(tǒng)最早由莫拉維克研究，他為"Stanford Cart"研制的視覺導(dǎo)航系統(tǒng)采用單個(gè)攝像機(jī)的滑動(dòng)立體視覺來實(shí)現(xiàn)，雅西達(dá)提出了三目立體視覺系統(tǒng)解決對(duì)應(yīng)點(diǎn)匹配的問題，真正突破了《目立體視覺系統(tǒng)的局限，并指出以邊界點(diǎn)作為匹配特征的三目視覺系統(tǒng)中。

其三元的配的準(zhǔn)確率比較高，艾雅湜提出了用多邊形近似宕的邊界點(diǎn)段作為特征的三目匹配算法，并用到移動(dòng)機(jī)器人中，取得了較好的效果，三目視覺系統(tǒng)的優(yōu)點(diǎn)是充分利用了第三個(gè)攝像機(jī)的信息，減少了錯(cuò)誤匹配，解決了雙目視覺系統(tǒng)匹配的多義性，提高了定位精度，但三目視覺系統(tǒng)要合理安置三個(gè)攝像機(jī)的相對(duì)位置，其結(jié)構(gòu)配置比雙目視覺系統(tǒng)更煩瑣，而且匹配算法更復(fù)雜需要 消耗更多的時(shí)間，實(shí)時(shí)性更差

全景視覺，全景視覺系統(tǒng)是具有較大水平視場(chǎng)的多方向成像系統(tǒng)，突出的優(yōu)點(diǎn)是有較大的視場(chǎng)，可以達(dá)到360度，這是其他常規(guī)鏡頭無法比擬的，全景視覺系統(tǒng)可以通過圖像拼的方法或者通過折反射光學(xué)元件實(shí)現(xiàn)。圖像拼接的方法使用單個(gè)或多個(gè)相機(jī)旋轉(zhuǎn)，對(duì)場(chǎng)景進(jìn)行大角度掃描，獲取不同方向上連續(xù)的多幀圖像，再用拼接技術(shù)得到全景圖。折反射全景視覺系統(tǒng)由CCD攝像機(jī)、折反射光學(xué)元件等組成，利用反射鏡成像原理，可以觀察360度場(chǎng)景，成像速度快，能達(dá)到實(shí)時(shí)要求，具有十分重要的應(yīng)用前景，可以應(yīng)用在機(jī)器人導(dǎo)航中。全景視覺系統(tǒng)本質(zhì)上也是一種單目視覺系統(tǒng)，也無法得到場(chǎng)景的深度信息。

其另一個(gè)特點(diǎn)是獲取的圖像分辨率較低，并且圖像存在很大的畸變，從而會(huì)影響圖像處理的穩(wěn)定性和精度。在進(jìn)行圖像處理時(shí)首先需要根據(jù)成像模型對(duì)畸變圖像進(jìn)行校正，這種較正過程不但會(huì)影響視覺系統(tǒng)的實(shí)時(shí)性，而且還會(huì)造成信息的損失。另外這種視覺系統(tǒng)對(duì)全景反射鏡的加工精度要求很多，若雙曲反射鏡面的精度達(dá)不到要求，利用理想模型對(duì)圖像校正則會(huì)存在較大偏差。

混合視覺系統(tǒng)，混合視覺系統(tǒng)吸收各種視覺系統(tǒng)的優(yōu)點(diǎn)，采用兩種或兩種以上的視覺系統(tǒng)組成復(fù)合視覺系統(tǒng)，多采用單目或雙目視覺系統(tǒng)，同時(shí)配備其他視覺系統(tǒng)。

全景視覺系統(tǒng)由球面反射系統(tǒng)組成，其中全景視覺系統(tǒng)提供大視角的環(huán)境信息，雙目立體視覺系統(tǒng)和激光測(cè)距儀檢測(cè)近距離的障礙物，清華大學(xué)的朱志剛使用一個(gè)攝像機(jī)研制了多尺度視覺傳感系統(tǒng)POST,實(shí)現(xiàn)了雙目注視、全方位環(huán)視和左右兩側(cè)的時(shí)代全景成像，為機(jī)器人提供了導(dǎo)航。全景視覺系統(tǒng)具有全景視覺系統(tǒng)視場(chǎng)范圍大的優(yōu)點(diǎn)，同時(shí)又具備雙目視覺系統(tǒng)精度高的長(zhǎng)處，但是該類系統(tǒng)配置復(fù)雜，費(fèi)用比較高。

 End 

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~