立體視覺的物距測量
點擊上方“小白學(xué)視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
在國防和航空航天領(lǐng)域，計算機視覺還具有更重要的意義，例如自動跟蹤和識別運動目標，自動駕駛汽車導(dǎo)航以及太空機器人的視覺控制。
計算機視覺研究的目的是使計算機具有通過二維圖像信息識別三維環(huán)境信息的能力。這種功能不僅使機器能夠感知三維環(huán)境中對象的幾何信息（例如形狀，位置，姿勢運動等），而且還可以進一步描述，存儲，識別和理解它們，計算機視覺具有開發(fā)了一套獨立的計算理論和算法。
在本文中，我們介紹了立體視覺的相關(guān)內(nèi)容，即使用多個攝像機視圖來獲取有關(guān)視圖深度的信息。使用立體視覺，可以從不同相機視圖中的圖像得出某個點的世界位置。
立體視覺
雙目立體視覺是機器視覺的重要形式。它基于視差原理，并使用成像設(shè)備從不同位置獲取被測物體的兩個圖像。
密集立體視覺拍攝左右兩個輸入圖像，
這些圖像經(jīng)過移位和匹配以生成每個像素的深度。
結(jié)合兩個位置獲得的圖像并觀察它們之間的差異，以便獲得清晰的深度感，建立特征之間的對應(yīng)關(guān)系，并將同一空間中的相同物理點映射到不同圖像中的圖像點。這種差異稱為視差圖。
對極幾何
對極幾何是相機在兩個不同位置生成的兩個圖像與拍攝位置和生成的圖像之間的特殊幾何關(guān)系。基本幾何模型如下所示：
相機由相機中心C，C'及其各自的成像平面表示。對于任意空間中的點X，兩個圖像平面上的點分別為x，x'。
點x向后投射到空間中的三維射線中，該三維射線由相機中心和x確定。將該光線投射到第二個圖像平面上，以獲得稱為對極線的直線l'?。顯然突出部X“的X必須是L”。我們也可以繪制連接兩個照相機中心位置的線。該線與像平面相交的點稱為極點。因為在立體攝像機的情況下，我們有兩個攝像機，因此有一個線和兩個像平面，所以我們有兩個子極。
考慮不經(jīng)過空間中任何兩個攝像機的中心的平面π，并且穿過第一個攝像機的中心C和x的光線在X處與平面π相交，然后將該點投影到點上。第二個圖像x'，此過程是平面π的平移。
實際上，所有點xi和對應(yīng)點x'i的投影在第一張圖像上的投影實際上都是等效的，因為它們在投影上都等效于共面點Xi的集合，因此存在2D映射H，每個xi都映射到x'一世 。
推導(dǎo)基本矩陣和基本矩陣
從相機成像的幾何描述中，我們可以理解以下公式：
其中K是相機內(nèi)部參數(shù)，R和t是第一相機的相機坐標系中第二相機的外部參數(shù)，Pw是第一相機的坐標系中的點坐標。Z是從空間點到相機光學(xué)中心的距離。
我們首先定義相機的標準化坐標，如下所示
引入以上定義可以獲得：
同時具有t的外部乘積：
在兩側(cè)同時將x_2乘以左側(cè)：
在上面的公式中，由于等式t ^ x_2的左側(cè)是垂直于t和x_2的向量，所以x_2的內(nèi)積將為0，因此上面的公式實際上可以表示為以下形式：
替換x_1和x_2并重新插入p_ {uv1}和p_ {uv2}得到：
其中，中間項是基本矩陣，其滿足以下條件：
基本矩陣是基本矩陣的一部分，僅與外部參數(shù)有關(guān)，也就是說，刪除攝像機內(nèi)部參數(shù)，您可以得到：
基本矩陣的自由度包括三個平移和旋轉(zhuǎn)自由度，加上等價的比例，因此基本矩陣的自由度為5。
因此，至少我們可以使用5對點來求解基本矩陣。但是，由于它們的許多固有屬性都是非線性的，因此使用最少的點數(shù)求解會比較麻煩，因此通常只考慮比例的等價性，然后使用8對點求解。這也稱為八點法。
考慮一對匹配點及其像素坐標。根據(jù)極地約束，有：
展開上面的矩陣并以向量的形式編寫它：
此時，上述極限約束方程可寫為：
將八個點的對極約束放在一起可以得到一個方程組：
基本矩陣或基本矩陣可以通過求解方程組來求解。
完成上述工作，求解了基本矩陣E之后，可以通過SVD分解獲得以下方程式：
其中U和V是正交矩陣，中間的X是奇異值矩陣。根據(jù)E的內(nèi)在性質(zhì)，我們通過SVD分解知道，對于任何E，都有兩個可能的R和t對應(yīng)于它。
其中：
立體聲矯正
由于未對準和不同的特性，兩個立體攝像機的圖像都必須扭曲為極線對齊的新圖像。這些新圖像稱為對證圖像。整個過程稱為“校正”，然后將圖像平面扭曲到共面平行平面上。
使用校正過程，我們希望使左右攝像機變形，以使圖像共面并且內(nèi)在函數(shù)相同。使用單應(yīng)性，我們可以使用原始圖像coodinates來表達這一點：
因此，現(xiàn)在我們可以提出一個問題：如何獲得K ^和R ^。一些好的選擇是：
其中，
其中rL_3是左攝像機R_L的旋轉(zhuǎn)矩陣的第三列。
視差圖
攝像機成像模型如下圖所示：
其中，P是空間點，f是焦距，Cr，Cl是左右攝像機的光學(xué)中心。從下圖可以看出，左右攝像機的光軸是平行的。Ul和Ur是左圖像和右圖像平面上兩個成像點之間距圖像左邊緣的距離。
如果已校準兩個攝像機，則極線平行，并且兩個光軸的方向也平行。
那么視差與物體深度之間的關(guān)系如下：
由此我們可以得出：
根據(jù)該公式，b和f為常數(shù)，Z與ul-ur成反比，即深度越小，視差越大，并且物體的視差越大。這就是為什么視差圖中較近的對象更暗的原因。
基本原理是，給定圖像上的某個點，在像素附近選擇一個子窗口，并根據(jù)一定的相似性判斷依據(jù)，在另一圖像的區(qū)域中，選擇最接近該子窗口的圖像。-窗口。
匹配成本的計算是針對左圖像和右圖像的每個像素。可以認為一個功能
定義了用于處理左右圖像中匹配像素的方法，其中d =?ul-ur是我們定義的最小視差范圍：
如果對每個像素都這樣做，可以得到最終的視差圖，但是最終的視差圖的效果很差。點之間的匹配容易受到噪聲的影響，因此需要在點周圍建立一個窗口進行比較像素塊，這絕對是更可靠的。
只要包含足夠的紋理，此方法就可以很好地工作。如果紋理不足，則兩者之間的相似性差異不會有太大差異，并且無法識別出單個匹配點。但是，這是一個解決方案。只要沒有足夠的紋理，我們就可以擴大直到有紋理。
Refrences
? R. Szeliski,?Computer Vision: Algorithms and Applications, Springer, 2010.
? B. H. Bodkin,?Real-time mobile stereo vision [M.S. thesis], University of Tennessee, 2012.
? M. Hansard, S. Lee, O. Choi, and R. P. Horaud,?Time-of-Flight Cameras: Principles, Methods and Applications, Springer, 2012.
? S. Foix, G. Alenyà, and C. Torras, “Lock-in time-of-flight (ToF) cameras: a survey,”?IEEE Sensors Journal, vol. 11, no. 9, pp. 1917–1926, 2011. View at:? Publisher Site | Google Scholar
? M. Y. Kim, S. M. Ayaz, J. Park, and Y. Roh, “Adaptive 3D sensing system based on variable magnification using stereo vision and structured light,”?Optics and Lasers in Engineering, vol. 55, pp. 113–127, 2014. View at: Publisher Site | Google Scholar
? S. Zhang, C. Wang, and S. C. Chan, “A new high resolution depth map estimation system using stereo vision and depth sensing device,” in?Proceedings of the IEEE 9th International Colloquium on Signal Processing and Its Applications (CSPA ‘13), pp. 49–53, IEEE, Kuala Lumpur, Malaysia, March 2013. View at:? Publisher Site | Google Scholar
? W. Kazmi, S. Foix, G. Alenyà, and H. J. Andersen, “Indoor and outdoor depth imaging of leaves with time-of-flight and stereo vision sensors: analysis and comparison,”?ISPRS Journal of Photogrammetry and Remote Sensing, vol. 88, pp. 128–146, 2014. View at: Publisher Site | Google Scholar?
? B. Tippetts, D. J. Lee, K. Lillywhite, and J. Archibald, “Review of stereo vision algorithms and their suitability for resource-limited systems,”?Journal of Real-Time Image Processing, pp. 1–21, 2013. View at:? Publisher Site | Google Scholar
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~