點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

數(shù)字圖像是真實世界中的對象通過光學成像設備在光敏材料上的投影。在3D到2D的轉(zhuǎn)換過程中，深度信息會丟失。從單個或多個圖像中恢復有用的3D信息需要使用立體視覺知識進行分析。本文分別介紹了針孔攝像機模型和對極幾何的基本知識。

針孔相機

針孔相機是簡化的相機模型。光線沿直線傳播，被物體反射的光穿過針孔以在成像表面上形成反轉(zhuǎn)圖像。針孔與成像表面之間的距離稱為焦距。一般而言，針孔越小，圖像越清晰，但是針孔太小會導致衍射，從而使圖像模糊。

從外部世界的點X發(fā)出的光穿過小孔，并投射在像平面上的點x上。

3D空間中的點X和成像平面上對應的點x坐標之間的定量關系為：

我們可以按以下形式表示3D和2D之間的轉(zhuǎn)換。

在實際計算中，我們首先將3D點轉(zhuǎn)換成4維向量（在結(jié)尾填充1），然后在左面乘以變換矩陣。這個矩陣P被稱為相機投影矩陣，它是完全由相機參數(shù)決定的。

上式假定主點p在坐標的原點。實際情況可能并非如此，因此映射變?yōu)?/span>

該矩陣K被稱為相機校準矩陣。

另外，我們的像素也有可能不是正方形，因此，當我們以像素為單位測量圖像坐標時，我們需要在每個方向上引入一個非等效的比例因子mx，my。具體來說，在x和y方向上圖像坐標每單位距離的像素數(shù)為mx，my，則為我們的校準矩陣。

最后，為了提高通用性，我們還需要考慮失真參數(shù)s，盡管我們當前的標準相機通常s = 0，

我們可以在世界坐標系X中的點和圖像平面中的點x之間做一個映射，表示為

K中的參數(shù)稱為相機內(nèi)部參數(shù)，其余參數(shù)R和C稱為相機外部參數(shù)。

對極幾何

對極幾何是兩個視圖之間固有的射影幾何。它與場景結(jié)構(gòu)無關，僅取決于攝像機的內(nèi)部和外部參數(shù)。

對極幾何通常用于解決雙目匹配和尋找對應點的問題。

在上圖中，兩個攝像機的中心為C和C'，X為三維空間點，在兩個攝像機的成像平面上的投影點分別為x和x'。我們常稱：

基線：兩個攝像機CC'的光學中心之間的連接。

對極平面：這是一個包含基線的平面。有一組對極平面（以基線為軸旋轉(zhuǎn)）。上圖中的一個示例是CXC?'

對極線：對極平面和像平面之間的相交線。在上面的圖片的例子是xe與x'e'。

對極幾何有什么用？

一種是立體匹配問題。當兩個視點之間的空間位置關系已知時，由于對極幾何的幾何模型定義的約束條件，立體圖像對上的搜索空間僅位于兩個圖像中。需要在相應的對極線搜索，并且原始的二維搜索問題直接簡化為一維搜索。雙目測距是這方面的應用之一。

第二個是確定兩個目標點的相對位置和姿態(tài)。在未知視角位置的情況下，通過在圖像對中搜索匹配點，可以獲得兩個位置和姿勢之間的相對關系。這通常用于機器人導航，地圖生成，三維重建等。

基本矩陣

為了表達對極約束中兩個成像平面上各點之間的相對關系，在數(shù)學中，我們只需要添加一個矩陣（本質(zhì)矩陣或基本矩陣）即可簡潔地寫出兩者之間的方程關系。

如下圖所示，假設已知攝像機參數(shù)，則對于空間中的點P，它將唯一確定對極幾何與兩個攝像機的中心點O和O'之間的幾何關系。極、對極線和極平面將全部確定，并且所有空間點都將在平面π上成像為p，它們必須投影在平面π'的極線上，反之亦然。

在實際應用中，我們可以直接使用此屬性，但并不是那么簡單。因此，在數(shù)學中，我們介紹的本質(zhì)矩陣和基本矩陣使用非常簡潔的方程式來總結(jié)這種關系。

基本矩陣：我們知道從攝像機1到攝像機2的運動是一個剛體，因此可以通過剛體變換將攝像機1坐標系中觀察點P的坐標轉(zhuǎn)換為攝像機2坐標系。

其中R和T分別表示旋轉(zhuǎn)和平移。如果我們將其左側(cè)乘以T，我們得到：

如果將左點乘以P'，則T x P'表示對極平面的法線，

由于P'垂直于法線TxP'，因此存在

我們知道，兩個向量的叉積可以轉(zhuǎn)換為一個向量與另一個向量的反對稱矩陣的點積，因此

其中，[Tx]代表T的反對稱矩陣，我們令E = [Tx] R，然后

基本矩陣E是兩個矩陣的乘積，其中R的秩為3，T的秩為2，因此E的秩為2。

基本矩陣的自由度包括三個平移和三個旋轉(zhuǎn)自由度，加上等價的比例，因此基本矩陣的自由度為5。

派生基本矩陣

從上面我們知道基本矩陣的自由度是5，所以至少我們可以使用5對點來求解基本矩陣。但是，由于它們的許多固有屬性都是非線性的，因此使用最少的點數(shù)求解會比較麻煩，因此通常只考慮比例等價，然后使用8對點求解。這也稱為八點法。

考慮一對匹配點及其像素坐標。

根據(jù)極線約束，有：

展開上面的矩陣，并以向量的形式編寫它：

此時，上述極限約束方程可寫為

將八個點的對極約束放在一起可以得到一個方程組：

本質(zhì)矩陣和基本矩陣可以通過求解方程組來求解。

參考

1. Multiple View Geometry in Computer Vision (Second Edition)

2. 視覺SLAM十四講

3. Hartley, R. & Zisserman, A., 2003. Multiple view geometry in computer vision, Cambridge university press

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~