01 前言

雙目相機(jī)標(biāo)定，從廣義上講，其實(shí)它包含兩個部分內(nèi)容：

兩臺相機(jī)各自誤差的標(biāo)定（單目標(biāo)定）
兩臺相機(jī)之間相互位置的標(biāo)定（狹義，雙目標(biāo)定）

在這里我們所說的雙目標(biāo)定是狹義的，講解理論的時(shí)候僅指兩臺相機(jī)之間相互位置的標(biāo)定，在代碼實(shí)踐的時(shí)候，我們才說完整的雙目標(biāo)定。

首先來思考一個問題：為什么要進(jìn)行雙目標(biāo)定？

這是因?yàn)樵谠S多三維重建算法中，我們都要知道兩臺相機(jī)之間的相對位置關(guān)系，這樣才能進(jìn)行距離計(jì)算。

雙目標(biāo)定前后，雙目模型對比如下圖所示：

圖1 標(biāo)定模型 [1]

其中：

基線：兩個光心的連線稱為基線；
極平面：物點(diǎn)（空間點(diǎn)M）與兩個光心的連線構(gòu)成的平面稱為極平面；
極線：極平面與成像平面的交線
極點(diǎn)：極線的一端，基線與像平面的交點(diǎn)
像點(diǎn)：極線的一端，光心與物點(diǎn)連線與像平面的交點(diǎn)；

可以看出：

校正前，相機(jī)的光心不是相互平行的
校正后，極點(diǎn)在無窮遠(yuǎn)處，兩個相機(jī)的光軸平行，像點(diǎn)在左右圖像上的高度一致

標(biāo)定+校正后圖片：

圖1 立體校正后左右相機(jī)圖像發(fā)生一定扭曲 [2]

這樣的好處是：比如后續(xù)的立體匹配時(shí)，只需在同一行上搜索左右像平面的匹配點(diǎn)即可，能使效率大大提高。

注：可以看出來，最重要的，我們要知道右相機(jī)相對于左相機(jī)的位姿關(guān)系，那我們才可以做校正！

02 單目理論回顧

先來回顧下單目標(biāo)定理論，理想的單目相機(jī)模型可以簡化為（圖片來自于[1]）：

而四大坐標(biāo)系，包括世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系，它們之間的轉(zhuǎn)換關(guān)系如下：

最終，從理想的相機(jī)模型，從世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換關(guān)系：

但由于制造原因，使得成像過程（從相機(jī)坐標(biāo)系到圖像坐標(biāo)系轉(zhuǎn)換過程中）存在著畸變，主要有兩類，徑向畸變和切向畸變，它們可以通過以下公式進(jìn)行修正：

03 雙目標(biāo)定公式推導(dǎo)

圖3 標(biāo)定模型 [2]

記：

另外，右相機(jī)主點(diǎn)相對于左相機(jī)主點(diǎn)，顯然還有：

代入上式，因?yàn)榕臄z了多張圖片，利用最小二乘法，也可以是奇異值分解（數(shù)學(xué)的部分比較復(fù)雜，在這里忽略），總而言之，最小化誤差，即可得到我們最佳估計(jì)的矩陣，有了這兩個矩陣，我們做個旋轉(zhuǎn)、平移就可以了。

注：雖然得到了旋轉(zhuǎn)、平移矩陣，也但是極線校正的方法有很多，這個我們之后講。

04 極線校正理論推導(dǎo)

雙目標(biāo)定后，我們得到了右相機(jī)相對于左相機(jī)的位姿關(guān)系，也就是R、T矩陣，下面一步即做極線校正。校正好處是之后做立體匹配搜索的時(shí)候，只需要在同高度附近進(jìn)行搜索，大幅提升效率。根據(jù)前文的推導(dǎo)，在獲取了R、T矩陣后，我們就要進(jìn)行極線校正（立體校正），使兩部相機(jī)光軸平行，如下所示：