<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          原創(chuàng) | 《相機(jī)標(biāo)定》深入理解原理與實(shí)戰(zhàn)(一)

          共 2819字,需瀏覽 6分鐘

           ·

          2021-10-01 04:28


          第 一 章 引言

          1.1 為什么要相機(jī)標(biāo)定

          首先來(lái)看相機(jī)標(biāo)定的意義,我們都知道,我們拍攝的圖片是二維的,但是真實(shí)世界是三維的。一個(gè)場(chǎng)景是如何從三維變成二維的呢?相機(jī)起到的就是這個(gè)作用。我們可以把相機(jī)看成一個(gè)函數(shù),輸入是一個(gè)三維的場(chǎng)景,輸出是我們獲得的二維的圖片,這里可以認(rèn)為是灰度圖。我們平時(shí)看到的 RGB 彩色圖是通過(guò) RGB 三通道來(lái)實(shí)現(xiàn)的,每個(gè)通道可以認(rèn)為是一張灰度圖。從三維世界到二維世界的這個(gè)映射關(guān)系是不可逆的,也就是說(shuō)無(wú)法僅通過(guò)一張二維圖來(lái)得到真實(shí)的三維世界。

          相機(jī)標(biāo)定就是通過(guò)輸入帶有標(biāo)定 pattern 的標(biāo)定板來(lái)計(jì)算相機(jī)參數(shù),來(lái)用簡(jiǎn)單的數(shù)學(xué)模型來(lái)表達(dá)復(fù)雜的成像過(guò)程。求解這個(gè)數(shù)學(xué)模型,也就是求解相機(jī)的參數(shù),包括相機(jī)的內(nèi)參,外參以及畸變參數(shù)。有了這個(gè)數(shù)學(xué)模型,我們可以對(duì)相機(jī)拍攝的圖片進(jìn)行畸變校正,也可以用多個(gè)相機(jī)拍攝圖片來(lái)進(jìn)行三維重建,以及其他的計(jì)算機(jī)視覺(jué)的應(yīng)用。

          圖 1.1: 相機(jī)標(biāo)定模型

          1.2 成像系統(tǒng)

          接下來(lái)介紹成像系統(tǒng)的基礎(chǔ),從三維坐標(biāo)中的某一點(diǎn) P(x, y, z) 出發(fā),推導(dǎo)在相機(jī)的像素坐標(biāo)系中的成像點(diǎn)。

          1.2.1 投影矩陣和小孔成像

          首先介紹一下下面會(huì)用到的幾個(gè)專有名詞:

          • 世界坐標(biāo)系(world Coords):點(diǎn)在真實(shí)世界中的位置,描述相機(jī)位置,單位 m。

          • 相機(jī)坐標(biāo)系(Cameras Coords):以相機(jī) sensor 中心為原點(diǎn),建立相機(jī)坐標(biāo)系,單位 m。

          • 圖像物理坐標(biāo)系(Film Coords):經(jīng)過(guò)小孔成像后得到的二維坐標(biāo)系,單位 mm。

          • 像素坐標(biāo)系(Pixel Coords):成像點(diǎn)在相機(jī) sensor 上像素的行數(shù)和列數(shù),原點(diǎn)為圖像左上角,不帶有任何物理單位,或者說(shuō)單位是 pixel主點(diǎn):光軸與圖像平面的交點(diǎn)為主點(diǎn),即圖1.2中的點(diǎn) p。

          • 主點(diǎn):光軸與圖像平面的交點(diǎn)為主點(diǎn),即圖1.2中的點(diǎn) p。


          接下來(lái)我們建立從真實(shí)世界(世界坐標(biāo)系)中的一點(diǎn)到像素坐標(biāo)系上對(duì)應(yīng)點(diǎn)的映射,這會(huì)涉及四個(gè)坐標(biāo)系之間的三步轉(zhuǎn)換。

          首先,考慮世界坐標(biāo)系中的一點(diǎn) 到相機(jī)坐標(biāo)系的對(duì)應(yīng)關(guān)系,他們的轉(zhuǎn)換關(guān)系可以通過(guò)矩陣 R, T 來(lái)表征。R 是相機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣,T 是相機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的平移矩陣,即相機(jī)的中心在世界坐標(biāo)系的坐標(biāo)。他們的之間的轉(zhuǎn)換關(guān)系可以通過(guò)矩陣表示為下面的公式:


          圖 1.2: 小孔成像原理圖

          然后,考慮相機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換,假設(shè)點(diǎn)在圖像坐標(biāo)系中的成像點(diǎn)是 p′(x, y)。這里基于的是小孔成像的原理,原理如圖1.2的左圖所示,焦距是 f,成像面是與 XOY 平面平行且距離原點(diǎn) f 的平面。圖1.2的右圖為 ZcY 截面。利用相似三角形可以求出:


          化簡(jiǎn)可以推出:


          寫(xiě)成矩陣的形式:


          這樣便得到了相機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系。

          圖 1.3: 圖像坐標(biāo)系與像素坐標(biāo)系的轉(zhuǎn)換關(guān)系

          最后,考慮圖像坐標(biāo)系中點(diǎn) p′(x, y) 到像素坐標(biāo)系對(duì)應(yīng)點(diǎn) (u, v) 的轉(zhuǎn)換關(guān)系,如圖1.3所示。圖像坐標(biāo)系的原點(diǎn)在 sensor 的中央,像素坐標(biāo)系的原點(diǎn)在 sensor 的左上角。圖像坐標(biāo)系的單位是 mm,像素坐標(biāo)系的單位是 pixel。他們的之間的轉(zhuǎn)換關(guān)系可以表示為:


          轉(zhuǎn)換成矩陣表示:


          (u, v) 即點(diǎn)在像素坐標(biāo)系中的坐標(biāo),即像素的列數(shù)、行數(shù)。dx, dy 為每個(gè)像素點(diǎn)在圖像坐標(biāo)系 x 軸,y 軸上的尺寸,單位是毫米/每像素,是每個(gè) sensor 的固有參數(shù)。實(shí)際情況下,芯片的中心并不在光軸上,安裝的時(shí)候總會(huì)有有些誤差,所以引入兩個(gè)新的參數(shù) (u0, v0),代表主點(diǎn)在像素坐標(biāo)系下的偏移。

          不考慮世界坐標(biāo)系的旋轉(zhuǎn),點(diǎn)從相機(jī)坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換公式可以總結(jié)為


          上式中,代表焦距除以單個(gè)的像素大小,所以單位是像素,在相機(jī)的標(biāo)定過(guò)程中 dx, dy, f 均不能直接測(cè)量得到的,組合值 fx, fy 可以標(biāo)定得到。zc 是三維點(diǎn)在相機(jī)坐標(biāo)系中深度值。從世界坐標(biāo)系到像素坐標(biāo)系,寫(xiě)成矩陣形式,可以得到:


          上式中,M1 為相機(jī)內(nèi)參,包括相機(jī)的焦距,光軸與圖像平面的焦點(diǎn)位置等內(nèi)部參數(shù),和外部因素?zé)o關(guān),因此稱為內(nèi)參,表示為:


          M2 為相機(jī)外參,表征世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系,是相機(jī)在世界坐標(biāo)系下的位置姿態(tài)矩陣,認(rèn)為是攝像機(jī)的外參,一般情況下,如果世界坐標(biāo)系設(shè)置為相機(jī)坐標(biāo)系,即二者重合,那么這個(gè)外參就是一個(gè)單位矩陣。


          用一張圖來(lái)總結(jié),如圖1.4所示。

          圖 1.4: 相機(jī)標(biāo)定整套流程

          1.2.2 鏡頭畸變

          實(shí)際使用中,得到的圖像并不是完全按照小孔成像原理進(jìn)行透視投影,通過(guò)透鏡后物點(diǎn)在實(shí)際的成像平面上的像與理想成像之間存在一點(diǎn)畸變誤差。誤差主要存在徑向畸變和切向畸變兩種。徑向畸變是由于相機(jī)的透鏡形狀造成的,切向畸變則是整個(gè)相機(jī)的組裝過(guò)程中造成的。

          1.2.2.1 徑向畸變

          圖 1.5: 徑向畸變

          沿著透鏡的半徑方向分布的畸變稱為徑向畸變。光線在遠(yuǎn)離透鏡中心的地方比靠近中心的地方更加彎曲。徑向畸變可以分為,桶形畸變和枕形畸變。如圖1.5所示,從左到右分別是,正常無(wú)畸變、桶形畸變、枕形畸變。徑向畸變是因?yàn)椋h(yuǎn)離透鏡中心的光線比靠近透鏡中心的光線更加彎曲。廉價(jià)的透鏡更加嚴(yán)重,高端相機(jī)中并不是那么明顯。光心的處的畸變?yōu)?0,距離越遠(yuǎn)畸變?cè)酱蟆?/span>

          一般情況下,圖像的徑向畸變往往被描述為一個(gè)低階多項(xiàng)式模型。(x, y) 是沒(méi)有畸變的像素點(diǎn)的位置,(xdistorted, ydistorted) 是徑向畸變作用后的點(diǎn)的位置,則二者之間存在以下變換關(guān)系:


          (x, y) 是歸一化的圖像坐標(biāo),即坐標(biāo)原點(diǎn)已經(jīng)移動(dòng)到主點(diǎn),并且像素坐標(biāo)除以焦距,r2 = x2 +y2。k1, k2, k3 是徑向畸變系數(shù),也屬于攝像頭的內(nèi)參。一般使用多項(xiàng)式的前兩項(xiàng),畸變很大的相機(jī)比如魚(yú)眼相機(jī)會(huì)使用第三項(xiàng)。

          1.2.2.2 切向畸變

          圖 1.6: 切向畸變

          切向畸變主要發(fā)生在相機(jī) sensor 和鏡頭不平行的情況下,因?yàn)橛袏A角,所以光透過(guò)鏡頭傳到圖像傳感器上時(shí),成像位置發(fā)生了變化。具體原理如圖1.6所示。切向畸變可以用下列公式表示:


          p1, p2 是畸變系數(shù),其他變量和徑向畸變相同。

          將徑向畸變和切向畸變放在一起考慮,可以得到下式:


          所以對(duì)于鏡頭畸變一共有 5 個(gè)參數(shù) k1, k2, k3, p1, p2 需要校準(zhǔn),這 5 個(gè)參數(shù)和 M1 一起,都是需要標(biāo)定的相機(jī)內(nèi)參。opencv 輸出的即便參數(shù)順序是 k1, k2, p1, p2, k3 因?yàn)?k3 沒(méi)那么重要。

          作者簡(jiǎn)介


          林夕,電子科技大學(xué)碩士,主要研究方向:推薦系統(tǒng)、自然語(yǔ)言處理和金融風(fēng)控。希望能將算法應(yīng)用在更多的行業(yè)中。


          編輯:于騰凱

          校對(duì):李敏

          瀏覽 138
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  国产一级免费在线观看 | 黄骗免费网站 | 黄频免费看 | 青娱乐精品免费视频1 | 骚逼五月婷婷影院 |