結(jié)構(gòu)光發(fā)展簡(jiǎn)史

來(lái)源：https://zhuanlan.zhihu.com/p/29971801

作者：許翔翔@知乎

■ 背景知識(shí) 

針孔相機(jī)模型：射線方程

我們把數(shù)碼相機(jī)簡(jiǎn)化成針孔相機(jī)模型，光心為  點(diǎn)，傳感器面為紅色實(shí)線，  點(diǎn)到傳感器面距離  。那么我們可以這樣描述成像的過程：三維空間中的  點(diǎn)經(jīng)過光心  點(diǎn)在傳感器面上成像為  點(diǎn)，且  、  、  三點(diǎn)在一條直線上。針孔相機(jī)模型是一個(gè)三維空間（  點(diǎn)所在空間）到二維面（  點(diǎn)所在面）的變換，  線上的任意一點(diǎn)（如  、 、 ）所成的像都是  點(diǎn)，因此如果只知道  點(diǎn)，我們是無(wú)法反推出具體哪一個(gè)  點(diǎn)點(diǎn)亮了  點(diǎn)，我們只能說點(diǎn)亮  點(diǎn)的點(diǎn)一定在射線  上。所以針孔相機(jī)模型本質(zhì)上是射線方程，也就是說知道了CCD上的點(diǎn)，就可以得到一條射線。

為了方便描述，我們之后將把針孔模型對(duì)稱翻轉(zhuǎn)過來(lái)，如上圖虛線所示，從數(shù)學(xué)的角度，它們是等價(jià)的。

針孔相機(jī)雙目確定物點(diǎn)模型：射線相交得到點(diǎn)

為了確定到底是哪一個(gè)  點(diǎn)點(diǎn)亮了相機(jī)0上的  點(diǎn)，我們引入了另一個(gè)相機(jī)，通過相機(jī)1，我們可以得到  點(diǎn)在相機(jī)1中的像點(diǎn)  ，聯(lián)立  和  我們就可以唯一的得到空間中 點(diǎn)，上圖表達(dá)了這個(gè)關(guān)系。

■ 被動(dòng)測(cè)距

雙目測(cè)距：匹配特征

圖中上部左右兩幅照片是兩個(gè)標(biāo)定好的相機(jī)對(duì)同一個(gè)場(chǎng)景拍攝并對(duì)準(zhǔn)后的，圖中下部是上圖場(chǎng)景中的高度分布，顏色越深離相機(jī)越遠(yuǎn)。

我們把上面的場(chǎng)景抽象成草圖，舉例而言，顯示器在相機(jī)0和相機(jī)1中不同的像位置是確定顯示器空間所在位置的關(guān)鍵，那么為什么高度分布是塊狀的？

這是因?yàn)橛捎谂臄z的場(chǎng)景缺少特征點(diǎn)，以下圖為例，如果說左圖中白色盒子頂上的四個(gè)點(diǎn)我們還可以在右圖中找的到，那么圖中紅色點(diǎn)在右圖我們就根本找不到對(duì)應(yīng)的點(diǎn)。由于特征點(diǎn)的稀缺，雙目測(cè)距中是不可能實(shí)現(xiàn)像素級(jí)點(diǎn)對(duì)點(diǎn)的匹配的。

■ 主動(dòng)結(jié)構(gòu)光

結(jié)構(gòu)光：匹配拓?fù)渚W(wǎng)格

如果說特征點(diǎn)的缺失是雙目測(cè)距的一大痛點(diǎn)，有學(xué)者就提出，既然缺少特征點(diǎn)不如我就造一些特征點(diǎn)出來(lái)，這就是結(jié)構(gòu)光。iPhone X的人臉識(shí)別用的就是這一項(xiàng)技術(shù)。

iPhone X中有兩個(gè)與此相關(guān)的傳感器，分別是Infrared camera和Dot projector，前者是相機(jī)，而后者是一個(gè)點(diǎn)陣投影儀。從數(shù)學(xué)上說，一部分投影儀是可以用逆向針孔相機(jī)模型描述的，也就是說如果我知道投影面上的某一個(gè)點(diǎn)，我就可以知道由這個(gè)點(diǎn)投影出的一條射線，這條射線遇到一個(gè)面，線面相交的點(diǎn)就會(huì)被投影儀點(diǎn)亮。這里我們?yōu)槭裁凑f「一部分」投影儀可以等價(jià)于針孔相機(jī)，這個(gè)問題在后面會(huì)談到。

為了確定這個(gè)線面相交的點(diǎn)的位置，我們用一個(gè)相機(jī)觀察，如上圖所示，我們可以在點(diǎn)陣投影儀的投影面上找到點(diǎn)亮  點(diǎn)的投影點(diǎn)，也可以在相機(jī)CCD面上找到被  點(diǎn)亮的成像點(diǎn)。上面的草圖中，一共有五個(gè)投影點(diǎn)，而相機(jī)拍到的五個(gè)投影點(diǎn)，會(huì)因?yàn)槊嫘蔚拇嬖诟淖兿噜弮牲c(diǎn)之間的距離卻不會(huì)因?yàn)槊嫘蔚拇嬖趯?dǎo)致五個(gè)投影點(diǎn)相對(duì)順序的改變，因此我們說相機(jī)是通過拓?fù)渚W(wǎng)格的標(biāo)號(hào)來(lái)確定CCD面上點(diǎn)和投影儀投影面上點(diǎn)的一一對(duì)應(yīng)關(guān)系。

在實(shí)際的應(yīng)用當(dāng)中，會(huì)根據(jù)待測(cè)面形的特點(diǎn)確定拓?fù)渚W(wǎng)格的結(jié)構(gòu)。舉例而言，對(duì)于iPhone X的結(jié)構(gòu)光主要測(cè)量的人臉，因此它的結(jié)構(gòu)光在設(shè)計(jì)過程中，加密了人臉中眼、鼻、口的光點(diǎn)數(shù)量，使得在人臉識(shí)別中更具有特征的眼、鼻、口的采樣率更高，深度數(shù)據(jù)真實(shí)性更強(qiáng)。主動(dòng)結(jié)構(gòu)光拓?fù)渚W(wǎng)格匹配已經(jīng)遠(yuǎn)遠(yuǎn)強(qiáng)于被動(dòng)雙目測(cè)距的特征匹配，但是即便如此依然無(wú)法實(shí)現(xiàn)像素級(jí)點(diǎn)對(duì)點(diǎn)的匹配，無(wú)法實(shí)現(xiàn)的原因我們會(huì)在下一節(jié)講到。

主動(dòng)投射結(jié)構(gòu)光和被動(dòng)雙目測(cè)距相比既有好處也有壞處，好處是大大提高了測(cè)量準(zhǔn)確度和分辨率，壞處則是需要有主動(dòng)式投影光源。舉個(gè)很顯而易見的例子，由于投影光源在遠(yuǎn)距離的情況下就失效了，遠(yuǎn)距離的測(cè)距主要還是用被動(dòng)雙目測(cè)距的方法。當(dāng)然遠(yuǎn)距離的測(cè)距還有很多別的更可行的方案，比如激光雷達(dá)，但是本文只討論結(jié)構(gòu)光體系內(nèi)的技術(shù)。

結(jié)構(gòu)光：匹配相位分布

我們?yōu)榱藴y(cè)量的面形保真，必須盡可能的提高采樣點(diǎn)的數(shù)量。上一節(jié)拓?fù)渚W(wǎng)格匹配結(jié)構(gòu)光里采樣點(diǎn)的提高有一個(gè)上限，那就是CCD必須可以區(qū)分采樣點(diǎn)，否則在CCD中采樣點(diǎn)糊成一團(tuán)，也就失去了拓?fù)渚W(wǎng)格標(biāo)號(hào)。因此這里有一對(duì)矛盾，一方面要盡可能的提高采樣率，一方面又不能超過CCD的分辨能力。

上圖中，測(cè)量面上最左邊的點(diǎn)，相機(jī)卻無(wú)法分辨最左邊的點(diǎn)與和它相鄰的點(diǎn)。為了解決這個(gè)問題，學(xué)者就提出采用相位的方法實(shí)現(xiàn)像素級(jí)點(diǎn)對(duì)點(diǎn)匹配。在前面的介紹中，被動(dòng)雙目測(cè)距用「特征點(diǎn)」作為「相機(jī)0——物——相機(jī)1」這個(gè)過程的傳遞不變量，主動(dòng)拓?fù)渚W(wǎng)格結(jié)構(gòu)光中，以「拓?fù)渚W(wǎng)格標(biāo)號(hào)」作為「投影儀——物——相機(jī)」的傳遞不變量。在這里我們以相位分布  作為傳遞不變量。之所以用相位分布作為傳遞不變量，是因?yàn)橄辔环植际怯擅嫘蔚母叨确植贾苯記Q定的。

以四步相移為例，上圖右圖是投影儀投出的X方向相移正弦條紋，左圖是CCD拍攝到的由于面形引起的X方向變形條紋。對(duì)這兩組圖求包裹相位，并解包裹得到X方向相位分布情況。

舉例而言，投影面和CCD的像素?cái)?shù)都是512*512，對(duì)于投影面上的一個(gè)像素（下圖右圖紅點(diǎn)），我能找到它的X方向相位值，根據(jù)這個(gè)相位值，能夠找到CCD面上具有這個(gè)相位值的所有像素（下圖左圖紅線），通過這個(gè)X方向相位值，能夠把投影面上的點(diǎn)和CCD面上的線關(guān)聯(lián)起來(lái)。

同樣的道理，投影儀投影Y方向正弦條紋，我們就能夠在CCD面上唯一確定與投影面上紅點(diǎn)對(duì)應(yīng)的像素，通過X方向相位和Y方向相位，我們找到了「投影面像素標(biāo)號(hào)  CCD面像素標(biāo)號(hào)」的對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)了像素級(jí)點(diǎn)對(duì)點(diǎn)匹配。

結(jié)構(gòu)光：匹配編碼

肯定有讀者會(huì)問上面都已經(jīng)實(shí)現(xiàn)了像素級(jí)點(diǎn)對(duì)點(diǎn)匹配，分辨率的提高都已經(jīng)到頭了，那么這項(xiàng)技術(shù)還可以怎么演進(jìn)呢？這里我們就要談一談相移法的優(yōu)缺點(diǎn)了，相移法是屬于一種優(yōu)點(diǎn)和缺點(diǎn)都極為顯著的方法，優(yōu)點(diǎn)是，通過相移解相位的方法，犧牲了時(shí)間（多幅條紋投影），以粗的條紋獲得了細(xì)的分辨率，缺點(diǎn)是正弦條紋極易被干擾，這就導(dǎo)致了相位圖失真，CCD像素和投影面像素的一一對(duì)應(yīng)性被破壞。

因此，學(xué)者就提出，能不能把步子邁得小一點(diǎn)，我們不要求像相移法那樣高的分辨率，但是CCD像素和投影面像素的一一對(duì)應(yīng)性必須要保證。由此就提出了以編碼作為傳遞不變量，確定像素的對(duì)應(yīng)性。

以下圖為例，我們對(duì)藍(lán)色點(diǎn)進(jìn)行編碼，通過XY兩個(gè)方向一共6幅由疏到密的二值條紋，我們能夠得到一串表明藍(lán)色點(diǎn)位置的6位編碼「100101」，其中1代表在這一位上是白色，0代表黑色。編碼位數(shù)越高越能準(zhǔn)確的描述藍(lán)色點(diǎn)的位置，當(dāng)然位數(shù)越高同樣意味著條紋越密，位數(shù)的上限取決與CCD能夠分辨的最小二值條紋粗細(xì)。二值條紋的抗干擾能力顯著高于正弦條紋。

下圖是慕尼黑光博會(huì)上某個(gè)展商的裝置，用一個(gè)投影儀一個(gè)相機(jī)以及編碼圖樣實(shí)現(xiàn)了三維測(cè)量，實(shí)際上它所用的圖樣（編碼位數(shù)）最后遠(yuǎn)遠(yuǎn)高于我截的這6幅圖。

雙目結(jié)構(gòu)光：不能或者不想標(biāo)定投影儀

還記得我們前面有一節(jié)講到只有一部分投影儀可以用逆向針孔相機(jī)模型來(lái)描述，受限于投影儀的凸透鏡成像法則，大多數(shù)情況下很難用一個(gè)通用的模型來(lái)描述投影儀整個(gè)群體，比如說，投影面放在投影儀透鏡焦面上的準(zhǔn)直投影就不能用逆向針孔相機(jī)模型來(lái)描述。

這意味這投影儀不能用射線方程來(lái)描述，也就意味著又要解決一個(gè)相機(jī)解欠定的問題，自然我們想到了再引入一個(gè)相機(jī)。

請(qǐng)注意，因?yàn)檫@里的投影儀不是射線模型，因此我也就不畫成前文投影儀的樣子了。

和前面的結(jié)構(gòu)光匹配編碼類似，只是我們現(xiàn)在匹配的是兩臺(tái)相機(jī)當(dāng)中的編碼而不是匹配投影儀和相機(jī)的編碼。

交叉偏振結(jié)構(gòu)光：解決反光問題

反光是所有結(jié)構(gòu)光的大敵，包括被動(dòng)雙目測(cè)距，主動(dòng)結(jié)構(gòu)光掃描。因?yàn)榉垂鈺?huì)造成采集信號(hào)丟失，相當(dāng)于雙目測(cè)距失去一目，方程欠定有無(wú)窮多解。

所以結(jié)構(gòu)光只能用在粗糙表面測(cè)量上，下圖表明了兩種表面反射光的形態(tài)。左圖是粗糙表面反射光形態(tài)，粗糙表面會(huì)講投影光線均勻的散開，只要有一支被CCD接受我們就可以確定投影像素和CCD像素的對(duì)應(yīng)關(guān)系。右圖是類鏡面反射光形態(tài)，反射光中，光強(qiáng)最強(qiáng)的主瓣沿著反射定律確定的反射光方向，而旁瓣則在主瓣周圍散開，越遠(yuǎn)離主瓣光強(qiáng)越弱。結(jié)構(gòu)光無(wú)法處理反光就是因?yàn)镃CD接收不到光線。類鏡面反射光形態(tài)和粗糙表面反射光形態(tài)并不是一成不變的。一些材質(zhì)的粗糙表面在某些角度的光線或者光強(qiáng)大于一定的值之后也會(huì)表現(xiàn)出類鏡面反射光的特點(diǎn)。

為了解決這個(gè)問題，學(xué)者就提出投影交叉偏振結(jié)構(gòu)光的方法。其原理是反射光是s占優(yōu)的部分偏振光，只有當(dāng)入射角是布魯斯特角時(shí)，反射光是s線偏振光。根據(jù)這個(gè)原理，大量的含水面的風(fēng)光攝影都用到了與s光正交的偏振鏡來(lái)抵消s光以達(dá)到減弱反光的效果。

通過給投影儀加裝偏振鏡的方法，我們可以得到一對(duì)具有正交偏振方向的投影光，下圖兩個(gè)藍(lán)色圈中的即是兩個(gè)不同偏振方向的投影儀。

通過交叉偏振投影結(jié)構(gòu)光的方法，總有一個(gè)方向能夠極大的降低反光，再通過拍攝到無(wú)反光的結(jié)構(gòu)光的相機(jī)的位置，可以按照前文所述得到三維信息。

Phase Measuring Profilometry：既不標(biāo)定投影儀也不用雙目

Phase Measuring Profilometry，中文名為：相位測(cè)量輪廓術(shù)。

前文的所有測(cè)量包括被動(dòng)雙目和主動(dòng)結(jié)構(gòu)光都屬于絕對(duì)測(cè)量，這里的Phase Measuring Profilometry（PMP）是一種相對(duì)測(cè)量的手段。既不標(biāo)定投影儀也不用雙目，這勢(shì)必意味著我們方程又回到了欠定無(wú)窮多解的問題上。好在相移干涉法給了一個(gè)思路，我們可以通過給一個(gè)絕對(duì)高度的參考面，測(cè)量的是與參考面的相對(duì)高度，由此得到待測(cè)面的絕對(duì)高度。

相機(jī)拍攝參考面的四步相移正弦圖樣，解包裹相位得到相位分布，如下下圖右圖。

相機(jī)拍攝待測(cè)面的四步相移正弦圖樣，解包裹相位得到相位分布，如下圖左圖。

PMP的核心在于標(biāo)定「相位——高度」的映射：

其中，  是在  處待測(cè)面與參考面的高度差，  是對(duì)應(yīng)的待測(cè)面相位分布和參考面相位分布的差，  ，  和  是標(biāo)定系數(shù)。

 、 、 需要采用別的手段進(jìn)行標(biāo)定。由于標(biāo)定好「相位——高度」的映射，因此PMP不需要在另一個(gè)方向測(cè)量相位分布。為了解決PMP中方程欠定的問題，需要引入?yún)⒖济婧推渌臉?biāo)定手段，肯定有讀者會(huì)問這相對(duì)于之前的結(jié)構(gòu)光好在哪里呢？其實(shí)方法沒有好壞之分只有適合用在哪里的區(qū)別。雖然PMP增加了標(biāo)定和設(shè)備的復(fù)雜性，但是好在這些工作只要做一次就可以，非常適用于有基準(zhǔn)面的測(cè)量，比如電路板的三維測(cè)量等等。

后PMP時(shí)代

后PMP主要朝著這么幾個(gè)方向，動(dòng)態(tài)測(cè)量，在線測(cè)量，提高算法性能和精度以及一些難測(cè)量面形的測(cè)量方案設(shè)計(jì)。

 End 

聲明：部分內(nèi)容來(lái)源于網(wǎng)絡(luò)，僅供讀者學(xué)術(shù)交流之目的，文章版權(quán)歸原作者所有。如有不妥，請(qǐng)聯(lián)系刪除。

點(diǎn)「在看」的人都變好看了哦！