想了解3D結(jié)構(gòu)光，看這份拆解就對(duì)了
點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
上節(jié)我們提到無(wú)論是結(jié)構(gòu)光、TOF還是雙目立體成像方案，主要的硬件包括紅外光發(fā)射器、紅外光攝像頭、可見(jiàn)光攝像頭和圖像處理芯片四部分，紅外攝像頭需要特制的窄帶濾色片，另外結(jié)構(gòu)光方案還需要在發(fā)射端添加光學(xué)棱鏡與光柵，雙目立體成像多一顆紅外光攝像頭。要了解他們涉及的工藝，首先就要對(duì)每一部分的功能和構(gòu)成做深入了解。我們以結(jié)構(gòu)光為例，對(duì)每一部分的構(gòu)成進(jìn)行拆解。
?
紅外光發(fā)射部分是整個(gè)3D視覺(jué)重要的組件之一，用于發(fā)射經(jīng)過(guò)特殊調(diào)制的不可見(jiàn)紅外光至拍攝物體，其發(fā)射圖像的質(zhì)量對(duì)整個(gè)識(shí)別效果至關(guān)重要。采用結(jié)構(gòu)光方案的 3D 視覺(jué)相比于 TOF 方案要復(fù)雜得多，主要是結(jié)構(gòu)光方案需要采用 pattern 圖像（如激光散斑等）進(jìn)行空間標(biāo)識(shí)，因此需要定制的 DOE（衍射光柵）和 WLO（晶圓級(jí)光學(xué)透鏡，包括擴(kuò)束元件、準(zhǔn)直元件、投射透鏡等）。但實(shí)際上WLO要視情況而定，在我從事的VCSEL項(xiàng)目中，就只有準(zhǔn)直Lens，沒(méi)有擴(kuò)束元件和投射透鏡。
?
整個(gè)不可見(jiàn)光紅外線（IR）發(fā)射模組的工作流程主要為：
1）不可見(jiàn)紅外光發(fā)射源（激光器或者LED）發(fā)射出不可見(jiàn)紅外光；
2）不可見(jiàn)紅外光通過(guò)準(zhǔn)直鏡頭進(jìn)行校準(zhǔn)；
3）校準(zhǔn)后的不可見(jiàn)紅外光通過(guò)光學(xué)衍射元件（DOE）進(jìn)行散射，進(jìn)而得到所需的散斑圖案。因?yàn)樯邎D案發(fā)射角度有限，所以需要光柵將散斑圖案進(jìn)行衍射“復(fù)制”后，擴(kuò)大其投射角度。因此IR發(fā)射模組主要部件包括：不可見(jiàn)紅外光發(fā)射源（激光器或者LED）、準(zhǔn)直鏡頭（WLO）、光學(xué)衍射元件（DOE）。
?
1.1 近紅外光源選擇，VCSEL是最佳方案
目前，可以提供 800-1000nm 波段的近紅外光源主要有三種：紅外LED、紅外LD-EEL（邊發(fā)射激光二極管）和VCSEL（垂直腔面發(fā)射激光器）。
?
VCSEL 可以說(shuō)是紅外激光LD的一種，全名為垂直共振腔表面放射激光器，顧名思義，它采用垂直發(fā)射模式，與其他紅外LD的邊發(fā)射模式不同。VCSEL的垂直結(jié)構(gòu)更加適合進(jìn)行晶圓級(jí)制造和封測(cè)，規(guī)模量產(chǎn)之后的成本相比于邊發(fā)射LD有優(yōu)勢(shì)，可靠性高，沒(méi)有傳統(tǒng)的激光器結(jié)構(gòu)如暗線缺陷的失效模式。相比于LED，VCSEL的光譜質(zhì)量高，中心波長(zhǎng)溫漂小，響應(yīng)速度快，優(yōu)勢(shì)明顯。
?
? ? 邊發(fā)射EEL激光二極管LD結(jié)構(gòu)圖
?
?
垂直發(fā)射模式VCSEL結(jié)構(gòu)圖
?
?
三種主流近紅外光發(fā)射光源優(yōu)劣對(duì)比：
?
綜合分析三種方案，LED 雖然成本低，但是發(fā)射光角度大，必須輸出更多的功率以克服損失。此外，LED 不能快速調(diào)制，限制了分辨率，需要增加閃光持續(xù)時(shí)間；邊發(fā)射LD 也是手勢(shì)識(shí)別的可選方案（如DFB），但是輸出功率固定，邊緣發(fā)射的模式在制造工藝方面兼容性不好；VCSEL 比 LD-EEL 的優(yōu)勢(shì)在于所需的驅(qū)動(dòng)電壓和電流小，功耗低，光源可調(diào)變頻率更高（可達(dá)數(shù) GHz），與化合物半導(dǎo)體工藝兼容，適合大規(guī)模集成制造。尤其是 VCSEL 功耗低、可調(diào)頻率高、垂直發(fā)射的優(yōu)點(diǎn)，使其比 LD-EEL 更加適合消費(fèi)電子智能終端。
?
1.2 晶圓級(jí)光學(xué)元件WLO是核心組件
WLO 晶圓級(jí)光學(xué)器件，是指晶元級(jí)鏡頭制造技術(shù)和工藝。與傳統(tǒng)光學(xué)器件的加工技術(shù)不同，WLO 工藝在整片玻璃晶元上，用半導(dǎo)體工藝批量復(fù)制加工鏡頭，多個(gè)鏡頭晶元壓合在一起，然后切割成單顆鏡頭，具有尺寸小、高度低、一致性好等特點(diǎn)。光學(xué)透鏡間的位置精度達(dá)到 nm 級(jí)。
?
傳統(tǒng)光學(xué)鏡頭與晶圓級(jí)鏡頭對(duì)比
?
在 3D 視覺(jué)發(fā)射端結(jié)構(gòu)復(fù)雜的情況下，光學(xué)器件采用 WLO 工藝，可以有效縮減體積空間，同時(shí)器件的一致性好，光束質(zhì)量高，采用半導(dǎo)體工藝在大規(guī)模量產(chǎn)之后具有成本優(yōu)勢(shì)，是未來(lái)標(biāo)準(zhǔn)化的光學(xué)透鏡組合的最佳選擇。
?
由于WLO 工藝由于是采用半導(dǎo)體工藝和設(shè)計(jì)思路進(jìn)行光學(xué)器件的制造，因此整個(gè)流程更加復(fù)雜，無(wú)論是設(shè)計(jì)流程還是加工環(huán)節(jié)，都需要更加先進(jìn)的設(shè)計(jì)思路和更加精細(xì)的加工處理。
?
1.3 DOE對(duì)于結(jié)構(gòu)光方案至關(guān)重要
在3D視覺(jué)結(jié)構(gòu)光方案中，經(jīng)過(guò)準(zhǔn)直鏡頭校準(zhǔn)后的激光束并沒(méi)有特征信息，必須采用特定的 pattern 光學(xué)圖案（如激光散斑等）實(shí)現(xiàn)深度信息的測(cè)量，因此下一步需要對(duì)激光束進(jìn)行調(diào)制，使其具備特征結(jié)構(gòu)，光學(xué)衍射元件（DOE）就是用來(lái)完成這一任務(wù)的。
?
VCSEL射出的激光束經(jīng)準(zhǔn)直后，通過(guò)DOE進(jìn)行散射，即可得到所需的散斑圖案。由于DOE對(duì)于光束進(jìn)行散射的角度（FOV）有限，所以需要光柵將散斑圖案進(jìn)行衍射“復(fù)制”后，擴(kuò)大其投射角度。
?
DOE 衍射光學(xué)元件（Diffractive Optical Elements）是基于光的衍射原理，利用計(jì)算機(jī)輔助設(shè)計(jì)，并通過(guò)半導(dǎo)體芯片制造工藝，在基片上（或傳統(tǒng)光學(xué)器件表面）刻蝕產(chǎn)生臺(tái)階型或連續(xù)浮雕結(jié)構(gòu)（一般為光柵結(jié)構(gòu)），形成同軸再現(xiàn)、且具有極高衍射效率的一類(lèi)光學(xué)元件。通過(guò)不同的設(shè)計(jì)來(lái)控制光束的發(fā)散角和形成光斑的形貌，實(shí)現(xiàn)光束形成特定圖案的功能。?
?
在3D結(jié)構(gòu)光方案中，RX紅外接收部分主要為一顆紅外攝像頭，用于接收被物體反射的紅外光，采集空間信息。該紅外攝像頭主要包括三部分：紅外CMOS傳感器、光學(xué)鏡頭、紅外窄帶干涉濾色片。
?
在基本結(jié)構(gòu)上與目前主流的可見(jiàn)光攝像頭類(lèi)似，但是在具體的零部件方面存在差異：
1）可見(jiàn)光CMOS傳感器需要識(shí)別RGB三色，對(duì)分辨率的要求高，紅外CMOS只需要識(shí)別近紅外光，分辨率要求不高；
2）可見(jiàn)光攝像頭需要紅外截止濾色片將紅外光截止掉，只通過(guò)可見(jiàn)光，而紅外攝像頭只通過(guò)特定波段的近紅外光，而將可見(jiàn)光截止掉，因此需要窄帶濾色片；
3）由于可見(jiàn)光攝像頭對(duì)圖像分辨率要求高，因此光學(xué)鏡頭的設(shè)計(jì)非常復(fù)雜，紅外攝像頭對(duì)光學(xué)鏡頭的要求不高。
?
紅外攝像頭主要結(jié)構(gòu)
?
?
典型可見(jiàn)光攝像頭基本構(gòu)成
?
2.1 特制紅外CMOS
在 3D 視覺(jué)方案中，紅外 CMOS的要求是其能接受被拍攝物體發(fā)射回來(lái)的紅外散斑圖案，不需要對(duì)其他波長(zhǎng)的光線進(jìn)行成像。
?
2.2窄帶濾光片
在IR發(fā)送端，VCSEL發(fā)射的是940nm波長(zhǎng)的紅外光，因此在接受端需要將940nm以外的環(huán)境光剔除，讓接受端的特制紅外CMOS只接收到940nm的紅外光。為達(dá)到這一目的，需要用到窄帶濾光片。
?
所謂窄帶濾光片，就是在特定的波段允許光信號(hào)通過(guò)，而偏離這個(gè)波段以外的兩側(cè)光信號(hào)被阻止。窄帶濾光片主要采用干涉原理，需要幾十層光學(xué)鍍膜構(gòu)成，相比普通的RGB吸收型濾光片具有更高的技術(shù)難度和產(chǎn)品價(jià)格。這個(gè)鏡片在國(guó)內(nèi)，很大部分由水晶光電提供。?
?
2.3 接收端鏡頭（Lens）
接收端鏡頭為普通鏡頭，業(yè)內(nèi)方案成熟，各個(gè)廠商都能提供。
總體而言，接收端除窄帶濾波片較特殊，制造難度較高外，特制紅外CMOS和鏡頭都是成熟產(chǎn)品，不存在制造難度。
?
可見(jiàn)光鏡頭模組，采用普通鏡頭模組，用于2D彩色圖片拍攝，非新增業(yè)務(wù)。
在 3D 視覺(jué)體系中，無(wú)論是結(jié)構(gòu)光方案，還是 TOF 方案，紅外光線的作用都是采集深度 Z 軸信息，從而確定物體的景深信息，而物體的平面 XY 軸信息需要借助普通可見(jiàn)光攝像頭進(jìn)行采集。
?
紅外攝像頭和可見(jiàn)光攝像頭共同實(shí)現(xiàn)三維圖像
?
圖像處理芯片，將普通鏡頭模組拍攝的2D彩色圖片和IR接收模組獲取的3D信息集合，通過(guò)復(fù)雜的算法將IR接收端采集的空間信息和鏡頭成像端采集的色彩信息相結(jié)合，生成具備空間信息的三維圖像。
?
該芯片設(shè)計(jì)壁壘高，尤其是算法層面的要求較高，需要根據(jù)3D視覺(jué)方案處理深度信息，目前僅有少數(shù)幾家公司擁有該技術(shù)。
?
好了，3D成像技術(shù)的硬件構(gòu)成我們?nèi)坎鸾馇宄耍偨Y(jié)成下圖，有了這個(gè)基礎(chǔ)，再找其供應(yīng)商就是對(duì)號(hào)入座的事情了，想知道獨(dú)家供應(yīng)鏈的寶典嗎？下期我會(huì)將行業(yè)現(xiàn)狀和項(xiàng)目應(yīng)用到的供應(yīng)商整理好，傾囊相授。更多精彩請(qǐng)掃下方二維碼持續(xù)關(guān)注！
小白團(tuán)隊(duì)出品：零基礎(chǔ)精通語(yǔ)義分割↓↓↓
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~