一文讀懂增強(qiáng)現(xiàn)實(shí)（AR)技術(shù)

來源丨3D視覺工坊

隨著信息技術(shù)的高速發(fā)展，虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等逐漸火熱。虛擬現(xiàn)實(shí)是一種完全建立虛擬環(huán)境，讓人類脫離現(xiàn)有環(huán)境進(jìn)入新的世界，它的廣泛應(yīng)用可能還要經(jīng)過一段時間的積淀，目前虛擬現(xiàn)實(shí)主要在科研仿真、虛擬漫游、游戲娛樂、教育培訓(xùn)等領(lǐng)域發(fā)揮作用。而從虛擬現(xiàn)實(shí)中發(fā)展起來的增強(qiáng)現(xiàn)實(shí)，旨在增強(qiáng)人類能力，為人類提供各種輔助信息，成為溝通人類個體與信息世界的重要樞紐。目前已經(jīng)在醫(yī)療、交通、教育培訓(xùn)、航天、通信、工業(yè)維修等領(lǐng)域發(fā)揮作用。相信增強(qiáng)現(xiàn)實(shí)的大規(guī)模應(yīng)用會比虛擬現(xiàn)實(shí)更早一些，可能取代智能手機(jī)，成為下一代智能計(jì)算與顯示平臺，將物理世界與信息世界聯(lián)系得更加緊密。這里，我們主要談一下增強(qiáng)現(xiàn)實(shí)的相關(guān)內(nèi)容。

• 結(jié)合真實(shí)與虛擬

• 實(shí)時交互

• 支持三維注冊

1. 近眼式顯示設(shè)備

   
   

   近眼顯示設(shè)備主要是指頭盔顯示器。頭盔顯示器主要分為兩種：光學(xué)透射式頭盔顯示器和視頻透射式頭盔顯示器。當(dāng)然如果按照顯示器件數(shù)量，也可以劃分為單目頭盔顯示器和雙目頭盔顯示器。這里主要討論光學(xué)式（左）和視頻式（右）的區(qū)別。

   
   

   光學(xué)透射式頭盔顯示器是直接透射外界的光線，并且反射微投影器件產(chǎn)生的虛擬圖像到人眼中，達(dá)到虛實(shí)融合的效果。優(yōu)點(diǎn)是可以保證正確的視點(diǎn)和清晰的背景，缺點(diǎn)是虛擬信息和真實(shí)信息融合度低，且人眼標(biāo)定比較復(fù)雜。目前市面上典型的光學(xué)透射式頭盔顯示器有Hololens和Meta2等。

   

   而視頻透射式頭盔顯示器，是將固定在頭盔上的攝像頭所捕獲的圖像，通過視點(diǎn)偏移來顯示到眼前的顯示器上。優(yōu)點(diǎn)是虛實(shí)融合效果好，無需標(biāo)定人眼，缺點(diǎn)是視點(diǎn)難以完全補(bǔ)償?shù)秸_的位置，且與鏡片范圍外的環(huán)境不能完美銜接。將上面的光學(xué)透射式頭盔顯示器，加上攝像頭，并且把帶有增強(qiáng)信息的視頻直接全屏顯示，就成為了視頻透射式設(shè)備了。很巧的是，很多光學(xué)透射式設(shè)備，確實(shí)在其上加裝了這種攝像頭，但是它們的本意是用攝像頭來作為跟蹤模塊的。

   
   

2. 手持式顯示設(shè)備

   
   

   手持式顯示設(shè)備，顧名思義就是拿在手上的顯示設(shè)備。最常見的就是我們的智能手機(jī)和平板電腦。這類設(shè)備具有很好的便攜性，是一種天然的AR設(shè)備。它們有攝像頭作為圖像輸入設(shè)備，有自帶的處理器，有顯示單元，具備了進(jìn)行AR開發(fā)的所有條件。在目前市面上，很多增強(qiáng)現(xiàn)實(shí)APP都是圍繞這類設(shè)備開發(fā)的。

   
   

3. 固定式顯示設(shè)備

   
   

   桌面級顯示器，這是我們?nèi)粘Ｉ钪凶畛Ｒ姷囊活愶@示器了。給它添加一個網(wǎng)絡(luò)攝像頭，就可以完成AR任務(wù)了。該攝像頭可以捕捉空間中的圖像，然后估計(jì)攝像頭的位置和姿態(tài)，最后計(jì)算生成虛擬信息，并進(jìn)行虛實(shí)融合，輸出到桌面顯示器上。這類設(shè)備適合做一些科研類的開發(fā)，對于商業(yè)應(yīng)用顯得有些笨重，比起手機(jī)和平板來說稍遜一籌。

   
   

   虛擬鏡子，這是利用攝像頭對著人進(jìn)行拍攝，然后輸出到一個類似于鏡子的大型顯示器上，給人一種照鏡子的感覺。同時，還可以進(jìn)行虛擬換裝，或者添加一些虛擬物件，達(dá)到AR效果。

   
   

   還有一些固定顯示器，類似于霧幕、水幕、全息膜等，在上面投影出增強(qiáng)信息，可以實(shí)現(xiàn)AR效果。

   
   

   

   
   

4.  投影式顯示設(shè)備

   
   

   投影機(jī)是一種重要的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)設(shè)備。最常見的基于投影的增強(qiáng)現(xiàn)實(shí)系統(tǒng)是在展會上的各種絢麗的投影展品，包括虛擬地球、汽車表面投影等。這類系統(tǒng)屬于空間增強(qiáng)現(xiàn)實(shí)系統(tǒng)。另外，柱幕、球幕、環(huán)幕投影也可以歸為基于投影的空間增強(qiáng)現(xiàn)實(shí)。

   
   

   投影機(jī)還可以用于構(gòu)建CAVE系統(tǒng)。手持式投影機(jī)結(jié)合圖像捕捉設(shè)備，還可以建立動態(tài)的空間增強(qiáng)現(xiàn)實(shí)系統(tǒng)。

   

小結(jié)與分析

2、跟蹤技術(shù)

1.  固定式跟蹤系統(tǒng)

   
   

   機(jī)械跟蹤器通過控制機(jī)械臂各個關(guān)節(jié)的轉(zhuǎn)動來跟蹤機(jī)械臂末端的空間位置，屬于比較老的跟蹤方式，但是精度可以控制得比較高。

   
   

   

   電磁跟蹤器是通過一個固定的發(fā)射源發(fā)射出三維正交的電磁場，接收端通過檢測接收到的電磁場的方向和強(qiáng)度來確定位姿。

   
   

   超聲波跟蹤器則是通過測量一個聲音脈沖從發(fā)射源到傳感器的飛行時間來測量距離。

2. 移動式傳感器

   
   

   GPS，全稱是全球定位系統(tǒng)。這個系統(tǒng)在智能手機(jī)上應(yīng)用很普遍。它通過接收多顆衛(wèi)星信號來確定當(dāng)前所處的位置。對于戶外大范圍增強(qiáng)現(xiàn)實(shí)有著重要意義。

   
   

   

   無線網(wǎng)是通過檢測移動設(shè)備接入點(diǎn)信息來粗略確定移動設(shè)備所處位置的。它可以配合GPS使用。

   

   磁力計(jì)，也稱電子羅盤，通過檢測地球的磁場來確定方向。

   
   

   

   
   

   陀螺儀和線性加速度計(jì)都是依靠慣性來進(jìn)行測量的。陀螺儀測量三軸角度變化，線性加速度計(jì)測量位置變化。它們通常會配合使用，并且常以微機(jī)電系統(tǒng)（MEMS, Micro-Electro-Mechanical System）的形式存在。

   

   里程計(jì)是通過輪式或者光電編碼器來測量所走過路程的一種傳感器，常用在機(jī)器人或者交通工具中。

   
   

3. 光學(xué)跟蹤技術(shù)

   
   

   （1）跟蹤模式

   
   

   有些跟蹤需要對被跟蹤的目標(biāo)預(yù)先建模，例如一些圖像跟蹤工具箱。有的則不需要提前建模，例如同步定位與跟蹤技術(shù)（SLAM）。多數(shù)跟蹤是需要提前建立一個待跟蹤模型數(shù)據(jù)庫的，然后在運(yùn)行中實(shí)時提取特征并且與數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對。而SLAM則可以實(shí)時根據(jù)獲得的特征，自主建立空間地圖，并且確定攝像頭相對于環(huán)境的位置。

   
   

   目前研究的比較火熱的是SLAM。因此，可以研究SLAM中的各個環(huán)節(jié)，從跟蹤、建圖、回環(huán)檢測等角度研究如何提升SLAM系統(tǒng)的精度，以及面對復(fù)雜環(huán)境的穩(wěn)定性問題。

   
   

   
   

   

   
   

   （2）照明種類

   
   

   跟蹤的穩(wěn)定性與環(huán)境光有關(guān)，尤其是基于視覺的跟蹤。有些跟蹤系統(tǒng)不需要自主添加光源，只是利用環(huán)境光，稱為被動照明；有些跟蹤需要主動發(fā)射某種照明光線，來實(shí)現(xiàn)其跟蹤，稱為主動照明。被動照明是比較常見的，例如平面標(biāo)志跟蹤就是在普通的環(huán)境照明下實(shí)現(xiàn)的。主動照明最典型的就是結(jié)構(gòu)光照明，例如Kinect。還有一種主動發(fā)射紅外光的OptiTrack系統(tǒng)，做姿態(tài)跟蹤效果很好。

   
   

   

   
   

   （3）人工標(biāo)志與自然特征

   
   

   人工標(biāo)志指的是人造的用于跟蹤的圖像標(biāo)志等。例如二維碼、棋盤格等。自然特征指的是自然環(huán)境中本身就有的特征，不是人為放置用來跟蹤的特征。普通的室內(nèi)環(huán)境、街邊的樓宇都可以認(rèn)為是自然特征。人工標(biāo)志根據(jù)其種類不同，需要特定針對性算法進(jìn)行檢測和跟蹤，自然特征通常使用SIFT、SURF、ORB等特征描述子來進(jìn)行特征提取和跟蹤。

   

   
   

4.  傳感器融合

   
   

   互補(bǔ)式融合：不同的傳感器測量的是不同種類的參數(shù)，可以互相補(bǔ)充。

   
   

   競爭式融合：不同傳感器測量的是同一個種類的參數(shù)，則使用某種方式將它們結(jié)合起來，產(chǎn)生一個更好的測量結(jié)果.

   
   

   協(xié)作式融合：不同傳感器之間是協(xié)作關(guān)系，其中某個傳感器可能依賴于其他的傳感器才能得出結(jié)果。

小結(jié)與分析

3、標(biāo)定和注冊

1. 攝像機(jī)標(biāo)定

   
   

   （1）標(biāo)定內(nèi)參數(shù)

   
   

   攝像頭是基于視覺的AR系統(tǒng)的重要組件。所以在使用中必須先標(biāo)定攝像頭的內(nèi)參數(shù)。對于普通的攝像頭，可以采用matlab自帶的攝像頭標(biāo)定工具箱來標(biāo)定。不僅可以標(biāo)定出攝像頭的內(nèi)參數(shù)，還能標(biāo)定出鏡頭畸變。該工具箱采用的是棋盤格標(biāo)定法。

   
   

   
   

   
   

   

   
   

   （2）校正鏡頭畸變

   
   

   鏡頭畸變可以分為徑向畸變和切向畸變兩種。它們也都可以通過標(biāo)定來確定畸變參數(shù)。鏡頭畸變是普遍存在的，所以在使用之前要記得先進(jìn)行標(biāo)定。

   
   

2. 顯示器標(biāo)定

   
   

   （1）單點(diǎn)主動對準(zhǔn)法

   
   

   對于光學(xué)透射式頭盔顯示器，要進(jìn)行AR開發(fā)的話，必須加上一個攝像頭。攝像頭與頭盔顯示器之間的位置關(guān)系需要標(biāo)定。最常用的一種方法是單點(diǎn)主動對準(zhǔn)法（SPAAM）。這個方法要求用戶佩戴頭盔顯示器，并且將屏幕上的一些十字光標(biāo)與真實(shí)世界中的物體進(jìn)行多次對齊，多次對齊需要通過頭部轉(zhuǎn)動完成。數(shù)據(jù)獲取后，通過DLT方法構(gòu)建方程組求解投影矩陣。

   
   

   

   
   

   （2）使用瞄準(zhǔn)轉(zhuǎn)置

   
   

   該方法需要將瞄準(zhǔn)裝置與顯示器上的十字叉絲對準(zhǔn)，而不是使用在SPAAM中用到的靜止標(biāo)定點(diǎn)。這種瞄準(zhǔn)裝置經(jīng)常是作為AR設(shè)備的一部分，并且包括一個觸發(fā)器來確認(rèn)對準(zhǔn)完成。瞄準(zhǔn)裝置有一個優(yōu)勢，用戶不必再移動頭部來完成對準(zhǔn)，取而代之的是，可以通過移動手臂來完成。

3. 注冊

   
   

   跟蹤系統(tǒng)在進(jìn)行測量的時候，會存在測量誤差，導(dǎo)致位置估計(jì)不準(zhǔn)。這種誤差會導(dǎo)致注冊的虛擬物體與真實(shí)物體之間會存在不匹配的情況。所以，在每一個步驟要嚴(yán)格控制誤差，不要讓誤差在后面的環(huán)節(jié)中傳播。

   
   

   對于光學(xué)透射式增強(qiáng)現(xiàn)實(shí)來說，還有另一個非常重要的問題，那就是延遲。由于真實(shí)的環(huán)境背景是直接透射進(jìn)人眼的，可以認(rèn)為是零延遲的。但是虛擬信息是通過攝像頭捕捉環(huán)境，建立跟蹤注冊信息，然后渲染輸出到頭盔顯示器上。這個回路的處理時間導(dǎo)致虛擬信息的渲染比頭部轉(zhuǎn)動會有延遲。一個比較有效的方法是在視覺跟蹤的基礎(chǔ)上，加入高反應(yīng)速度的IMU，對這種延遲進(jìn)行補(bǔ)償。頭部的快速運(yùn)動可以根據(jù)IMU的反饋來渲染圖像。

1. 幾何一致性

   
   

   增強(qiáng)現(xiàn)實(shí)系統(tǒng)呈現(xiàn)的效果應(yīng)該是虛實(shí)高度融合的，讓人分不清哪里是虛的，哪里是實(shí)的。高度融合體現(xiàn)在虛擬物體被放置在正確的位置上，沒有與真實(shí)物體產(chǎn)生錯誤的重疊。幾何一致性還要求在時間變化中保證幾何一致。例如，在光學(xué)透射式頭盔顯示器中，快速的頭部運(yùn)動會導(dǎo)致虛擬圖像的渲染落后于真實(shí)的環(huán)境，導(dǎo)致圖像延遲現(xiàn)象。這就違反了幾何一致性要求。

   
   

   另外，虛實(shí)遮擋也要保持一致。有的時候虛擬的物體在空間上應(yīng)該被渲染到真實(shí)物體的后面。但是默認(rèn)情況下，虛擬的物體總會擋在真實(shí)物體的前面。因此，必須使用額外的傳感器，探測出真實(shí)物體的空間位置，然后決定哪些虛擬圖像是應(yīng)該被遮擋起來的。

   
   

   還有一些研究人員對增強(qiáng)現(xiàn)實(shí)頭戴式顯示器的深度感知一致性做了研究。他們分析了使用雙目頭盔顯示器看到的虛擬物體與真實(shí)物體在深度感知上的一致性。

   
   

   

   
   

2. 光照一致性

   
   

   虛擬世界的光線往往是認(rèn)為設(shè)定的，但是真實(shí)世界的光線是非常復(fù)雜的。因此渲染的虛擬物體怎樣保持與真實(shí)環(huán)境一致的光照效果，也是需要注意的。光照效果如果不一致，尤其是陰影的渲染不一致的話，會導(dǎo)致非常糟糕的效果。解決這個問題的途徑是，通過某個方式獲得真實(shí)環(huán)境中的光源分布，然后在虛擬世界中模擬這個光照效果。

   

1. 設(shè)備交互

   
   

   傳統(tǒng)的交互最被大眾熟知。鼠標(biāo)鍵盤的幾十年發(fā)展證明這種人機(jī)交互方式非常有效。但是對于增強(qiáng)現(xiàn)實(shí)應(yīng)用，卻不一定是最好的結(jié)果。一些被廣泛用于虛擬現(xiàn)實(shí)的設(shè)備，例如數(shù)據(jù)手套、力反饋裝置、數(shù)據(jù)衣等，也可以應(yīng)用在增強(qiáng)現(xiàn)實(shí)中，但是加入這些裝置后，會明顯覺得環(huán)境不協(xié)調(diào)，對增強(qiáng)現(xiàn)實(shí)應(yīng)用的效果有影響。

   
   

   

2. 肢體交互

   
   

   隨著Kinect等設(shè)備的推出，肢體交互在投影式增強(qiáng)現(xiàn)實(shí)中獲得廣泛應(yīng)用。肢體交互不僅解放了雙手，而且促進(jìn)了全身的均衡運(yùn)動，可以理解為一種非常健康時尚的交互方式。因此，肢體交互在游戲娛樂領(lǐng)域獲得了廣泛的應(yīng)用。

   
   

   

   
   

3. 手勢交互

   
   

   很多桌面級的應(yīng)用，也可以選擇手勢交互作為一種交互方式。手勢交互依賴于手勢檢測設(shè)備，現(xiàn)有的手勢檢測設(shè)備有LeapMotion和RealSense等。這類設(shè)備極大地促進(jìn)了手勢在人機(jī)交互中的推廣。

   
   

   

   
   

4. 語音交互

   
   

   隨著人工智能技術(shù)的發(fā)展，語音識別準(zhǔn)確度和效率明顯提升。因此，語音交互也變得越來越普遍。

   
   

   

   
   

5. 觸摸交互

   
   

   觸摸交互是針對專門的觸摸設(shè)備來的。其實(shí)觸摸交互也算是比較早發(fā)展起來的了。大部分智能手機(jī)手勢觸摸屏，而且有些智能眼鏡也在鏡框上設(shè)置了觸摸區(qū)域。

   
   

   

   
   

6.  眼動交互

   
   

   通過圖像設(shè)備捕捉人眼運(yùn)動，也可以實(shí)現(xiàn)人機(jī)交互。只不過這種方式僅僅適用于非常特殊的情況下，長時間的眼動交互會比較疲憊。

   
   

   

   
   

7. 腦機(jī)接口

   
   

   最新的人機(jī)交互方式莫過于腦機(jī)接口。它通過讀取人大腦的活動，來產(chǎn)生控制信號，對外界的設(shè)備進(jìn)行控制。目前還只能實(shí)現(xiàn)比較初級的控制，完全解讀人腦意念信息還是任重而道遠(yuǎn)。

   

1. 創(chuàng)作

   
   

   增強(qiáng)現(xiàn)實(shí)可以用于創(chuàng)作小故事，運(yùn)用該技術(shù)可以盡情發(fā)揮個人想象力，構(gòu)建出自己的各種物品、房間乃至城市。

   

2. 導(dǎo)航

   增強(qiáng)現(xiàn)實(shí)技術(shù)可以應(yīng)用于導(dǎo)航。將虛擬的導(dǎo)航信息疊加在真實(shí)的道路信息上，甚至可以將信息投影在汽車的玻璃上，最大程度為用戶提供方便。

   

1. 協(xié)作

   增強(qiáng)現(xiàn)實(shí)技術(shù)可以為多個用戶創(chuàng)建一個統(tǒng)一的協(xié)作平臺，構(gòu)建出一個虛擬的共享空間。多個用戶不論是否在同一地點(diǎn)，都可以通過增強(qiáng)現(xiàn)實(shí)的方式實(shí)現(xiàn)資源和信息共享。

   

• 推薦閱讀：增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）的103個應(yīng)用場景匯總
  

• 傳感器技術(shù)的進(jìn)步

• 顯示技術(shù)的進(jìn)步

• 計(jì)算能力的提高

• 社會信息網(wǎng)絡(luò)的完善。

 End 

聲明：部分內(nèi)容來源于網(wǎng)絡(luò)，僅供讀者學(xué)術(shù)交流之目的。文章版權(quán)歸原作者所有。如有不妥，請聯(lián)系刪除。