計算機視覺方向簡介 | 陣列相機立體全景拼接

全景相機（詳見《5分鐘了解全景相機》）現(xiàn)在在日常生活中已經(jīng)比較常見，不同的全景相機外觀、性能、價格等差別還是挺大的（詳見《全景相機哪家強？》）。消費級全景相機主要用于生活自拍、個人直播等，而專業(yè)級全景相機可用于專業(yè)全景直播、專業(yè)VR內(nèi)容制作、影視拍攝等。

其中，基于陣列相機的立體全景拼接無疑站在全景相機生態(tài)鏈的頂端。普通的全景相機只能生成二維全景圖像，而立體全景圖是由兩張具有一定視差的左右全景圖組成，因此合成的全景圖是具備深度信息的，用VR頭顯觀看這樣的立體全景圖/視頻時，就像用3D眼鏡觀看360° x 180°環(huán)繞的沉浸式巨型屏幕，身臨其境的感覺就像在真實的物理世界一樣。

目前具備這樣功能的設(shè)備主要有兩種：Google Jump和Facebook Surround 360（詳見《最牛全景相機——Facebook Surround360原理解析》）。本文以Google Jump為例介紹。如下圖所示：(a) 是Jump的陣列相機圓盤(b) 通過16個相機拼接好的立體全景視頻。

先來看看硬件設(shè)計方案。主要有如下兩種設(shè)計方案：(a)切向設(shè)計和(b)徑向設(shè)計。切向設(shè)計中一半相機負責(zé)立體全景圖中的左視圖，一半負責(zé)右視圖。徑向布局設(shè)計中每個相機同時負責(zé)左右視圖中的一部分。徑向設(shè)計只需要在相鄰圖像間進行插值，而切向設(shè)計需要間隔一個相機進行插值，這使得基線增大一倍，難度也更高。因此，徑向設(shè)計更適合大圓盤半徑而切向設(shè)計更適合于小圓盤半徑。

相機的數(shù)目和參數(shù)如何選擇？

我們知道硬件設(shè)計是非常重要的，好的硬件平臺可以極大方便算法的開發(fā)和調(diào)試，避免走彎路。這對于視覺效果要求極高的立體全景設(shè)備而說，有過之而無不及。陣列圓盤的半徑、相機數(shù)目、視場角有嚴格的約束關(guān)系。

硬件設(shè)計完成后，就到了最重要的環(huán)節(jié)：立體全景拼接算法。拼接算法流程圖如下圖所示：

1、首先需要對所有的相機進行標定，得到每個相機的內(nèi)參和外參。

2、稠密光流場計算。該算法將水平方向的光流近似作為深度的倒數(shù)（視差）。該光流算法可以保持較清晰的邊緣，如下圖所示。(a)、(b)是輸入的兩幀，(c)是該方法得到的保持邊界清晰的光流場。對(d)中（第1幀圖）的一個小區(qū)域，在(e)中（第2幀圖）較大范圍內(nèi)進行搜索并計算得到一個歸一化的誤差平方和(f)。根據(jù)塊光流及其置信度圖(g)，從而得到用色彩、飽和度、明度表示的初始的光流(h)，最后經(jīng)過雙邊濾波等后處理方法得到最終邊界清晰的光流場(i)。

3、曝光校正。為了能夠得到較大的曝光范圍，該陣列全景相機都設(shè)置為自動曝光模式。但這會帶來一個嚴重的后果，就是相鄰的相機因為朝向不同，曝光量可能會差距特別大（能夠達到3倍）。這不僅會造成拼接困難，還會因為左右眼曝光差異過大給3D效果帶來極大的不適感。如下圖所示，(a)、(b)、(c)中上半部分表示立體全景圖中的左視圖，下半部分表示右視圖。(a)是未進行曝光校正的結(jié)果，左右圖曝光差別較大(b)是HDR校正結(jié)果，可以看到校正后出現(xiàn)了過曝，(c)是本算法校正后的結(jié)果。

4、融合。融合方法比較復(fù)雜，這里不再贅述，詳見最后的參考資料。最后對每個像素進行了基于間隔的融合，我們得到了兩張全景圖，一張對應(yīng)左眼一張對應(yīng)右眼。

Google Jump官方的立體全景視頻在VR設(shè)備上觀看還是很震撼的，由于具備了深度信息，真實感特別強。感興趣的讀者可以用VR眼鏡（調(diào)整到上下3D模式）觀看如下視頻感受一下：

該方法也并不是盡善盡美，在一些情況下會出現(xiàn)比較明顯的拼接問題。下圖列舉幾個例子：

(a) 物體距離鏡頭特別近時，拼接會出錯，圖中大猩猩距離鏡頭大概15cm。(b) 細長的物體在光流計算中很容易被遺漏，這會導(dǎo)致圖中麥克風(fēng)桿的鬼影效果。(c) 半透明的物體表面會產(chǎn)生變形. (d) 少部分情況下重復(fù)紋理區(qū)域的光流會出現(xiàn)誤匹配。

運行時間：

輸入16個2704 × 2028幀率為 30 FPS的視頻流，輸出是 8192 × 8192的視頻流，其中左右眼（左眼在上右眼在下）各對應(yīng)一個 8192 × 4096的全景圖。

經(jīng)過優(yōu)化，一個小時的視頻流輸入在1000多個核上并行計算時間約為10個小時。

雖然兩張圖光流計算只需5s，但是一次同時輸入16張圖，前后向光流需要各算一次，所以主要的時間耗費在光流的計算上了。每張立體全景圖平均處理時間分布如下圖所示：

Google Jump 原理：

Anderson R, Gallup D, Barron J T, et al. Jump: virtual reality video[J]. Acm Transactions on Graphics, 2016, 35(6):198.

Facebook Surround360的開源硬件設(shè)計和代碼：?

https://github.com/facebook/Surround360?

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~