點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
最近因為有些重要工作需要處理，系列文章因此擱置，月底時間稍微充裕，我們繼續(xù)上一次的主題，聊一聊3D幾何語義中的邊界屬性，感興趣的同學可以回顧一下上一篇分享。
3D空間中的邊界特征線是機器視覺感知中的一種重要的特征，在形狀分析、視覺定位、網(wǎng)格簡化、柵格創(chuàng)建、非照片級的渲染和表面平滑等方面具有廣泛的應用。根據(jù)特征線是否與視點相關聯(lián)，可以將特征線分為兩類：與視點相關的特征線和與視點無關的特征線。一般情況下，與視圖無關的特征線的計算與3D模型的拓撲結(jié)構有關。3D模型可以是連續(xù)的（例如參數(shù)化曲面），也可以是離散的（例如網(wǎng)格和點云）。與視點無關的特征線僅反映了3D對象的幾何屬性，而與視點有關的特征線則描述了表面幾何形狀和位置的屬性，即我們通常所理解的“輪廓”。
簡單介紹完視覺上的邊界特征線，接下來我以一個具體問題為例，介紹一個3D邊緣特征在視覺定位問題上的應用。
近年來，重工業(yè)領域已經(jīng)開始研究如何使用自動化的移動設備來解決生產(chǎn)力和人員安全問題，尤其是工作在室外環(huán)境下的大型作業(yè)車輛，因此迫切需要一種基于視覺的車輛定位方法。車輛在動態(tài)且非均勻的室外照明條件下運行時，周圍環(huán)境惡劣，盡管這個問題可以通過使用場景先驗知識調(diào)整相機曝光并改善圖像信息的質(zhì)量來解決，但完全基于2D圖像的感知有時候可能還是不太靠譜（PS：這里可以吐槽一下特斯拉）。隨著3D技術的普及，機器人車輛在戶外工業(yè)環(huán)境中運行需要定位，而定位器可以使用環(huán)境中的3D邊界圖來估計車輛的姿態(tài)。
在上述應用背景的前提下，一種解決策略是將利用攝像機采集的輸入邊緣與環(huán)境中預定義3D邊界映射進行比較，從而完成定位，因此三維空間中的幾何特征輪廓就派上了用場，為了不偏離本文的核心，只闡述涉及3D邊界的核心流程（PS:關于其他環(huán)節(jié)的實現(xiàn)，感興趣的同學可以自行學習）。
在圖像測量過程以及機器視覺應用中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系，必須建立相機成像的幾何模型，這些幾何模型參數(shù)就是相機參數(shù)。相機標定實際上就是計算相機外參和內(nèi)參的過程，完成標定后，我們便可以從2D圖像中恢復3D圖像。
·內(nèi)參
完成上述標定過程后，采集到的實際結(jié)果如圖1所示。緊接著利用圖像處理提取出相應目標區(qū)域內(nèi)的2D邊界，如圖2所示。
動態(tài)場景中的高效遮擋剔除可以加速渲染進程，這項技術本來是游戲和實時圖形處理領域的一個方向。如果建筑物的可見部分比被遮擋的部分多，則粒子濾波器對由未知物體引起的遮擋問題更具有魯棒性。（這一結(jié)論可以參考J.Hasselgren的論文）
因此針對可能遇到的自遮擋問題，可以采用欠采樣深度緩沖區(qū)技術處理，該技術是一種的實時技術。通過這種方法可以將建筑物的表面渲染到深度緩沖區(qū)，然后只有位于前面的邊緣會通過濾波器。但這種方法也有局限性，比如深度緩沖器的分辨率會受到限制，導致表面與其自身邊緣無法區(qū)分的問題。為避免此問題，可以將表面和邊緣之間的偏移距離設置為大于該深度處緩沖區(qū)的分辨率。
在完成上述兩個基礎問題后，為了更好的提取出建筑物的邊界，在這個環(huán)節(jié)我們采用3D Hough變換與三維點云鄰域信息分析相結(jié)合的方法。Hough變換是一種眾所周知的有效方法，用于找到匹配一組2D點的線。每條線由兩個參數(shù)ρ和θ表示，這兩個參數(shù)表示從法線的起點到該線的長度和角度。而3D數(shù)據(jù)中邊界點本身就是一種局部信息的表達，因此二者結(jié)合可以產(chǎn)生一定的效果。具體結(jié)果如圖3所示。（PS:關于這一部分的邊界提取，實際上涉及很多分割的知識，比如在這個環(huán)節(jié)實際上需要預分割出平面，只有具有足夠數(shù)量的點的平面簇類才會被考慮用于線提取）
這一環(huán)節(jié)我們需要用到粒子濾波器(particle filter)。粒子濾波器是一種使用蒙特卡羅方法(Monte Carlo method)的遞歸濾波器，透過一組具有權重的隨機樣本(稱為粒子)來表示隨機事件的后驗概率，從含有噪聲或不完整的觀測序列，估計出動力系統(tǒng)的狀態(tài)，粒子濾波器可以運用在任何狀態(tài)空間的模型上。
通過與邊緣圖像和3D邊界圖進行比較來生成每個粒子的似然度度量。根據(jù)每個粒子的姿勢將3D邊界投影到圖像平面上，因此可以進行直接比較。
其中，Px是對齊邊緣像素數(shù)a與可見邊緣像素總數(shù)v之間的比率，k是一個加權似然度量常數(shù)。
走完上述流程，基本就完成了視圖定位的很大一部分。以上就是3D邊緣的一個應用實例，為了更加貼合這次分享的主題，所以只給出了簡化流程，實際上每個環(huán)節(jié)都值得探究，包括后續(xù)的評價環(huán)節(jié)，感興趣的小伙伴可以探索一下。
下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺實戰(zhàn)項目52講
在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。
在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~
