點(diǎn)特征直方圖

3D中特征檢測與目標(biāo)匹配與2D中相同：在不同的角度下找到相互匹配的掃描區(qū)域。但是，3D數(shù)據(jù)的性質(zhì)要求我們重新考慮什么才是好的評判的標(biāo)準(zhǔn)。我們沒有具有相關(guān)強(qiáng)度的統(tǒng)一像素網(wǎng)格，而是擁有了看起來都一樣的非均勻數(shù)據(jù)點(diǎn)集合。

對于一個(gè)特定的?F在點(diǎn)云IC點(diǎn)，法線方向與該表面的曲率估計(jì)是基本的幾何特征的描述。盡管計(jì)算簡單，快速，但在大多數(shù)情況下，點(diǎn)云將包含許多相似或相同的特征值，這使得無法獲取更多信息和特征。本文著重介紹一些健壯或高效的局部和全局3D點(diǎn)云特征檢測算法。

01. 表面法線估計(jì)

平面的法向矢量是垂直于平面的單位矢量，并且表面上某個(gè)點(diǎn)的法向矢量定義為垂直于與曲面相切的平面的矢量。檢測點(diǎn)的法線向量的計(jì)算主要包括基于表面網(wǎng)格的求解方法和基于周圍鄰域中的點(diǎn)的分布的求解方法。

用于正常估計(jì)的不同區(qū)域

法線向量所在的軸是鄰域分布的最分散方向。假設(shè)距N個(gè)檢測點(diǎn)的距離的半徑位于r的附近，則相鄰點(diǎn)與查詢點(diǎn)p_i之間的協(xié)方差矩陣為：

計(jì)算C的特征值和特征向量，并按降序{λ1，λ2，λ3}和相應(yīng)的特征向量{e1，e2，e3}排列特征值。其中，最大值λ1表示鄰域點(diǎn)主要集中在相應(yīng)的特征向量e1上，最小值λ3表示鄰域點(diǎn)e3最分散在相應(yīng)的特征向量上，因此特征向量e3表示法線向量。

02. 點(diǎn)特征直方圖

點(diǎn)特征直方圖（PFH）通過使用圍繞點(diǎn)的多維直方圖的平均曲率來編碼點(diǎn)的k個(gè)最近鄰點(diǎn)的幾何特性。這個(gè)高維空間提供了一些有用的特征表示，并且可以應(yīng)不同采樣密度和噪聲。

PFH的影響范圍

半徑為r的球體內(nèi)的中心點(diǎn)及其所有相鄰點(diǎn)相互連接以形成網(wǎng)絡(luò)。最終的PFH幾何特征將是通過計(jì)算鄰域中所有對點(diǎn)之間的變化關(guān)系而獲得的直方圖。

為了計(jì)算給定兩個(gè)點(diǎn)和，pi和pj以及它們相關(guān)的法線ns和nj兩者之間的相對差，我們在特定點(diǎn)處定義了固定坐標(biāo)系。

使用上面的uvw坐標(biāo)系，可以將ns法線和ni法線之間的差分解為以下3個(gè)角度差

保存這些變量以及點(diǎn)之間的歐幾里得距離，然后在計(jì)算所有對時(shí)將它們合并到直方圖中。最終的描述符是每個(gè)變量的直方圖的串聯(lián)。

03. 快點(diǎn)特征直方圖

快點(diǎn)特征直方圖（FPFH）是PFH的擴(kuò)展，它具有PFH的這種幾何特征，具有大多數(shù)特征和原理。FPFH的輸入也是具有正常信息的點(diǎn)云，輸出是可以反映每個(gè)點(diǎn)周圍鄰域特征的直方圖。但是與PFH不同，將采取一些簡化和優(yōu)化措施來加快FPFH的計(jì)算。下面專門介紹FPFH如何通過簡化和優(yōu)化來加快計(jì)算速度。

• 首先，對于每個(gè)點(diǎn)，使用類似于PFH的方法來計(jì)算三元組，并獲得簡化的點(diǎn)特征直方圖，稱為SPFH。

• 使用加權(quán)的鄰近SPFH來計(jì)算直方圖的最終值，如下所示：

權(quán)重取決于給定距離度量空間上的中心點(diǎn)和相鄰點(diǎn)。當(dāng)然，這里也可以使用其他測量方法來設(shè)置該重量。

04. 結(jié)論

本課程涵蓋圖像處理的基本，低級操作和工具，這對于理解大多數(shù)計(jì)算機(jī)視覺常用方法和工具是必不可少的

參考文獻(xiàn)

• Rusu R B, Marton Z C, Blodow N, et al. Learning informative point classes for the acquisition of object model maps[C]//Control, Automation, Robotics and Vision, 2008. ICARCV 2008. 10th International Conference on. IEEE, 2008: 643–650

• Zhao X, Wang H, Komura T. Indexing 3d scenes using the interaction bisector surface[J]. ACM Transactions on Graphics (TOG), 2014, 33(3): 22.

• Wahl E, Hillenbrand U, Hirzinger G. Surflet-pair-relation histograms: a statistical 3D-shape representation for rapid classification[C]//3-D Digital Imaging and Modeling, 2003. 3DIM 2003. Proceedings. Fourth International Conference on. IEEE, 2003: 474–481.

• Rusu R B, Blodow N, Beetz M. Fast point feature histograms (FPFH) for 3D registration[C]//Robotics and Automation, 2009. ICRA’09. IEEE International Conference on. IEEE, 2009: 3212–3217.

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目31講

在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目31講，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計(jì)數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

下載4：leetcode算法開源書

在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：leetcode，即可下載。每題都 runtime beats 100% 的開源好書，你值得擁有！

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會(huì)逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會(huì)請出群，謝謝理解~