无码区一区二区,色老板在线观看永久免费视频,热99在线视频观看,亚洲婷婷免顾视频,九一福利,国产毛片在线视频,欧美性之站,夏目あきら被续侵犯7天

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺”公眾號(hào)

視覺/圖像重磅干貨，第一時(shí)間送達(dá)

就目前視覺SLAM的引用來區(qū)分，分為基于特征法的和直接法的視覺SLAM。上一篇文章（https://zhuanlan.zhihu.com/p/108298657）中分析了特征法和直接法之間的對比關(guān)系。以下全篇均在分析基于視覺+IMU的視覺SLAM，即VINS。

基于特征法的視覺SLAM（視覺+imu）在目前發(fā)展相對更佳成熟，本文重點(diǎn)分析基于特征法的視覺SLAM的前端特征檢測與跟蹤問題。就目前來看，主流的框架還是基于fast方法進(jìn)行特征快速檢測，基于光流法進(jìn)行特征跟蹤。與ORB-SLAM不同，基于光流法進(jìn)行特征跟蹤可以甚至在高動(dòng)態(tài)的場景下進(jìn)行有效的特征跟蹤。在高動(dòng)態(tài)場景下，一個(gè)關(guān)鍵的問題就是圖片容易模糊，基于ORB這種采用描述子進(jìn)行特征匹配的特征跟蹤方法，極易在高動(dòng)態(tài)場景下特征跟蹤失敗。

jiacheng: 特征點(diǎn)法的話，以VINS為例，需要提前把路上運(yùn)動(dòng)中的車提前檢測出來，去掉，這樣是為了去掉動(dòng)的特征點(diǎn)。車行駛環(huán)境中有很多重復(fù)的紋理和區(qū)域，感覺像VINS中用光流跟蹤比計(jì)算描述子的特征點(diǎn)匹配，誤匹配的情況可能要好一些，因?yàn)楣饬鞣〞?huì)指定當(dāng)前幀圖像上的特征點(diǎn)的初始位置，也就是會(huì)在上一幀對應(yīng)光流點(diǎn)的坐標(biāo)值附近搜索和上一幀的匹配點(diǎn)。還有就是用特征點(diǎn)法地圖重用要簡單，只存儲(chǔ)特征點(diǎn)，需要的時(shí)候拿出來就能恢復(fù)位姿了。

jiacheng: 我也理解光流法是對光照更加敏感一些才對，但是測試的時(shí)候發(fā)現(xiàn)，只有在非常嚴(yán)重的光照變化，比如從黑漆漆的樹蔭底下一下子暴露到陽光暴曬下，VO才會(huì)堅(jiān)持不住丟掉。

下面簡要的講述一下幾種描述子的特點(diǎn)以及相關(guān)的問題（特征描述子部分的材料參考了Dr. Yue的講座介紹）：

SIFT(Scale Invariant Feature Transform)：該描述子主要具備尺度不變性和旋轉(zhuǎn)不變性等優(yōu)秀的品質(zhì)，在視覺特征描述領(lǐng)域獲得很好地口碑；描述子由128維的向量描述子組成。根據(jù)以下兩個(gè)公式計(jì)算梯度幅值和梯度方向，基于特征點(diǎn)鄰域內(nèi)的像素對應(yīng)的梯度信息，以獲得旋轉(zhuǎn)描述子的旋轉(zhuǎn)不變性，最終獲得128維的描述子。

Harris 特征：該特征描述方式主要依賴于特征點(diǎn)與鄰域內(nèi)的相關(guān)系數(shù)值。其中相關(guān)系數(shù)計(jì)算如下：

其中

表示特征點(diǎn)為中心的鄰域范圍。

計(jì)算如下：

因此可以的到：

其中：

因此可得到簡化形式如下：

Harris特征的優(yōu)勢之一是速度快，雖然 Harris 算法相較于其他眾多基于灰度的角點(diǎn)提取算法具有明顯的優(yōu)勢，但它仍然存在一些不足: 在經(jīng)典的 Harris 角點(diǎn)檢測中，當(dāng)對角點(diǎn)的興趣值進(jìn)行非極大值抑制來確定局部極大值的時(shí)候，角點(diǎn)的提取效果幾乎完全由設(shè)定的閾值大小決定。而閾值的大小也與所提取的角點(diǎn)數(shù)量息息相關(guān)，一般情況下，閾值越大提取的角點(diǎn)越少，極易造成正確角點(diǎn)的丟失; 閾值越小提取的角點(diǎn)數(shù)越多，也會(huì)帶來很多偽角點(diǎn)。因此，在用 Harris 算法進(jìn)行角點(diǎn)檢測時(shí)，閾值這個(gè)經(jīng)驗(yàn)值的選取和設(shè)定對角點(diǎn)提取具有很大的影響。這部分參考https://blog.csdn.net/weixin_41695564/article/details/79962401。

Fast特征：Fast特征的提出者Rosten等將Fast角點(diǎn)定義為：若某像素與其周圍鄰域內(nèi)足夠多的像素點(diǎn)相差較大，則該像素可能是角點(diǎn)。

1, 一個(gè)以像素p為中心，半徑為3的圓上，有16個(gè)像素點(diǎn)（p1、p2、...、p16）。

2、定義一個(gè)閾值。計(jì)算p1、p9與中心p的像素差，若它們絕對值都小于閾值，則p點(diǎn)不可能是特征點(diǎn)，直接pass掉；否則，當(dāng)做候選點(diǎn)，有待進(jìn)一步考察；

3、若p是候選點(diǎn)，則計(jì)算p1、p9、p5、p13與中心p的像素差，若它們的絕對值有至少3個(gè)超過閾值，則當(dāng)做候選點(diǎn)，再進(jìn)行下一步考察；否則，直接pass掉；

4、若p是候選點(diǎn)，則計(jì)算p1到p16這16個(gè)點(diǎn)與中心p的像素差，若它們有至少9個(gè)超過閾值，則是特征點(diǎn)；否則，直接pass掉。

5、對圖像進(jìn)行非極大值抑制：計(jì)算特征點(diǎn)出的FAST得分值（即score值，也即s值），判斷以特征點(diǎn)p為中心的一個(gè)鄰域（如3x3或5x5）內(nèi)，計(jì)算若有多個(gè)特征點(diǎn)，則判斷每個(gè)特征點(diǎn)的s值（16個(gè)點(diǎn)與中心差值的絕對值總和），若p是鄰域所有特征點(diǎn)中響應(yīng)值最大的，則保留；否則，抑制。若鄰域內(nèi)只有一個(gè)特征點(diǎn)（角點(diǎn)），則保留。得分計(jì)算公式如下（公式中用V表示得分，t表示閾值）：

該fast特征檢測方法以快著稱，清晰明了，在很多VINS中都采用這種檢測方式。

小結(jié)：

以無人駕駛，無人機(jī)這種高動(dòng)態(tài)的場景來說，以視覺SLAM為背景，fast + 光流的場景將會(huì)是一種主流方案。我們的研究（Bai, Xiwei, Weisong Wen, and Li-Ta Hsu. "Robust Visual-Inertial Integrated Navigation System Aided by Online Sensor Model Adaption for Autonomous Ground Vehicles in Urban Areas." (2020).）也發(fā)現(xiàn)，基于fast+光流的方式即使在晚上高動(dòng)態(tài)的場景下，也可以獲得相對不錯(cuò)的相對定位精度，全程沒有fail掉，但是整體精度依舊有待改善。

基于ORB這種高效的描述子的方式，在基于視覺地圖做重定位的場合，具有很好的優(yōu)勢，比如類似于VPS等場合。

從全局上講，典型的VINS主要包括兩部分；即前端和后端。主要的VINS的誤差來源來自于一下幾部分。

特征檢測的精度：由于后期的特征跟蹤需要檢測出前后屬于同一個(gè)特征的特征點(diǎn)，如果特征檢測的精度誤差有0.5個(gè)pixel，那么反應(yīng)到3D定位精度上，可能會(huì)是一個(gè)不小的誤差。

特征跟蹤精度：在使用光流法跟蹤過程中，由于特征跟蹤錯(cuò)誤，導(dǎo)致計(jì)算重投影誤差出錯(cuò)，最終的優(yōu)化求解誤差增大。

VINS狀態(tài)初始化精度：由于VINS的整個(gè)優(yōu)化問題是一個(gè)極度非線性的問題，因此一個(gè)好的初始化解是優(yōu)化求解達(dá)到最優(yōu)的關(guān)鍵?？偟膩碚f，一個(gè)好的初始化解，是優(yōu)化達(dá)到最優(yōu)解的關(guān)鍵之一。

勻速運(yùn)動(dòng)的自身車輛，導(dǎo)致視覺尺度不可觀：由于視覺的尺度需要基于IMU的觀測量來恢復(fù)，當(dāng)車輛處于勻速運(yùn)動(dòng)的時(shí)候，由于加速度為0，將會(huì)導(dǎo)致視覺尺度不可觀。

高動(dòng)態(tài)環(huán)境下的動(dòng)態(tài)目標(biāo)：由于視覺重投影的殘差依賴于一個(gè)假設(shè)：即特征是靜止的。然而在高動(dòng)態(tài)環(huán)境下，動(dòng)態(tài)車輛上檢測的特征將會(huì)極大的影響精度。我們組近期的文章在解決這些問題（Bai, Xiwei, Weisong Wen, and Li-Ta Hsu. "Robust Visual-Inertial Integrated Navigation System Aided by Online Sensor Model Adaption for Autonomous Ground Vehicles in Urban Areas." (2020).）

參考文獻(xiàn)：

[1] https://www.cnblogs.com/wyuzl/p/7834159.html

[2]https://zhuanlan.zhihu.com/p/108298657

[3]https://blog.csdn.net/weixin_41695564/article/details/79962401

來源：小白學(xué)視覺

—版權(quán)聲明—

僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請聯(lián)系微信號(hào):yiyang-sy 刪除或修改！

—THE END—

視覺SLAM前端特征檢測與跟蹤的思考