點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
就目前視覺SLAM的引用來(lái)區(qū)分，分為基于特征法的和直接法的視覺SLAM。上一篇文章（https://zhuanlan.zhihu.com/p/108298657）中分析了特征法和直接法之間的對(duì)比關(guān)系。以下全篇均在分析基于視覺+IMU的視覺SLAM，即VINS。基于特征法的視覺SLAM（視覺+imu）在目前發(fā)展相對(duì)更佳成熟，本文重點(diǎn)分析基于特征法的視覺SLAM的前端特征檢測(cè)與跟蹤問(wèn)題。就目前來(lái)看，主流的框架還是基于fast方法進(jìn)行特征快速檢測(cè)，基于光流法進(jìn)行特征跟蹤。與ORB-SLAM不同，基于光流法進(jìn)行特征跟蹤可以甚至在高動(dòng)態(tài)的場(chǎng)景下進(jìn)行有效的特征跟蹤。在高動(dòng)態(tài)場(chǎng)景下，一個(gè)關(guān)鍵的問(wèn)題就是圖片容易模糊，基于ORB這種采用描述子進(jìn)行特征匹配的特征跟蹤方法，極易在高動(dòng)態(tài)場(chǎng)景下特征跟蹤失敗。jiacheng: 特征點(diǎn)法的話，以VINS為例，需要提前把路上運(yùn)動(dòng)中的車提前檢測(cè)出來(lái)，去掉，這樣是為了去掉動(dòng)的特征點(diǎn)。車行駛環(huán)境中有很多重復(fù)的紋理和區(qū)域，感覺像VINS中用光流跟蹤比計(jì)算描述子的特征點(diǎn)匹配，誤匹配的情況可能要好一些，因?yàn)楣饬鞣〞?huì)指定當(dāng)前幀圖像上的特征點(diǎn)的初始位置，也就是會(huì)在上一幀對(duì)應(yīng)光流點(diǎn)的坐標(biāo)值附近搜索和上一幀的匹配點(diǎn)。還有就是用特征點(diǎn)法地圖重用要簡(jiǎn)單，只存儲(chǔ)特征點(diǎn)，需要的時(shí)候拿出來(lái)就能恢復(fù)位姿了。jiacheng: 我也理解光流法是對(duì)光照更加敏感一些才對(duì)，但是測(cè)試的時(shí)候發(fā)現(xiàn)，只有在非常嚴(yán)重的光照變化，比如從黑漆漆的樹蔭底下一下子暴露到陽(yáng)光暴曬下，VO才會(huì)堅(jiān)持不住丟掉。下面簡(jiǎn)要的講述一下幾種描述子的特點(diǎn)以及相關(guān)的問(wèn)題（特征描述子部分的材料參考了Dr. Yue的講座介紹）：SIFT(Scale Invariant Feature Transform)：該描述子主要具備尺度不變性和旋轉(zhuǎn)不變性等優(yōu)秀的品質(zhì)，在視覺特征描述領(lǐng)域獲得很好地口碑；描述子由128維的向量描述子組成。根據(jù)以下兩個(gè)公式計(jì)算梯度幅值和梯度方向，基于特征點(diǎn)鄰域內(nèi)的像素對(duì)應(yīng)的梯度信息，以獲得旋轉(zhuǎn)描述子的旋轉(zhuǎn)不變性，最終獲得128維的描述子。Harris 特征：該特征描述方式主要依賴于特征點(diǎn)與鄰域內(nèi)的相關(guān)系數(shù)值。其中相關(guān)系數(shù)計(jì)算如下：其中 
表示特征點(diǎn)為中心的鄰域范圍。
計(jì)算如下：Harris特征的優(yōu)勢(shì)之一是速度快，雖然 Harris 算法相較于其他眾多基于灰度的角點(diǎn)提取算法具有明顯的優(yōu)勢(shì)，但它仍然存在一些不足: 在經(jīng)典的 Harris 角點(diǎn)檢測(cè)中，當(dāng)對(duì)角點(diǎn)的興趣值進(jìn)行非極大值抑制來(lái)確定局部極大值的時(shí)候，角點(diǎn)的提取效果幾乎完全由設(shè)定的閾值大小決定。而閾值的大小也與所提取的角點(diǎn)數(shù)量息息相關(guān)，一般情況下，閾值越大提取的角點(diǎn)越少，極易造成正確角點(diǎn)的丟失; 閾值越小提取的角點(diǎn)數(shù)越多，也會(huì)帶來(lái)很多偽角點(diǎn)。因此，在用 Harris 算法進(jìn)行角點(diǎn)檢測(cè)時(shí)，閾值這個(gè)經(jīng)驗(yàn)值的選取和設(shè)定對(duì)角點(diǎn)提取具有很大的影響。這部分參考https://blog.csdn.net/weixin_41695564/article/details/79962401。Fast特征：Fast特征的提出者Rosten等將Fast角點(diǎn)定義為：若某像素與其周圍鄰域內(nèi)足夠多的像素點(diǎn)相差較大，則該像素可能是角點(diǎn)。1, 一個(gè)以像素p為中心，半徑為3的圓上，有16個(gè)像素點(diǎn)（p1、p2、...、p16）。2、定義一個(gè)閾值。計(jì)算p1、p9與中心p的像素差，若它們絕對(duì)值都小于閾值，則p點(diǎn)不可能是特征點(diǎn)，直接pass掉；否則，當(dāng)做候選點(diǎn)，有待進(jìn)一步考察；3、若p是候選點(diǎn)，則計(jì)算p1、p9、p5、p13與中心p的像素差，若它們的絕對(duì)值有至少3個(gè)超過(guò)閾值，則當(dāng)做候選點(diǎn)，再進(jìn)行下一步考察；否則，直接pass掉；4、若p是候選點(diǎn)，則計(jì)算p1到p16這16個(gè)點(diǎn)與中心p的像素差，若它們有至少9個(gè)超過(guò)閾值，則是特征點(diǎn)；否則，直接pass掉。5、對(duì)圖像進(jìn)行非極大值抑制：計(jì)算特征點(diǎn)出的FAST得分值（即score值，也即s值），判斷以特征點(diǎn)p為中心的一個(gè)鄰域（如3x3或5x5）內(nèi)，計(jì)算若有多個(gè)特征點(diǎn)，則判斷每個(gè)特征點(diǎn)的s值（16個(gè)點(diǎn)與中心差值的絕對(duì)值總和），若p是鄰域所有特征點(diǎn)中響應(yīng)值最大的，則保留；否則，抑制。若鄰域內(nèi)只有一個(gè)特征點(diǎn)（角點(diǎn)），則保留。得分計(jì)算公式如下（公式中用V表示得分，t表示閾值）：該fast特征檢測(cè)方法以快著稱，清晰明了，在很多VINS中都采用這種檢測(cè)方式。以無(wú)人駕駛，無(wú)人機(jī)這種高動(dòng)態(tài)的場(chǎng)景來(lái)說(shuō)，以視覺SLAM為背景，fast + 光流的場(chǎng)景將會(huì)是一種主流方案。我們的研究（Bai, Xiwei, Weisong Wen, and Li-Ta Hsu. "Robust Visual-Inertial Integrated Navigation System Aided by Online Sensor Model Adaption for Autonomous Ground Vehicles in Urban Areas." (2020).）也發(fā)現(xiàn)，基于fast+光流的方式即使在晚上高動(dòng)態(tài)的場(chǎng)景下，也可以獲得相對(duì)不錯(cuò)的相對(duì)定位精度，全程沒有fail掉，但是整體精度依舊有待改善。
基于ORB這種高效的描述子的方式，在基于視覺地圖做重定位的場(chǎng)合，具有很好的優(yōu)勢(shì)，比如類似于VPS等場(chǎng)合。從全局上講，典型的VINS主要包括兩部分；即前端和后端。主要的VINS的誤差來(lái)源來(lái)自于一下幾部分。特征檢測(cè)的精度：由于后期的特征跟蹤需要檢測(cè)出前后屬于同一個(gè)特征的特征點(diǎn)，如果特征檢測(cè)的精度誤差有0.5個(gè)pixel，那么反應(yīng)到3D定位精度上，可能會(huì)是一個(gè)不小的誤差。特征跟蹤精度：在使用光流法跟蹤過(guò)程中，由于特征跟蹤錯(cuò)誤，導(dǎo)致計(jì)算重投影誤差出錯(cuò)，最終的優(yōu)化求解誤差增大。VINS狀態(tài)初始化精度：由于VINS的整個(gè)優(yōu)化問(wèn)題是一個(gè)極度非線性的問(wèn)題，因此一個(gè)好的初始化解是優(yōu)化求解達(dá)到最優(yōu)的關(guān)鍵?？偟膩?lái)說(shuō)，一個(gè)好的初始化解，是優(yōu)化達(dá)到最優(yōu)解的關(guān)鍵之一。勻速運(yùn)動(dòng)的自身車輛，導(dǎo)致視覺尺度不可觀：由于視覺的尺度需要基于IMU的觀測(cè)量來(lái)恢復(fù)，當(dāng)車輛處于勻速運(yùn)動(dòng)的時(shí)候，由于加速度為0，將會(huì)導(dǎo)致視覺尺度不可觀。高動(dòng)態(tài)環(huán)境下的動(dòng)態(tài)目標(biāo)：由于視覺重投影的殘差依賴于一個(gè)假設(shè)：即特征是靜止的。然而在高動(dòng)態(tài)環(huán)境下，動(dòng)態(tài)車輛上檢測(cè)的特征將會(huì)極大的影響精度。我們組近期的文章在解決這些問(wèn)題（Bai, Xiwei, Weisong Wen, and Li-Ta Hsu. "Robust Visual-Inertial Integrated Navigation System Aided by Online Sensor Model Adaption for Autonomous Ground Vehicles in Urban Areas." (2020).）參考文獻(xiàn)：
[1] https://www.cnblogs.com/wyuzl/p/7834159.html
[2]https://zhuanlan.zhihu.com/p/108298657
[3]https://blog.csdn.net/weixin_41695564/article/details/79962401
上述內(nèi)容，如有侵犯版權(quán)，請(qǐng)聯(lián)系作者，會(huì)自行刪文。
下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~
