點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

目標(biāo)跟蹤就是在連續(xù)的數(shù)據(jù)序列中，建立所需要跟蹤目標(biāo)的位置關(guān)系，得到目標(biāo)完整的運(yùn)動(dòng)軌跡。通常是給定上一幀的目標(biāo)位置特征，在下一幀中對該目標(biāo)的位置以及邊界框的尺寸大小進(jìn)行預(yù)測。

目標(biāo)跟蹤的常用算法有很多，從傳統(tǒng)的濾波算法到深度學(xué)習(xí)的網(wǎng)絡(luò)預(yù)測，可以分為兩大類：

• 生成式模型：建立目標(biāo)模型或者提取目標(biāo)特征，利用外觀表征在后續(xù)幀中進(jìn)行相似性搜索，最小化跟蹤目標(biāo)和候選目標(biāo)之間的誤差進(jìn)行定位。
  

• 判別式模型：通過對比目標(biāo)模型和背景信息的差異，將目標(biāo)模型提取出來，從而得到當(dāng)前幀中的目標(biāo)位置。

傳統(tǒng)的跟蹤算法大多屬于生成式模型，而深度學(xué)習(xí)的算法大多屬于判別式模型，幾種經(jīng)典的算法如下：

基于均值漂移的跟蹤：均值漂移是基于概率密度分布，使目標(biāo)的搜索一直沿著概率梯度上升的方向，迭代收斂到概率分布的峰值上。

基于卡爾曼濾波的跟蹤：通過檢測或者其他方式得到目標(biāo)的觀測位置，并根據(jù)運(yùn)動(dòng)方程從上一時(shí)刻的位置信息預(yù)測當(dāng)前時(shí)刻的位置信息，將觀測結(jié)果和預(yù)測結(jié)果進(jìn)行加權(quán)平均得到最終的目標(biāo)位置信息。

基于粒子濾波的跟蹤：對目標(biāo)基于粒子分布進(jìn)行建模，定義一種相似度度量來確定與目標(biāo)之間的匹配程度。然后按照高斯分布撒粒子，統(tǒng)計(jì)其相似度來確定目標(biāo)可能的位置信息。

基于核相關(guān)濾波的跟蹤：通過設(shè)計(jì)一個(gè)濾波模板，利用該模板與目標(biāo)候選區(qū)域做相關(guān)運(yùn)算，最大輸出響應(yīng)的位置即為當(dāng)前幀的位置信息。

基于深度學(xué)習(xí)的跟蹤：利用卷積神經(jīng)網(wǎng)絡(luò)將目標(biāo)從背景中提取出來，利用其對目標(biāo)強(qiáng)大的特征抽象能力以及對目標(biāo)運(yùn)動(dòng)過程的擬合能力實(shí)現(xiàn)跟蹤任務(wù)。

均值漂移和卡爾曼濾波算法實(shí)現(xiàn)簡單，但是參數(shù)調(diào)節(jié)麻煩，魯棒性一般；相關(guān)濾波類算法跟蹤速度較快，深度學(xué)習(xí)類方法精度較高，但是對硬件資源有一定要求。根據(jù)不同的需要選擇最適合的濾波算法是工程中的關(guān)鍵。下面介紹幾種常見的濾波算法：

卡爾曼濾波根據(jù)系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸出作為觀測方程來修正估計(jì)值，實(shí)現(xiàn)系統(tǒng)狀態(tài)的最優(yōu)估計(jì)。

其中涉及兩個(gè)方程：狀態(tài)方程和觀測方程

狀態(tài)方程是根據(jù)上一時(shí)刻的狀態(tài)和控制變量以及過程噪聲來估計(jì)當(dāng)前時(shí)刻的狀態(tài)，如下式：

qk是滿足高斯分布的過程噪聲，期望是0，方差是Qk。

觀測方程是由當(dāng)前時(shí)刻的估計(jì)值和測量噪聲得到當(dāng)前時(shí)刻的觀測值。如下式：

rk是滿足高斯分布的測量噪聲，期望是0，方差是Rk。

卡爾曼濾波可以分為兩個(gè)部分：

預(yù)測階段根據(jù)上一時(shí)刻的后驗(yàn)估計(jì)值來估計(jì)當(dāng)前時(shí)刻的狀態(tài)，得到當(dāng)前時(shí)刻的先驗(yàn)估計(jì)值；

校正階段使用當(dāng)前時(shí)刻的測量值來更新預(yù)測階段估計(jì)值，得到當(dāng)前時(shí)刻的后驗(yàn)估計(jì)值。

其中先驗(yàn)估計(jì)是根據(jù)系統(tǒng)過程原理或者經(jīng)驗(yàn)得到的估計(jì)值，實(shí)際應(yīng)用中可以通過傳感器數(shù)據(jù)去預(yù)測下一時(shí)刻的數(shù)據(jù)。后驗(yàn)估計(jì)是結(jié)合之前的先驗(yàn)狀態(tài)估計(jì)值，再加權(quán)測量值得到一個(gè)理論上最接近真實(shí)值的結(jié)果。

卡爾曼濾波僅適用于線性系統(tǒng)，并且系統(tǒng)的過程噪聲和測量噪聲均為高斯白噪聲。然后現(xiàn)實(shí)場景中一般系統(tǒng)狀態(tài)變量的差分方程都是非線性的。

擴(kuò)展卡爾曼濾波可以將非線性系統(tǒng)在其參考點(diǎn)上做泰勒級(jí)數(shù)展開，取其一階線性部分作為該非線性模型的逼近，從而得到非線性系統(tǒng)在當(dāng)前時(shí)刻的線性化描述。所以它的狀態(tài)方程和觀測方程如下：

狀態(tài)方程：

觀測方程：

當(dāng)我們將非線性系統(tǒng)線性化后，擴(kuò)展卡爾曼濾波后面的原理和推導(dǎo)流程就和卡爾曼濾波一樣了。

擴(kuò)展卡爾曼濾波利用線性化來近似非線性函數(shù)，但是如果在近似點(diǎn)非線性程度越高、概率分布本身越不確定，得到的近似結(jié)果就會(huì)越差，通俗點(diǎn)說就是泰勒展開式中被忽略的高階項(xiàng)帶來的誤差有可能是濾波發(fā)散。

無跡卡爾曼濾波通過無損變換來近似一個(gè)高斯分布，通過使用加權(quán)統(tǒng)計(jì)線性回歸過程來實(shí)現(xiàn)隨機(jī)線性化。

它通過含有均值和協(xié)方差的確定的Sigma點(diǎn)來近似概率分布，通過系統(tǒng)的非線性模型生成更多的Sigma 點(diǎn)，經(jīng)過選擇合適的權(quán)值估計(jì)均值和協(xié)方差，避免了求解雅克比矩陣。相比EKF，它沒有丟棄高階項(xiàng)所有具有更高的估計(jì)精度，滿足了具有各種特殊要求的非線性濾波和控制方面的應(yīng)用。

所以無跡卡爾曼濾波是對非線性系統(tǒng)的概率密度分布進(jìn)行逼近，而不是對非線性系統(tǒng)函數(shù)進(jìn)行逼近。但是無跡卡爾曼濾波采用抽樣近似的方法，計(jì)算量較大；相比于擴(kuò)展卡爾曼濾波，只有在方差很大的情況下效果才明顯。

由于運(yùn)動(dòng)的場景比較復(fù)雜并且障礙物形狀經(jīng)常發(fā)生變化，如何跟蹤一個(gè)不斷變化的目標(biāo)是跟蹤任務(wù)的一大挑戰(zhàn)。

基于點(diǎn)云的目標(biāo)跟蹤存在的難點(diǎn)如下：

物體遮擋：不管是圖像數(shù)據(jù)還是點(diǎn)云數(shù)據(jù)都會(huì)存在物體被遮擋的問題，如下圖所示，右下方的車輛被遮擋后導(dǎo)致點(diǎn)云數(shù)據(jù)被截?cái)啵M(jìn)而特征分布發(fā)生了變化。檢測輸出的外接框形狀會(huì)出現(xiàn)變化導(dǎo)致跟蹤拿不到穩(wěn)定的觀測值。

物體形變：由于激光點(diǎn)云近密遠(yuǎn)疏的采樣特性，同一個(gè)物體在不同的位置反射回來的點(diǎn)云特征會(huì)出現(xiàn)很大的變化，而物體表征模型的變化會(huì)造成檢測和跟蹤難以適應(yīng)，如下圖所示：一輛車從后方開到前方時(shí)，外觀表征的不同。

背景干擾：如果運(yùn)動(dòng)目標(biāo)比較靠近場景中的靜態(tài)障礙物，采用傳統(tǒng)聚類算法得到的檢測目標(biāo)很可能外觀表征會(huì)被放大，出現(xiàn)如下圖所示的問題，紅路燈處路邊的騎車人和灌木點(diǎn)集靠的太近被聚類在一起，當(dāng)騎車人運(yùn)動(dòng)時(shí)又被分開，造成跟蹤目標(biāo)的表征出現(xiàn)變化。

其實(shí)在實(shí)際應(yīng)用中會(huì)出現(xiàn)很多特殊場景導(dǎo)致動(dòng)態(tài)障礙物的點(diǎn)云分布產(chǎn)生變化，嚴(yán)重影響跟蹤效果。追根溯源點(diǎn)云目標(biāo)跟蹤的好壞和兩點(diǎn)有關(guān)：

1. 目標(biāo)檢測的穩(wěn)定性；

2. 選擇穩(wěn)定的觀測值做數(shù)據(jù)關(guān)聯(lián)；

根據(jù)點(diǎn)云檢測的結(jié)果有很多目標(biāo)屬性可以作為觀測值，比如目標(biāo)的中心點(diǎn)，重心點(diǎn)，長寬高，橫縱向速度等等。選擇不同位置的點(diǎn)對跟蹤的穩(wěn)定性是有影響的，車輛尾部中心坐標(biāo)一般就優(yōu)于3D框的中心點(diǎn)。而且對于低速小車，KF/EKF的效果已然能夠滿足功能需求。

好消息，小白學(xué)視覺團(tuán)隊(duì)的知識(shí)星球開通啦，為了感謝大家的支持與厚愛，團(tuán)隊(duì)決定將價(jià)值149元的知識(shí)星球現(xiàn)時(shí)免費(fèi)加入。各位小伙伴們要抓住機(jī)會(huì)哦！

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會(huì)逐漸細(xì)分），請掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會(huì)請出群，謝謝理解~