【CV】帶你入門多目標跟蹤（一）領域概述
1. 簡介
多目標跟蹤，即MOT（Multi-Object Tracking），顧名思義，就是在一段視頻中同時跟蹤多個目標。MOT主要應用場景是安防監(jiān)控和自動駕駛等，這些場景中我們往往需要對眾多目標同時進行追蹤。這是僅用目標檢測算法或單目標跟蹤算法都無法做到的，人們就自然就開始了對多目標跟蹤算法的。
而由于是多目標，自然就會產生新目標進入與舊目標消失的問題，這就是與單目標跟蹤算法區(qū)別最大的一點。而由于這一點區(qū)別，也就導致跟蹤策略的不同。在單目標跟蹤中，我們往往會使用給定的初始框，在后續(xù)視頻幀中對初始框內的物體進行位置預測。而多目標跟蹤算法，大部分都是不考慮初始框的，原因就是上面的目標消失與產生問題。取而代之，在多目標跟蹤領域常用的跟蹤策略是TBD（Tracking-by-Detecton），又或者也可叫DBT（Detection-Based-Tracking）。即在每一幀進行目標檢測，再利用目標檢測的結果來進行目標跟蹤，這一步我們一般稱之為數(shù)據(jù)關聯(lián)（Data Assoiation）。
這里自然引出了多目標跟蹤算法的一種分類：TBD（Tracking-by-Detecton）與DFT（Detection-Free Tracking），也即基于檢測的多目標跟蹤與基于初始框無需檢測器的多目標跟蹤。TBD則是目前學界業(yè)界研究的主流。下圖比較形象地說明了兩類算法的區(qū)別。
不得不提的是另一種多目標跟蹤算法的分類方式：在線跟蹤（Online）與離線跟蹤（Offline）。上文提到，大家往往會使用數(shù)據(jù)關聯(lián)來進行多目標跟蹤。而數(shù)據(jù)關聯(lián)的效果，與你能使用的數(shù)據(jù)是有著直接的關系的。在Online跟蹤中，我們只能使用當前幀及之前幀的信息來進行當前幀的跟蹤。而在Offline跟蹤中則沒有了這個限制，我們對每一幀的預測，都可以使用整個視頻的信息，這樣更容易獲得一個全局最優(yōu)解。兩種方式各有優(yōu)劣，一般視應用場合而定，Offline算法的效果一般會優(yōu)于Online算法。而介于這兩者之間，還有一種稱之為Near-Online的跟蹤方式，即可以部分利用未來幀的信息。筆者認為，在實際應用中Near-Online的方式會是最合適的，其相關方法十分值得研究。下圖形象解釋了Online與Offline跟蹤的區(qū)別。
關于Online，還有一點需要補充，Online跟蹤是不允許修改以往的跟蹤結果的，這一點也不難理解，因為一旦修改，算法自然就不再符合Online跟蹤不能利用未來幀的要求了，變成了NearOnline或者Offline。
2. 一些術語
看論文時經常會碰到一些術語，初入門的小伙伴可能會云里霧里似懂非懂。有必要在這里列出來。
Trajectory（軌跡）：一條軌跡對應這一個目標在一個時間段內的位置序列
Tracklet（軌跡段）：形成Trajectory過程中的軌跡片段。完整的Trajectory是由屬于同一物理目標的Tracklets構成的。
ID switch（ID切換）：又稱ID sw.。對于同一個目標，由于跟蹤算法誤判，導致其ID發(fā)生切換的次數(shù)稱為ID sw.。跟蹤算法中理想的ID switch應該為0。
3. 評價指標
對于多目標跟蹤，最主要的評價指標就是MOTA。這個指標綜合了三點因素：FP、FN、IDsw.。FP即False Postive，為誤檢測的目標數(shù)量；FN即False Negetive，為未檢出的真實目標數(shù)量；IDsw.即同一目標發(fā)生ID切換的次數(shù)。
MOTA越高，代表一個Tracker綜合性能越好，上限為100，下限負無窮。
除此之外，多目標跟蹤還有很多的評價指標，比如MOTP、IDF1、MT、ML、Frag等。作為入門，讀者最需要關注的就是MOTA，其他指標可以等對MOT有了進一步了解后再關注。
下表為MOTchallenge官網(wǎng)的Evaluation Measures，有興趣的讀者可以一看。
MOTchallenge：motchallenge.net/result
本系列的第一篇文章希望能帶大家對MOT有一個直觀的了解。暫未涉及任何具體算法，只是介紹了多目標跟蹤的任務，一些術語和評價指標。希望大家有什么問題可以在下面評論，歡迎交流討論。碼字倉促，文中若有錯誤還請大家不吝指教，多多包涵。
參考文獻
[1]Luo, W., Xing, J., Milan, A., Zhang, X., Liu, W., Zhao, X., & Kim, T.-K. (2014). Multiple Object Tracking: A Literature Review, 1–18. Retrieved from?Multiple Object Tracking: A Literature Review
往期精彩回顧
獲取本站知識星球優(yōu)惠券，復制鏈接直接打開：
https://t.zsxq.com/qFiUFMV
本站qq群704220115。
加入微信群請掃碼：