車輛、行人跟蹤一網(wǎng)打盡，超輕量、多類別、小目標(biāo)跟蹤系統(tǒng)開源了！

在琳瑯滿目的視覺應(yīng)用中，對(duì)車輛、行人、飛行器等快速移動(dòng)的物體進(jìn)行實(shí)時(shí)跟蹤及分析，可以說是突破安防、自動(dòng)駕駛、智慧城市等炙手可熱行業(yè)的利器~

但要實(shí)現(xiàn)又快又準(zhǔn)的持續(xù)跟蹤，往往面臨被檢目標(biāo)多、相互遮擋、圖像扭曲變形、背景雜亂、視角差異大、目標(biāo)小且運(yùn)動(dòng)速度快等產(chǎn)業(yè)難題。

視頻引用公開數(shù)據(jù)集[1][2][3][4]

那如何快速實(shí)現(xiàn)高性能的目標(biāo)跟蹤任務(wù), 并在移動(dòng)端實(shí)現(xiàn)部署上線呢？今天給大家介紹的不僅僅是單獨(dú)的智能視覺算法，而是一整套多功能多場(chǎng)景的跟蹤系統(tǒng)—PP-Tracking。

它融合了目標(biāo)檢測(cè)、行人重識(shí)別、軌跡融合等核心能力，并針對(duì)性的優(yōu)化和解決上述實(shí)際業(yè)務(wù)的痛點(diǎn)難點(diǎn)，提供行人車輛跟蹤、跨鏡頭跟蹤、多類別跟蹤、小目標(biāo)跟蹤及流量計(jì)數(shù)等能力與產(chǎn)業(yè)應(yīng)用，還支持可視化界面開發(fā)，讓你快速上手、迅速落地~

趕緊Star? 獲得所有算法源碼！習(xí)得目標(biāo)跟蹤“秘籍”吧~

??項(xiàng)目鏈接 ?

https://github.com/PaddlePaddle/paddledetection

想了解這套超強(qiáng)目標(biāo)跟蹤系統(tǒng)的詳細(xì)結(jié)構(gòu)、優(yōu)勢(shì)亮點(diǎn)及使用方法？且讓小編來帶大家來快速領(lǐng)略下~

PP-Tracking內(nèi)置DeepSORT[6]、JDE[7]與FairMOT[8]三種主流高精度多目標(biāo)跟蹤模型，并針對(duì)產(chǎn)業(yè)痛點(diǎn)、結(jié)合實(shí)際落地場(chǎng)景進(jìn)行一系列拓展和優(yōu)化，覆蓋多類別跟蹤、跨鏡跟蹤、流量統(tǒng)計(jì)等功能與應(yīng)用，可謂是精度、性能、功能豐富樣樣俱全~

• 單鏡頭跟蹤

單鏡頭下的單類別目標(biāo)跟蹤是指在單個(gè)鏡頭下，對(duì)于同一種類別的多個(gè)目標(biāo)進(jìn)行連續(xù)跟蹤，是跟蹤任務(wù)的基礎(chǔ)。針對(duì)該任務(wù)，PP-Tracking基于端到端的One Shot高精模型FairMOT[8]，替換為更輕量的骨干網(wǎng)絡(luò)HRNetV2-W18，采用多種Tricks，如Sync_BN與EMA，保持性能的同時(shí)大幅提高了精度，并且擴(kuò)大訓(xùn)練數(shù)據(jù)集，減小輸入尺寸，最終實(shí)現(xiàn)服務(wù)端輕量化模型在權(quán)威數(shù)據(jù)集MOT17上精度達(dá)到MOTA?65.3，在NVIDIA?Jetson?NX上速度達(dá)到23.3FPS，GPU上速度可達(dá)到60FPS！同時(shí)，針對(duì)對(duì)精度要求較高的場(chǎng)景，PP-Tracking還提供了精度高達(dá)MOTA75.3的高精版跟蹤模型~

視頻引用公開數(shù)據(jù)集[3]

• 多類別跟蹤

PP-Tracking不僅高性能地實(shí)現(xiàn)了單鏡頭下的單類別目標(biāo)跟蹤，更針對(duì)多種不同類別的目標(biāo)跟蹤場(chǎng)景，增強(qiáng)了特征匹配模塊以適配不同類別的跟蹤任務(wù)，實(shí)現(xiàn)跟蹤類別覆蓋人、自行車、小轎車、卡車、公交、三輪車等上十種目標(biāo)，精準(zhǔn)實(shí)現(xiàn)多種不同種類物體的同時(shí)跟蹤。

視頻引用公開數(shù)據(jù)集[2]

• 跨鏡頭跟蹤

安防場(chǎng)景常常會(huì)涉及在多個(gè)鏡頭下對(duì)于目標(biāo)物體的持續(xù)跟蹤。當(dāng)目標(biāo)從一個(gè)鏡頭切換到另一個(gè)鏡頭，往往會(huì)出現(xiàn)目標(biāo)跟丟的情況，這時(shí)，一個(gè)效果好速度快的跨鏡頭跟蹤算法就必不可少了！PP-Tracking中提供的跨鏡頭跟蹤能力基于DeepSORT[6]算法，采用了百度自研的輕量級(jí)模型PP-PicoDet和PP-LCNet分別作為檢測(cè)模型和ReID模型，配合軌跡融合算法，保持高性能的同時(shí)也兼顧了高準(zhǔn)確度，實(shí)現(xiàn)在多個(gè)鏡頭下緊跟目標(biāo)，無論鏡頭如何切換、場(chǎng)景如何變換，也能準(zhǔn)確跟蹤目標(biāo)的效果。

視頻引用公開數(shù)據(jù)集[2]

• 流量監(jiān)測(cè)

與此同時(shí)，針對(duì)智慧城市中的高頻場(chǎng)景—人/車流量監(jiān)測(cè)，PP-Tracking也提供了完整的解決方案，應(yīng)用服務(wù)器端輕量級(jí)版FairMOT[8]模型預(yù)測(cè)得到目標(biāo)軌跡與ID信息，實(shí)現(xiàn)動(dòng)態(tài)人流/車流的實(shí)時(shí)去重計(jì)數(shù)，并支持自定義流量統(tǒng)計(jì)時(shí)間間隔。

為了滿足不同業(yè)務(wù)場(chǎng)景下的需求，如商場(chǎng)進(jìn)出口人流監(jiān)測(cè)、高速路口車流量監(jiān)測(cè)等，PP-Tracking更是提供了出入口兩側(cè)流量統(tǒng)計(jì)方式~

視頻引用公開數(shù)據(jù)集[2]

• 行人、車輛跟蹤

智慧交通中，行人和車輛的場(chǎng)景尤為廣泛，因此PP-Tracking針對(duì)行人和車輛，提供對(duì)應(yīng)的預(yù)訓(xùn)練模型，大幅降低開發(fā)成本，節(jié)省訓(xùn)練時(shí)間和數(shù)據(jù)成本，實(shí)現(xiàn)業(yè)務(wù)場(chǎng)景直接推理，算法即應(yīng)用的效果！不僅如此，PP-Tracking支持顯示目標(biāo)軌跡，更直觀地輔助實(shí)現(xiàn)高效的路徑規(guī)劃分析。

視頻引用公開數(shù)據(jù)集[2]

• 人頭跟蹤

不僅如此，除了在日常跟蹤任務(wù)中擁有極強(qiáng)的通用性，針對(duì)實(shí)際業(yè)務(wù)中常常出現(xiàn)目標(biāo)遮擋嚴(yán)重等問題，PP-Tracking也進(jìn)行了一系列優(yōu)化，提供了基于FairMOT[8]訓(xùn)練的人頭跟蹤模型，并在Head Tracking 2021數(shù)據(jù)集榜單位居榜首，助力PP-Tracking靈活適配各類行人場(chǎng)景。

視頻引用公開數(shù)據(jù)集[5]

• 小目標(biāo)跟蹤

針對(duì)小目標(biāo)出現(xiàn)在大尺幅圖像中的產(chǎn)業(yè)常見難題場(chǎng)景，PP-Tracking進(jìn)行了一系列的優(yōu)化，提供專門針對(duì)小目標(biāo)跟蹤的預(yù)訓(xùn)練模型，實(shí)現(xiàn)在特殊場(chǎng)景，如無人機(jī)等航拍場(chǎng)景下，也能達(dá)到較為精準(zhǔn)的效果~

視頻引用公開數(shù)據(jù)集[2]

為了滿足不同的開發(fā)需求，PP-Tracking支持兩種使用方式，無論是想通過代碼調(diào)用/訓(xùn)練模型，進(jìn)行快速推理部署，還是想要零代碼直接上手使用功能，PP-Tracking通通滿足你！

• API代碼調(diào)用：API簡(jiǎn)潔易用，支持模型調(diào)用、訓(xùn)練與推理部署，最大程度降低開發(fā)成本的前提下，靈活適配各類場(chǎng)景與任務(wù)。

• 可視化開發(fā)界面：支持單鏡頭下的單、多目標(biāo)跟蹤，并覆蓋小目標(biāo)、人/車流量統(tǒng)計(jì)等復(fù)雜場(chǎng)景及應(yīng)用，無需任何開發(fā)，即可直接體驗(yàn)功能，便于集成于各類硬件。

更貼心的是，PP-Tracking支持Python、C++兩種部署語言，同時(shí)提供使用飛槳原生推理庫Paddle?Inference和飛槳服務(wù)化推理框架Paddle?Serving的保姆級(jí)部署教程，真正意義上打通從訓(xùn)練、推理到部署的全流程。

這么厲害的實(shí)時(shí)跟蹤系統(tǒng)在實(shí)際落地中的表現(xiàn)如何呢？接下來，讓我們看看PP-Tracking的實(shí)際業(yè)務(wù)落地效果吧~

以人流量計(jì)數(shù)為例，在上海音智達(dá)公司的實(shí)際業(yè)務(wù)中，使用PP-Tracking中的服務(wù)端輕量化版FairMOT[8]，結(jié)合人流量計(jì)數(shù)功能，快速實(shí)現(xiàn)商圈出入口的實(shí)時(shí)人流量去重計(jì)數(shù)。

視頻引用公開數(shù)據(jù)集[3]

被應(yīng)用于自動(dòng)駕駛、安防、交通、城市等多種領(lǐng)域的目標(biāo)跟蹤你學(xué)會(huì)了么？想要深入了解案例細(xì)節(jié)？掌握跟蹤的應(yīng)用？快報(bào)名直播課程吧！

為了讓開發(fā)者們更深入的了解PP-Tracking這套多功能的跟蹤系統(tǒng)，解決產(chǎn)業(yè)應(yīng)用難點(diǎn)以及掌握產(chǎn)業(yè)實(shí)踐的核心能力，飛槳團(tuán)隊(duì)精心準(zhǔn)備了為期四天的直播課程！

11月23日-26日19:00-20:00，百度資深高工將深入解讀通用目標(biāo)檢測(cè)的基礎(chǔ)理論與實(shí)踐、超輕人體關(guān)鍵點(diǎn)模型的理論及應(yīng)用，并全方位解析實(shí)時(shí)跟蹤系統(tǒng)，對(duì)各類痛難點(diǎn)解決方案進(jìn)行手把手拆解，更有直播現(xiàn)場(chǎng)為大家答疑解惑，還在等什么！抓緊掃碼上車吧！

掃碼報(bào)名直播課，加入技術(shù)交流群

精彩內(nèi)容搶先看

圖片數(shù)據(jù)引用說明

[1] Yu F, Chen H, Wang X, et al. Bdd100k: A diverse driving dataset for heterogeneous multitask learning[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 2636-2645.

[2] Zhu P, Wen L, Du D, et al. Vision meets drones: Past, present and future[J]. arXiv preprint arXiv:2001.06303, 2020.

[3] Milan A, Leal-Taixé L, Reid I, et al. MOT16: A benchmark for multi-object tracking[J]. arXiv preprint arXiv:1603.00831, 2016.

[4] Bai H, Cheng W, Chu P, et al. GMOT-40: A Benchmark for Generic Multiple Object Tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 6719-6728.

[5] Sundararaman R, De Almeida Braga C, Marchand E, et al. Tracking Pedestrian Heads in Dense Crowd[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 3865-3875.

模型引用說明

[6] DeepSORT: Veeramani B, Raymond J W, Chanda P. DeepSort: deep convolutional networks for sorting haploid maize seeds[J]. BMC bioinformatics, 2018, 19(9): 1-9.

[7] JDE: Wang Z, Zheng L, Liu Y, et al. Towards real-time multi-object tracking[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XI 16. Springer International Publishing, 2020: 107-122.

[8] FairMOT: Zhang Y, Wang C, Wang X, et al. Fairmot: On the fairness of detection and re-identification in multiple object tracking[J]. International Journal of Computer Vision, 2021: 1-19.