百度開源的這個項目,太強了!

行人檢測跟蹤計數(shù)、人員行為分析、人員屬性分析、人員操作及穿戴合規(guī)監(jiān)測等場景化能力在工業(yè)、安防、金融、能源等行業(yè)有著極其廣泛的應(yīng)用需求。以深度學(xué)習(xí)視覺技術(shù)為核心的行人分析能力,則是以上任務(wù)的核心關(guān)鍵,也是近十年人工智能科技公司不斷發(fā)力深耕的賽道。
飛槳目標(biāo)檢測開發(fā)套件 PaddleDetection 中提供的?PP-Human?就是一套綜合了目標(biāo)檢測、跟蹤、關(guān)鍵點檢測等核心能力的產(chǎn)業(yè)級開源實時行人分析工具。它基于企業(yè)真實場景數(shù)據(jù)打磨優(yōu)化,擁有人體屬性識別、行為識別與流量計數(shù)三大能力,兼容單張圖片、單路或多路視頻 3 種輸入類型,還可適應(yīng)不同光線、復(fù)雜背景及跨鏡頭場景!

不僅如此,PP-Human 還直接提供目標(biāo)檢測、屬性分析、關(guān)鍵點檢測、行為識別、ReID?預(yù)訓(xùn)練模型,方便開發(fā)者靈活取用及更改。
?PP-Human 項目傳送門?


PP-Human 功能總覽

PP-Human 采用 pipeline 的方式串聯(lián)輸入、子模塊的預(yù)測與后處理部分。輸入部分支持單張圖片,圖片文件夾,單鏡頭視頻和多鏡頭視頻,通過命令行輸入不同參數(shù)即可實現(xiàn)對應(yīng)功能。
輸入為圖片:覆蓋目標(biāo)檢測與屬性識別功能
輸入為單路視頻:覆蓋多目標(biāo)跟蹤、軌跡繪制與流量計數(shù)、屬性識別、行為識別功能
輸入為多路視頻:覆蓋跨鏡跟蹤功能

基礎(chǔ)能力剖析
單鏡頭跟蹤:PP-Human 中的單鏡頭跟蹤能力則是采用 SDE 方案,其數(shù)據(jù)標(biāo)注和訓(xùn)練調(diào)優(yōu)都更加靈活便捷,且對數(shù)據(jù)類型不敏感,擁有更強泛化性,具備高靈活度與產(chǎn)業(yè)易用兩大特性:

同時,為了彌補 SDE 方案的性能弱勢,PP-Human 在跟蹤技術(shù)選型和優(yōu)化上做了一下 3 種改進:
采用超高精度檢測器:SDE 模型的效果強依賴檢測器的精度,因此檢測部分選擇了相較 YOLOX 精度提升 1.3%、速度提升 25% 的 PP-YOLOE
選擇全新數(shù)據(jù)關(guān)聯(lián)方式 ByteTrack:與傳統(tǒng)方式不同,ByteTrack 不再丟棄物體被遮擋時的低分檢測框,而是利用低分檢測框與軌跡的相似性,降低漏檢并提高軌跡連貫性,進而有效緩解人像重疊帶來的跟丟、軌跡碎片化的問題。同時高效的檢測模型和數(shù)據(jù)關(guān)聯(lián)策略能夠使得目標(biāo)不需要使用 ReID 模型提取外觀特征,從而進一步提升跟蹤性能
優(yōu)化預(yù)處理效率:將圖像歸一化操作合并于模型中執(zhí)行,實現(xiàn)部署加速,提升整體性能
ReID:使用 Centroid-ReID 模型,整合多個開源數(shù)據(jù)集進行訓(xùn)練,提供了一款性能遠優(yōu)于其他開源模型的可應(yīng)用模型。特征匹配使用多投票的方式,利用相同 ID 的多個目標(biāo)特征的組合,來提高最終匹配效果,實現(xiàn)效率遠高于 Rerank 方法。另外,其匹配方法與 ReID 模型獨立,使用者可靈活更換任意 ReID 模型 特征質(zhì)量選擇:跨鏡頭跟蹤中,ReID 的匹配效果并不完全等同于實際的跟蹤效果,其匹配效果還受到目標(biāo)遮擋、完整度、模糊度等各種環(huán)境影響,這個過程中過濾低質(zhì)量圖片,保留高質(zhì)量圖片,能夠進一步提升跨鏡跟蹤效果。

應(yīng)用功能詳解:高精度 26 種人體屬性分析
PP-Human 中人體屬性分析覆蓋性別、年齡、朝向、穿著等 26 種屬性,其原理是將人體檢測框輸入多標(biāo)簽分類網(wǎng)絡(luò) StrongBaseline 進行屬性的識別與分類。基于 PETA,RAP,PA-100K 與企業(yè)真實場景數(shù)據(jù)的融合數(shù)據(jù)集進行訓(xùn)練,最終實現(xiàn)?mAP 94.86、預(yù)測速度 2ms / 人的卓越性能。


應(yīng)用功能詳解:泛化性強的毫秒級行為識別
魯棒性強:對光照、視角、背景環(huán)境無限制
性能高:與視頻識別技術(shù)相比,模型計算量大幅降低,支持本地化與服務(wù)化快速部署
訓(xùn)練速度快:僅需 15 分鐘即可產(chǎn)出高精度行為識別模型
其中,由于整體效果依賴關(guān)鍵點檢測,因此 PP-Human 選用精度更高的 HRNet 模型,并加入了 DarkPose 中的無偏 encoding 方法,在模型速度不損失的同時提升精度,骨骼點系列識別選擇的則是經(jīng)典模型 ST-GCN,并加入數(shù)據(jù)增強、關(guān)鍵點歸一化等優(yōu)化策略,實現(xiàn)在業(yè)務(wù)數(shù)據(jù)集上單人耗時 2.7ms,準(zhǔn)確率達到 96.83%?的效果!

上海天覆科技辦公區(qū)摔倒檢測

應(yīng)用功能詳解:一行代碼即可實現(xiàn)人流檢測

看了這么多功能介紹,想要第一時間上手試試?PP-Human 提供了完整項目教程,數(shù)行代碼即可快速上手,記得?Star?收藏訂閱最新動態(tài)哦!
https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.4/deploy/pphuman
為了讓開發(fā)者們更深入的了解 PP-Human 這套多功能的行人分析系統(tǒng),解決產(chǎn)業(yè)應(yīng)用難點以及掌握產(chǎn)業(yè)實踐的核心能力,飛槳團隊精心準(zhǔn)備了為期三天的直播課程!

4 月 19 日 - 21 日百度資深工程師們將在直播現(xiàn)場對各類痛難點解決方案進行手把手拆解,其中?4 月 20、21 日每晚 20:30?會對 PP-Human 的原理進行詳細剖析,并帶領(lǐng)大家進行產(chǎn)業(yè)案例全流程實操,更有現(xiàn)場答疑環(huán)節(jié),還在等什么!抓緊掃碼上車吧!



