<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          融合視頻目標(biāo)檢測與單目標(biāo)、多目標(biāo)跟蹤,港中文開源一體化視頻感知平臺 MMTracking

          共 2518字,需瀏覽 6分鐘

           ·

          2021-01-11 18:27


          點(diǎn)擊上方AI算法與圖像處理”,選擇加"星標(biāo)"或“置頂

          重磅干貨,第一時(shí)間送達(dá)

          來源:機(jī)器之心? 編輯:魔王

          香港中文大學(xué)多媒體實(shí)驗(yàn)室(MMLab)OpenMMLab 開源一體化視頻目標(biāo)感知平臺 MMTracking。

          新年伊始,香港中文大學(xué)多媒體實(shí)驗(yàn)室(MMLab)OpenMMLab 又有新動(dòng)作,發(fā)布了一款一體化視頻目標(biāo)感知平臺 MMTracking。該框架基于 PyTorch 寫成,支持單目標(biāo)跟蹤、多目標(biāo)跟蹤與視頻目標(biāo)檢測,目前已開源。

          GitHub 地址:https://github.com/open-mmlab/mmtracking

          MMTracking 效果展示。

          據(jù)介紹,MMTracking 具備以下主要特性:

          1. 首個(gè)開源一體化視頻目標(biāo)感知平臺

          對視頻內(nèi)的目標(biāo)進(jìn)行感知識別一直是學(xué)界、業(yè)界都非常關(guān)心的問題。這個(gè)問題在學(xué)界常被細(xì)分為不同的子問題,比如視頻目標(biāo)檢測、多目標(biāo)跟蹤與單目標(biāo)跟蹤。具體來說,

          • 視頻目標(biāo)檢測只需對視頻內(nèi)的每一幀進(jìn)行檢測,不要求對不同幀中的同一目標(biāo)進(jìn)行關(guān)聯(lián)。

          • 多目標(biāo)檢測在完成視頻目標(biāo)檢測的基礎(chǔ)上,更加側(cè)重于對視頻內(nèi)的同一目標(biāo)進(jìn)行關(guān)聯(lián)。

          • 單目標(biāo)跟蹤更加側(cè)重人機(jī)交互,算法需要在給定一個(gè)任意類別、任意形狀目標(biāo)的情況下,對其進(jìn)行持續(xù)跟蹤。


          近幾年來,雖然各個(gè)任務(wù)都涌現(xiàn)了許多優(yōu)秀的算法,但這些領(lǐng)域仍然缺少開源的代碼框架,給代碼復(fù)現(xiàn)、借鑒、公平對比帶來了很大困難。OpenMMLab 將這些任務(wù)融合到了同一框架下,希望能夠作為開源的一體化視頻目標(biāo)感知平臺,推動(dòng)不同子領(lǐng)域間的融合、互促與發(fā)展。

          2. OpenMMLab 內(nèi)部項(xiàng)目間的充分交互

          視頻目標(biāo)感知在大部分情況下可以認(rèn)為是 2D 目標(biāo)檢測的下游任務(wù),十分依賴各種 2D 目標(biāo)檢測算法。在此之前,如何使用或切換不同的 2D 目標(biāo)檢測器其實(shí)是一個(gè)很煩瑣耗時(shí)的任務(wù)。

          MMTracking 充分利用了 OpenMMLab 其他平臺的成果與優(yōu)勢,比如它 import 或繼承了 MMDetection 中的大部分模塊,極大地簡化了代碼框架。在這種模式下,通過 configs 可以直接使用 MMDetection 中的所有模型。以多目標(biāo)跟蹤舉例,每一個(gè)多目標(biāo)跟蹤模型多由以下幾個(gè)模塊組成:

          import torch.nn as nnfrom mmdet.models import build_detectorclass BaseMultiObjectTracker(nn.Module):def __init__(self,detector=None,reid=None,tracker=None,motion=None,pretrains=None):self.detector = build_detector(detector)...

          Configs 示例:

          model = dict(type='BaseMultiObjectTracker',detector=dict(type='FasterRCNN', **kwargs),reid=dict(type='BaseReID', **kwargs),motion=dict(type='KalmanFilter', **kwargs),tracker=dict(type='BaseTracker', **kwargs))

          現(xiàn)階段的 ReID 模型也繼承了 MMClassification 中的一些模塊并將在后期增加其他支持。

          受益于 OpenMMLab 的這種模塊化設(shè)計(jì),MMTracking 可以利用其他圖像級平臺的已有成果,從而只需要注重視頻部分模塊的設(shè)計(jì)與開發(fā)。同時(shí),如果用戶需要單獨(dú)訓(xùn)練一個(gè)目標(biāo)檢測器,該工具也支持直接使用 MMDetection 的 configs 進(jìn)行訓(xùn)練,只需要在 config 中添加一句 USE_MMDET=True 即可將模式切換到 MMDetection 下,進(jìn)行前序模型訓(xùn)練。

          3. 高效、強(qiáng)大的基準(zhǔn)模型

          視頻目標(biāo)感知領(lǐng)域中的不同方法往往各成一派,缺乏公認(rèn)的訓(xùn)練方法與準(zhǔn)則,因此在很多時(shí)候很難做到真正的公平對比。

          MMTracking v0.5 復(fù)現(xiàn)了各個(gè)領(lǐng)域的主流算法,包括:

          • 視頻目標(biāo)檢測:DFF、FGFA、SELSA

          • 多目標(biāo)跟蹤:SORT、DeepSORT、Tracktor

          • 單目標(biāo)跟蹤:SiameseRPN++


          據(jù) OpenMMLab 知乎文章介紹,MMTracking 在保證高效訓(xùn)練與推理的基礎(chǔ)上,有些模型甚至超出官方實(shí)現(xiàn),例如:

          • 對視頻目標(biāo)檢測算法 SELSA 的實(shí)現(xiàn)結(jié)果(第一行)相比于官方實(shí)現(xiàn)(第二行),在 ImageNet VID 數(shù)據(jù)集上 mAP@50 超出 1.25 個(gè)點(diǎn)。



          • 對多目標(biāo)跟蹤算法 Tracktor 的實(shí)現(xiàn)結(jié)果(第一行)相比于官方實(shí)現(xiàn)(第二行),在 MOT17 數(shù)據(jù)集上 MOTA 超出 4.9 個(gè)點(diǎn),IDF1 超出 3.3 個(gè)點(diǎn)。



          • 對單目標(biāo)跟蹤算法 SiameseRPN++ 的實(shí)現(xiàn)結(jié)果(第一行)相比于官方實(shí)現(xiàn)(第二行),在 LaSOT 數(shù)據(jù)集上的 Norm precision 超出 1.0 個(gè)點(diǎn)。



          OpenMMLab 知乎文章:https://zhuanlan.zhihu.com/p/341283833


          下載1:何愷明頂會(huì)分享


          AI算法與圖像處理」公眾號后臺回復(fù):何愷明,即可下載。總共有6份PDF,涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析


          下載2:終身受益的編程指南:Google編程風(fēng)格指南


          AI算法與圖像處理」公眾號后臺回復(fù):c++,即可下載。歷經(jīng)十年考驗(yàn),最權(quán)威的編程規(guī)范!



          下載3 CVPR2020

          AI算法與圖像處公眾號后臺回復(fù):CVPR2020即可下載1467篇CVPR?2020論文
          個(gè)人微信(如果沒有備注不拉群!
          請注明:地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱


          覺得不錯(cuò)就點(diǎn)亮在看吧

          瀏覽 24
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評論
          圖片
          表情
          推薦
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  欧美九九 | 色五月婷婷丁香综合 | 免费日本黄色网址 | 免费的色情视频电影 | 亚洲在一一线线电影 |