Facebook AI Research首次開源ICCV冠軍模型!視頻識(shí)別與行為檢測(cè)...
【新智元導(dǎo)讀】視頻理解領(lǐng)域必不可少的利器之一最新出爐！Facebook AI Research隆重推出視頻理解代碼庫(kù)PySlowFast，可幫助使用者在視頻識(shí)別、行為檢測(cè)等任務(wù)中輕易復(fù)現(xiàn)基線模型和諸多SOTA的算法。Facebook還首次開源了其在CVPR 2019行為檢測(cè)挑戰(zhàn)賽上的冠軍模型。戳右邊鏈接上?新智元小程序?了解更多！
項(xiàng)目地址：https://github.com/facebookresearch/SlowFast視頻理解是如今相當(dāng)流行的研究方向，但不同于圖像相關(guān)的研究，視頻理解中龐大的數(shù)據(jù)集和巨大的模型，讓很多視頻研究難以開展。想要復(fù)現(xiàn)一個(gè)STOA的模型，更是可能耗時(shí)數(shù)周甚至數(shù)月。Facebook AI 研究院近些年在視頻理解領(lǐng)貢獻(xiàn)了許多有趣的研究工作，如今其團(tuán)隊(duì)更是在ICCV研討會(huì)上開源了其全新的基于PyTorch的視頻理解代碼庫(kù)：PySlowFast。
Facebook AI 研究院如今開源了其視頻理解代碼庫(kù)，可輕松復(fù)現(xiàn)各類基線模型和SOTA算法，同時(shí)一并提供了各類的SOTA預(yù)訓(xùn)練模型，讓使用者輕松的基于前沿算法開展研究和工作，免去了冗長(zhǎng)的造輪子和結(jié)果復(fù)現(xiàn)，同時(shí)給予了復(fù)現(xiàn)性能上的保證。值得一提的是，PySlowFast一并首次開源了其在CVPR 2019行為檢測(cè)挑戰(zhàn)賽上的冠軍模型：
CVPR2019行為檢測(cè)挑戰(zhàn)賽上的冠軍模型
PySlowFast不但可以提供視頻理解的基線（baseline）模型，還能提供當(dāng)今前沿的視頻理解算法復(fù)現(xiàn)。其算法不單單囊括視頻識(shí)別（video classification），同時(shí)也包括行為檢測(cè)（Action Classification）算法。與當(dāng)今開源社區(qū)中各種視頻識(shí)別庫(kù)復(fù)現(xiàn)出參差不齊的性能相比，使用PySlowFast可輕而易舉的復(fù)現(xiàn)出當(dāng)今前沿的模型。
在其教程中，我們可以看出，PySlowFast仔細(xì)的處理了眾多視頻識(shí)別和行為檢測(cè)的細(xì)節(jié)，包含Decoding，Interpolation，BatchNorm，Network Architecture，Multi-View Ensemble等等諸多問(wèn)題，保證其模型的準(zhǔn)確性和代碼的可復(fù)現(xiàn)性。（更多細(xì)節(jié)可參考其ICCV教程ppt）。
與此同時(shí)，PySlowFast遵從了眾多深度學(xué)習(xí)研究中的設(shè)計(jì)，使代碼庫(kù)更便于使用（easy tohack）。
筆者參考了github上各類開源項(xiàng)目對(duì)同一模型的復(fù)現(xiàn)結(jié)果，發(fā)現(xiàn)不同項(xiàng)目的復(fù)現(xiàn)性能往往有很大的區(qū)別，而PySlowFast始終可以復(fù)現(xiàn)出STOA的高性能結(jié)果：
視頻識(shí)別（Kinetics）
PySlowFast不單單可以用于視頻分類，同時(shí)也可用于視頻理解，并提供贏得了2019年CVPR ActivityNet Challenge Winner的視頻檢測(cè)模型。
http://static.googleusercontent.com/media/research.google.com/en//ava/2019/fair_slowfast.pdf
行為檢測(cè)（AVA）
ImageNet預(yù)訓(xùn)練（Inflation）
PySlowFast在視頻識(shí)別，行為檢測(cè)等任務(wù)上的性能表現(xiàn)（節(jié)選自https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md)
ICCV研討會(huì)開源之后，PySlowFast就一度蟬聯(lián)GitHub趨勢(shì)榜的前十，讓我們一探究竟，看看可以如何使用PySlowFast：
通過(guò)簡(jiǎn)單的環(huán)境配置后便可以使用PySlowFast：
我們下載了作者提供的預(yù)訓(xùn)練模型，并對(duì)其進(jìn)行了測(cè)試：
?
我們可輕易得到28.2的STOA的AVA結(jié)果：
PySlowFast團(tuán)隊(duì)更表示，此工作旨在推動(dòng)視頻理解領(lǐng)域的研究工作，同時(shí)將實(shí)時(shí)添加其前沿工作至其代碼庫(kù)。ICCV2019 Tutorial 有一份教程137頁(yè)ppt，詳細(xì)介紹了PySlowFast使用方法。
本文經(jīng)授權(quán)轉(zhuǎn)載自公眾號(hào)：專知
參考資料：
https://alexander-kirillov.github.io/tutorials/visual-recognition-iccv19/?
https://ai.facebook.com/blog/slowfast-video-recognition-through-dual-frame-rate-analysis
https://alexander-kirillov.github.io/tutorials/visual-recognition-iccv19
https://github.com/facebookresearch/SlowFast
