<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          數(shù)行代碼訓(xùn)練視頻模型,PyTorch視頻理解利器出爐

          共 2576字,需瀏覽 6分鐘

           ·

          2021-07-14 19:36


          來源:機(jī)器之心

          Facebook人工智能實驗室在 PySlowFast 之后時隔兩年,攜 PyTorchVideo 重入戰(zhàn)場。

          視頻作為當(dāng)今最被廣為使用的媒體形式,已逐漸占超過文字和圖片,據(jù)了人們更多的瀏覽時間。這使得視頻理解變得尤為重要。各大互聯(lián)網(wǎng)公司與頂尖高校紛紛絞盡腦汁,競相研究前沿視頻理解模型與算法。在谷歌,F(xiàn)acebook,亞麻,Open-MM Lab 等分別祭出各家殺器之后,F(xiàn)acebook人工智能實驗室在 PySlowFast 之后時隔兩年,攜 PyTorchVideo 重入戰(zhàn)場。


          官方網(wǎng)站:https://pytorchvideo.org/

          PyTorchVideo 好像哪兒都能用

          不同于在座的各位視頻代碼理解框架只醉心于自家框架,無法移步與其他代碼庫。PyTorchVideo 似乎如同 torchvision 等基礎(chǔ)代碼庫一般,“哪兒都能用”!PyTorchVideo 不但可以用在視頻理解任務(wù)中,甚至可以用在其他任務(wù)的代碼庫。Facebook人工實驗室不但 PySlowFast 代碼庫上無縫使用上了 PyTorchVideo,并且還在 Classy Vision,PyTorch Lightening 等等框架上無縫插入。

          作為含著金鑰匙出生的 PyTorchVideo,其直接成為了 PyTorch Lightning-Flash 的視頻理解擔(dān)當(dāng),作為基礎(chǔ)庫被默認(rèn)使用。如,在 FiftyOne 項目中,開源社區(qū)的吃瓜群眾就利 Lightning-Flash 鬼畜出了一個瀏覽視頻的工具箱,可以直接查看視頻的動作類別。


          PyTorchVideo 好像啥都管

          更厲害的是,PyTorchVideo 似乎“啥都管”!不但在視頻分類,動作檢測等任務(wù)中深耕前沿,還“略懂”Lecun 最愛的自監(jiān)督學(xué)習(xí),甚至音頻事件檢測等等千奇百怪的任務(wù)也不在話下。


          PyTorchVideo 好像手機(jī)也能玩

          更喪心病狂的是,PyTorchVideo 一并開源了移動端的加速優(yōu)化。不但提供了手把手的教程,將視頻模型一步步優(yōu)化核心 Kernel,量化(quantilize)加速,數(shù)倍加速后在移動端實時運(yùn)行,甚至官方直接暴力放出 Android 和 iOS 移動端開源代碼,將前沿的視頻模型直接塞到手機(jī)里跑著玩玩。


          PyTorchVideo 到底是個啥

          PyTorchVideo 的真身是一個基礎(chǔ)視頻庫,可以服務(wù)于各種代碼庫。除了全方位的前沿視頻模型模型,開源視頻模型,其中還含有各類視頻基礎(chǔ)算法,視頻數(shù)據(jù)操作,各類流行視頻數(shù)據(jù)集,視頻增廣,視頻模型加速量化,等等一些列的全棧視頻相關(guān)內(nèi)容。據(jù)官方博客透露,PyTorchVideo 開源了一大票視頻模型,包括Facebook人工智能實驗室近期出現(xiàn)在 ICCV,ICML 等回憶中的工作:

          ●Multiscale Vision Transformers
          ●A large-scale study on unsupervised spatiotemporal representation learning
          ●Multiview pseudo-labeling for semi-supervised learning from video
          ●Is space-time attention all you need for video understanding?
          ●Keeping Your Eye on the Ball: Trajectory Attention in Video Transformers
          ●SlowFast networks for video recognition
          ●X3D: Expanding architectures for efficient video recognition
          ●Audiovisual SlowFast networks for video recognition
          ●Non-local neural networks
          ●A closer look at spatiotemporal
          ● convolutions for action recognition
          ●Video classification with channel-separated convolutional networks

          似乎其 MultiScale Vision Transform 也位列其中,有興趣的朋友可以去一探究竟。

          PyTorchVideo 怎么玩

          瀏覽一下官方的教程并上手實驗一下,發(fā)現(xiàn)通過 PyTorchVideo 只需要寥寥幾行就可以訓(xùn)練一個視頻模型:


          開發(fā)者們也可從開源的訓(xùn)練模型庫中直接使用模型。


          Kinetics-400


          Something-Something V2



          Charades



          AVA (V2.2)



          甚至通過 PyTorchVideo 加持的 Lightning Flash,分類視頻僅僅只需三行。


          參考鏈接:
          https://pytorchvideo.org/
          https://ai.facebook.com/blog/pytorchvideo-a-deep-learning-library-for-video-understanding/

          努力分享優(yōu)質(zhì)的計算機(jī)視覺相關(guān)內(nèi)容,歡迎關(guān)注:

          個人微信(如果沒有備注不拉群!
          請注明:地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



          下載1:何愷明頂會分享


          AI算法與圖像處理」公眾號后臺回復(fù):何愷明,即可下載。總共有6份PDF,涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析


          下載2:終身受益的編程指南:Google編程風(fēng)格指南


          AI算法與圖像處理」公眾號后臺回復(fù):c++,即可下載。歷經(jīng)十年考驗,最權(quán)威的編程規(guī)范!



          下載3 CVPR2021

          AI算法與圖像處公眾號后臺回復(fù):CVPR,即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文

          點亮 只需一秒,我卻能開心一天


          瀏覽 70
          點贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  国产21页| 三级无码视频 | 中文字幕日韩人妻在线 | 亚洲精品一区中文字幕乱码 | 韩国精品二区 |