Reddit熱議：輕量型視頻理解+動(dòng)作識(shí)別的開(kāi)源框架Sense火熱出爐

---

??新智元報(bào)道??

來(lái)源：reddit

編輯：keyu

本周，來(lái)自初創(chuàng)公司Twentybn的研究人員在Reddit上發(fā)布了一則帖子，獲得了廣泛關(guān)注：

帖子中記錄道，Twentybn的研究團(tuán)隊(duì)最近發(fā)明了一個(gè)名為Sense的推理框架，使用Sense，在不需要姿態(tài)估計(jì)、骨架追蹤的情況下，僅靠端到端的深度學(xué)習(xí)，開(kāi)發(fā)人員就可以使用RGB攝像頭來(lái)預(yù)測(cè)人類的行為。

官方給出的范例包括了手勢(shì)識(shí)別，健身跟蹤，卡路里計(jì)算等任務(wù)。

研究人員表示，他們正在努力使Sense成為集收集和清理視頻數(shù)據(jù)、訓(xùn)練強(qiáng)大且高效的視頻分類器功能、并能部署到任何設(shè)備(iOS和Android)上的一體化工具包。

TwentyBN是一家在柏林和加拿大設(shè)有辦事處的創(chuàng)業(yè)公司，2018年，它籌集了由微軟風(fēng)險(xiǎn)基金M12領(lǐng)導(dǎo)的1000萬(wàn)美元資金，主要用于幫助AI學(xué)習(xí)解釋人類行為。

首席執(zhí)行官兼首席科學(xué)家Roland Memisevic表示，公司將利用新資本擴(kuò)大業(yè)務(wù)規(guī)模。

“從成立的第一天起，我們一直致力于將AI和交互式計(jì)算機(jī)視覺(jué)領(lǐng)域數(shù)十年的進(jìn)步推向世界的每個(gè)角落，無(wú)論是家庭，辦公室，商店還是機(jī)器人的大腦?！?/span>

TwentyBN的新型計(jì)算機(jī)視覺(jué)系統(tǒng)可以只使用現(xiàn)成的RGB相機(jī)觀察人類，并與他們互動(dòng)。它的AI不僅能響應(yīng)基本行為，還考慮到每個(gè)參與的環(huán)境和背景，提供類似人類的情境意識(shí)。

Memisevic認(rèn)為，雖然AI圖像分類系統(tǒng)非常適合檢測(cè)物體，但它們并不接近人類自治。他說(shuō)，真正認(rèn)知理解的關(guān)鍵在于能夠理解行動(dòng)。

TwentyBN技術(shù)的核心是一個(gè)眾包的視頻剪輯數(shù)據(jù)庫(kù)，TwentyBN稱，該數(shù)據(jù)庫(kù)是同類中最大的。多年來(lái)，它從一個(gè)志愿者網(wǎng)絡(luò)中采購(gòu)了大約200萬(wàn)個(gè)片段，這些片段已經(jīng)演出了數(shù)十萬(wàn)個(gè)場(chǎng)景，其中一個(gè)場(chǎng)景是免費(fèi)提供的。

其“Something Something”數(shù)據(jù)集包括人們使用日常對(duì)象執(zhí)行的基本操作，其Jester數(shù)據(jù)集顯示人類在網(wǎng)絡(luò)攝像頭前執(zhí)行預(yù)定義的手勢(shì)。在數(shù)據(jù)集上訓(xùn)練的精密機(jī)器學(xué)習(xí)模型可以為汽車、智能家居和零售應(yīng)用提供無(wú)觸點(diǎn)、基于手勢(shì)的界面。

模型SuperModel可以檢測(cè)身體動(dòng)作和人與物體的相互作用。手勢(shì)識(shí)別模型則可以識(shí)別30多個(gè)動(dòng)態(tài)的手部動(dòng)作，并在空中追蹤手指的運(yùn)動(dòng)。

客戶通過(guò)與各種平臺(tái)兼容的軟件開(kāi)發(fā)工具包來(lái)利用這些模型，包括Docker，RIS，Vuforia和Wikitude。在AirMouse和手勢(shì)識(shí)別的情況下，它們與各種硬件兼容，包括嵌入式系統(tǒng)，臺(tái)式機(jī)和移動(dòng)設(shè)備。

這款推理工具已經(jīng)包含了預(yù)訓(xùn)練參數(shù)，現(xiàn)可供大家免費(fèi)下載：

下載地址：

https://20bn.com/licensing/sdk/evaluation

Sense中的模型規(guī)模小、效率高、在CPU上運(yùn)行平穩(wěn)。使用官方提供的預(yù)訓(xùn)練參數(shù)，大家可以運(yùn)行諸如手勢(shì)識(shí)別，健身跟蹤，健身重復(fù)計(jì)數(shù)器和卡路里計(jì)算的demo。

圖：手勢(shì)識(shí)別

圖：健身追蹤器和卡路里計(jì)算

此外，用戶還可以使用這些權(quán)重參數(shù)，在自己的視頻分類器上進(jìn)行遷移學(xué)習(xí)，并根據(jù)自己的用例自定義模型。

該項(xiàng)目的Github頁(yè)面還附上了相關(guān)操作和使用的全部說(shuō)明和指南：

Github地址：https://github.com/TwentyBN/sense

感興趣的小伙伴可以前去試一試！

參考鏈接：

https://www.reddit.com/r/MachineLearning/comments/ld8yjz/p_sense_open_source_framework_for_video/

推薦閱讀：

全球首個(gè)計(jì)算力報(bào)告排名出爐：中國(guó)AI算力領(lǐng)跑全球！