Waymo 挑戰(zhàn)賽冠軍團(tuán)隊(duì)帶你走近 BEVFormer

在上周第 10 期社區(qū)開放麥中，我們首次迎來(lái)了部署方向的分享。MMDeploy 開發(fā)者介紹了如何基于 ncnn 部署 OpenMMLab 算法庫(kù)的模型；如何使用 MMDeploy 中的 SDK 進(jìn)行模型部署；分享了基于 MMDeploy 開發(fā)的安卓目標(biāo)檢測(cè) Demo。京腔滿滿、生動(dòng)幽默的講解博得一眾好評(píng)，錯(cuò)過(guò)的小伙伴可以看下錄播哦~

隨著智能駕駛落地應(yīng)用場(chǎng)景不斷延伸，系統(tǒng)信息表達(dá)的準(zhǔn)確度要求進(jìn)一步提升。一個(gè)合格的智能駕駛系統(tǒng)，需要準(zhǔn)確表示包括道路布局、車道結(jié)構(gòu)、道路使用者等元素組成的周圍環(huán)境。然而，物體的距離、場(chǎng)景的深度信息在 2D 感知結(jié)果上并不能得到有效呈現(xiàn)。這些信息才是智能駕駛系統(tǒng)對(duì)周圍環(huán)境進(jìn)行正確判斷的關(guān)鍵。因此，3D 場(chǎng)景感知才是智能駕駛視覺(jué)感知的優(yōu)選。

最近，基于多視角攝像頭的 3D 目標(biāo)檢測(cè)在鳥瞰圖下的感知（Bird's-eye-view Perception, BEV Perception) 吸引了越來(lái)越多的注意力。一方面，將不同視角在 BEV 下統(tǒng)一與表征是很自然的描述，方便后續(xù)規(guī)劃控制模塊任務(wù)；另一方面，BEV 下的物體沒(méi)有圖像視角下的尺度和遮擋問(wèn)題。如何優(yōu)雅地得到一組 BEV 下的特征描述，是提高檢測(cè)性能的關(guān)鍵。

本期分享，我們邀請(qǐng)到 Waymo 競(jìng)賽 2022 環(huán)視感知冠軍算法團(tuán)隊(duì)來(lái)分享他們的解決方案：BEVFormer 環(huán)視感知方案。

BEVFormer 是基于 Transformer 和時(shí)序模型在鳥瞰圖視角下優(yōu)化特征的環(huán)視物體檢測(cè)方案，其在多視角攝像頭的 3D 目標(biāo)檢測(cè)任務(wù)性能指標(biāo)脫穎而出，一度引領(lǐng) NuScenes 3D Object Detectiob 榜單。在 CVPR 2022 自動(dòng)駕駛 workshop 的 Waymo 大賽中，李弘揚(yáng)博士帶領(lǐng)的團(tuán)隊(duì)?wèi){借著 BEVFormer++ 模型大幅領(lǐng)先，摘得 camera-only 3D 檢測(cè)項(xiàng)目桂冠。

北京時(shí)間

2022 年 6 月 30 日（周四）

20: 00 - 20: 40（分享）

20: 40 - 21: 00（Q&A）

李弘揚(yáng)

上海人工智能實(shí)驗(yàn)室青年科學(xué)家，香港中文大學(xué)計(jì)算機(jī)視覺(jué)方向博士學(xué)位，在 CV、ML 等領(lǐng)域的頂級(jí)會(huì)議和期刊上發(fā)表多篇論文，累計(jì)谷歌索引 1200+。

司馬崇昊

普渡大學(xué)在讀博士，主要研究方向?yàn)?3D 視覺(jué)和 AI X Science。

• BEV 感知：背景與動(dòng)機(jī)

• 融合感知算法業(yè)界方案
  

• BEVFormer 環(huán)視感知方案介紹

為了方便大家觀看，直播將在 OpenMMLab 視頻號(hào)和 B 站直播間同步播出。在直播間積極參與討論提出問(wèn)題，將有機(jī)會(huì)獲得 OpenMMLab 小海象限量周邊一份！感興趣的小伙伴們趕緊關(guān)注起來(lái)了，開播不迷路，6 月 30 日（周四）晚 8 點(diǎn)，我們不見(jiàn)不散～

??

??

同時(shí)為了方便大家交流溝通，我們還建立了以【OpenMMLab 社區(qū)開放麥】為主題的社群，歡迎大家掃碼添加小助手發(fā)送關(guān)鍵詞“社區(qū)開放麥”，直播相關(guān)的所有資料都將在群里分享，還能與大佬 1v1，趕緊加入我們吧~