自動(dòng)駕駛 | 特斯拉純視覺機(jī)器學(xué)習(xí)解決方案

本文轉(zhuǎn)自：計(jì)算機(jī)視覺聯(lián)盟

Scaled ML Conference今年2月26-27召開，特斯拉AI高級(jí)總監(jiān)Andrej Karpathy在會(huì)上給了一個(gè)報(bào)告，其中一些內(nèi)容在去年6月ICML也講過了。下面以網(wǎng)上的視頻截屏作為筆記，我稍稍注釋一下。

報(bào)告綱要

特斯拉30億英里的駕駛數(shù)據(jù)，無(wú)人匹敵。

前不久提供的導(dǎo)航功能（高速閘口），能自動(dòng)換道。

還有停車場(chǎng)的手機(jī)召喚。

這是最近實(shí)現(xiàn)的L2.5功能。

三個(gè)短視頻，介紹行人AEB。

這里展示了特斯拉的全自動(dòng)駕駛的視頻，看到上下高速。

這里提了一下谷歌維摩，解釋為什么人家那么早就開始了，因?yàn)橛屑す饫走_(dá)，高清地圖。

這是維摩的自動(dòng)駕駛展示，強(qiáng)調(diào)特斯拉是純視覺技術(shù)。

這里就是視覺的任務(wù)。

展示全自動(dòng)駕駛視頻中的視覺技術(shù)。

為強(qiáng)調(diào)視覺的難度，特意拿stop sign detection為例子，展示各種困難。

介紹Data Engine的平臺(tái)，以前ICML也講過，同時(shí)強(qiáng)調(diào)特斯拉的shadow mode。

這里舉例，上面是遮擋，下面是右轉(zhuǎn)彎不需要遵守stop。

評(píng)估測(cè)度。

介紹hydranet，以前就是多任務(wù)訓(xùn)練（multi task learning），給了個(gè)名字。

重新介紹operation vacation，舉例police alert light檢測(cè)，稱為landmark task，landmark定義為example of prototype。

舉例HydraNet，檢測(cè)運(yùn)動(dòng)目標(biāo)、道路邊緣和道路線。

這是其中Road Edge網(wǎng)絡(luò)輸出。

這是Occupancy tracker，將道路邊緣連接成空區(qū)域，可用于smart summon。

過了兩年，重提SW 2.0，不過這里是用于泊車場(chǎng)。

提出BEV Net，即鳥瞰視圖的預(yù)測(cè)，backbone共享，多個(gè)head。

這里介紹BEV Net結(jié)果好于2D邊緣預(yù)測(cè)的方法。

應(yīng)用視頻：停車場(chǎng)紅色邊緣，綠色是分界。

另外一個(gè)應(yīng)用視頻：停車場(chǎng)手機(jī)召喚。

強(qiáng)調(diào)深度圖，偽激光雷達(dá)，3D目標(biāo)檢測(cè)。

介紹自己的非監(jiān)督學(xué)習(xí)深度圖預(yù)測(cè)，還是強(qiáng)調(diào)偽激光雷達(dá)的效果。

特斯拉有最多的視頻數(shù)據(jù)。