特斯拉AI主管CVPR霸氣分享純視覺方案:雷達(dá)只是一個(gè)拐杖

新智元報(bào)道
新智元報(bào)道
來源:外媒
編輯:LQ
【新智元導(dǎo)讀】近日,特斯拉AI主管做客2021 CVPR自動(dòng)駕駛workshop,不僅介紹了特斯拉超算Dojo,還分享了特斯拉純視覺方案背后的技術(shù),他表示:「雷達(dá)只是一根拐杖」。
在電影《我,機(jī)器人》里,2035年,威爾·史密斯扮演的角色準(zhǔn)備雙手操縱、開車,這驚呆了一旁的同伴:還需要用手嗎?

這是特斯拉AI主管Andrej Karpathy近日在CVPR 2021的自動(dòng)駕駛workshop上舉的一個(gè)例子。
這位AI技術(shù)主管借此告訴大家:這并不難實(shí)現(xiàn),在電影故事發(fā)生的2035年,這是非常可能的。
不僅要實(shí)現(xiàn),特斯拉最終還要完全依靠攝像頭,利用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)純視覺自動(dòng)駕駛。
雷達(dá)只是拐杖
雷達(dá)只是拐杖
在這次workshop分享中,這位主管除了介紹特斯拉超算Dojo,還分享了特斯拉為何要堅(jiān)持純視覺系統(tǒng)。

△ 馬斯克曾經(jīng)回復(fù)網(wǎng)友:雷達(dá)和視覺沖突時(shí),你會(huì)選擇哪一個(gè)?視覺精確度更高,所以當(dāng)然要堅(jiān)持視覺而非傳感器融合。
Karpathy先介紹了和「肉腦」相比,「硅腦」的巨大優(yōu)勢。
「肉腦」反應(yīng)慢(250ms);需要轉(zhuǎn)頭和看后視鏡來判斷環(huán)境;
而且人們經(jīng)常不好好開車,總?cè)滩蛔∠矚g玩兒手機(jī),由此導(dǎo)致的事故率也很高:全球平均每天有3700人死于交通事故。
另外,交通成本高昂。
而「硅」腦呢?不僅反應(yīng)快,而且開車全神貫注,不會(huì)時(shí)不時(shí)地就去刷手機(jī)。

Karpathy表示,目前自動(dòng)駕駛功能實(shí)際上是當(dāng)今汽車中所有個(gè)人安全系統(tǒng)的總和。許多新車都配備了自動(dòng)剎車、自適應(yīng)巡航控制、車道保持和防誤踩油門等功能。
而汽車制造商面臨的主要挑戰(zhàn)是,將所有這些功能整合到一個(gè)比人更有效、更可靠的系統(tǒng)中。
總之,技術(shù)是很安全的,但要利用好。
馬斯克選擇不在特斯拉汽車中安裝雷達(dá)傳感器,而是選擇只安裝「光學(xué)攝像頭」感知周圍環(huán)境變化。
車輛必須能了解周圍情況才能讓自動(dòng)剎車、自適應(yīng)巡航控制、車道保持和防誤踩油門等子系統(tǒng)在正確時(shí)間起作用。
車輛感知也是特斯拉與其他汽車廠商最大的不同之處。
其他所有汽車制造商都使用光學(xué)攝像頭、車載雷達(dá)和激光雷達(dá)來收集環(huán)境數(shù)據(jù)。由于激光雷達(dá)很昂貴,所以相對(duì)少見;而汽車制造商廣泛采用了價(jià)格低廉的車載雷達(dá)。
「雷達(dá)只是一根拐杖,」Karpathy表示。
汽車制造商通常用車載雷達(dá)來測量相對(duì)速度和距離,但特斯拉認(rèn)為「光學(xué)攝像頭」也可以做到這一點(diǎn)。
車載雷達(dá)和光學(xué)攝像頭之間的差異性反而影響到特斯拉自動(dòng)駕駛功能的完善,因此特斯拉決定專注于改進(jìn)攝像頭系統(tǒng)。
Karpathy說:「我們過去幾年打造的視覺系統(tǒng)非常好,可以把其他傳感器遠(yuǎn)遠(yuǎn)甩在后面?!?/span>
新版本FSD神經(jīng)網(wǎng)絡(luò)架構(gòu)
新版本FSD神經(jīng)網(wǎng)絡(luò)架構(gòu)
除此之外,Karpathy還分享了其他特斯拉自動(dòng)駕駛技術(shù),接近40分鐘的分享加上他本人1.5倍的語速,內(nèi)容可謂是干貨滿滿。
特斯拉首次公開FSD新版本的神經(jīng)網(wǎng)絡(luò)架構(gòu):圖片從8個(gè)攝像頭輸入,由圖片提取器如resnet對(duì)信息進(jìn)行處理,接下來是多重fusion策略,使用的是transformer對(duì)圖像進(jìn)行處理。
雖然把所有的輸入都封裝到了一個(gè)模型,但是在輸出的地方確實(shí)分開訓(xùn)練的,有很多branching structure,不同的模型可以只fine tune那一個(gè)任務(wù).這就等于是在輸出的時(shí)候decouple了.

Karpathy表示,特斯拉的神經(jīng)網(wǎng)絡(luò)在特斯拉汽車上以「影子模式」工作,會(huì)在后臺(tái)預(yù)測駕駛員將會(huì)做什么,并增強(qiáng)自動(dòng)駕駛軟件的強(qiáng)健性。
影子模式會(huì)和數(shù)據(jù)引擎一起,不斷地循環(huán)改進(jìn)本體的性能,直到本體表現(xiàn)出非常好的性能。
而且即使沒有開FSD,影子模式還是在運(yùn)行,它會(huì)對(duì)比它的輸出和司機(jī)的決策,也就是「它在學(xué)習(xí)你!」

當(dāng)然,這次分享還有一個(gè)重磅超算Dojo.

這臺(tái)計(jì)算機(jī)群采用了5760個(gè)算力為321TFLOPS的英偉達(dá)A100顯卡,組成了720個(gè)節(jié)點(diǎn),總算力突破了1.8EFLOPS,10PB的存儲(chǔ)空間(讀寫速度為1.6TBps)。

根據(jù)計(jì)算能力來看,這臺(tái)超級(jí)計(jì)算機(jī)排名世界第五。
此外,Karpathy還分享了特斯拉超級(jí)計(jì)算機(jī)如何利用計(jì)算機(jī)視覺來糾正駕駛員不良行為的一些場景,包括緊急制動(dòng)、交通參與者監(jiān)測以及紅綠燈識(shí)別等等。
另外在演示中,Karpathy還展示了被稱為踏板誤用糾正的功能:當(dāng)車輛檢測到前方有行人或者道路變窄的情況時(shí),當(dāng)駕駛員把油門當(dāng)做剎車踩下,車輛則不會(huì)加速。
根據(jù)馬斯克的計(jì)劃,特斯拉未來的Dojo超級(jí)計(jì)算機(jī)算力將要達(dá)到每秒鐘exaFLOP的級(jí)別,也就是百萬億億次浮點(diǎn)運(yùn)算。

技術(shù)是真的牛,產(chǎn)品呢?
技術(shù)是真的牛,產(chǎn)品呢?
作為特斯拉的AI技術(shù)主管,Karpathy在CVPR上的分享介紹了特斯拉自動(dòng)駕駛技術(shù)的優(yōu)勢,不僅安全,還非常前沿。
不過特斯拉一直是「最差的質(zhì)量可靠性」和「最好的消費(fèi)者滿意度」結(jié)合體,這不,有的車主技術(shù)還沒體驗(yàn)上,就被質(zhì)量傷透了心......
據(jù)外媒報(bào)道,剛剛交付的Model S Plaid出問題了,國外一車主剛剛提車,撕膜后發(fā)現(xiàn)安全氣囊組件沒有固定......
這可是花了89190刀(約合人民幣57萬)買的車!
特友大呼:I can’t believe it... Why, Tesla!
這傷心不止億點(diǎn)點(diǎn)......
參考資料:
https://www.dailymail.co.uk/news/article-9721329/New-Tesla-owner-outraged-airbag-90-000-car-falls-hands.html
https://zhuanlan.zhihu.com/p/382701917
https://www.youtube.com/watch?v=a510m7s_SVI
https://www.cnbeta.com/articles/tech/1144749.htm
-往期精彩-



