Facebook創(chuàng)建Habitat,一個(gè)極具世界真實(shí)感的模擬系統(tǒng)

??新智元報(bào)道??

來(lái)源：TC

編輯：元子

【新智元導(dǎo)讀】誰(shuí)能指望從未見(jiàn)過(guò)真正走廊的AI了解墻壁和門(mén)是什么？考慮到實(shí)際機(jī)器人在現(xiàn)實(shí)生活中的移動(dòng)速度太慢，不能指望他們很快勾畫(huà)出現(xiàn)實(shí)環(huán)境。Facebook創(chuàng)建的Habitat可以構(gòu)建足夠真實(shí)感的虛擬環(huán)境，以至于AI在導(dǎo)航中學(xué)習(xí)到的東西也可以應(yīng)用于現(xiàn)實(shí)世界。「新智元急聘主筆、編輯、運(yùn)營(yíng)經(jīng)理、客戶經(jīng)理，添加HR微信（Dr-wly）或掃描文末二維碼了解詳情。」

訓(xùn)練一個(gè)智能體在復(fù)雜的3D世界中導(dǎo)航，在計(jì)算上是昂貴和耗時(shí)的。Facebook的工程師們通過(guò)一種末尾淘汰制的方法，將最慢的智能體淘汰，獲得了巨大的性能提升。

“嵌入式人工智能”意味著機(jī)器學(xué)習(xí)系統(tǒng)可以與周?chē)h(huán)境智能互動(dòng)，例如，使用對(duì)話上下文響應(yīng)語(yǔ)音命令，也可以讓機(jī)器人知道它進(jìn)入了錯(cuò)誤的房間。

要?jiǎng)?chuàng)建這樣的“具體化”系統(tǒng)，我們需要使用真實(shí)世界的合理摹本來(lái)訓(xùn)練它們，沒(méi)見(jiàn)過(guò)走廊的人工智能不可能知道墻壁和門(mén)是什么的。考慮到現(xiàn)實(shí)生活中機(jī)器人的移動(dòng)速度太慢，我們不能指望他們?cè)谶@里學(xué)到教訓(xùn)。而Habitat可以提供一套模擬的真實(shí)世界環(huán)境，具有足夠的真實(shí)感，讓人工智能能夠?qū)Ш浆F(xiàn)實(shí)世界。

而在機(jī)器人和AI訓(xùn)練中比較常見(jiàn)的模擬器也可以實(shí)現(xiàn)同樣的功能。我們可以同時(shí)運(yùn)行很多個(gè)實(shí)例，例如可以同時(shí)跑幾千個(gè)實(shí)例。每個(gè)包含智能體的實(shí)例都試圖解決一個(gè)問(wèn)題，并向分派任務(wù)給它的中央系統(tǒng)匯報(bào)最終結(jié)果。但不幸的是，與簡(jiǎn)單的虛擬環(huán)境相比，逼真的3D環(huán)境需要大量的計(jì)算，這減慢了學(xué)習(xí)速度。

由Dhruv Batra教授和佐治亞理工學(xué)院博士生Erik Wijmans領(lǐng)導(dǎo)的Facebook的研究人員找到了一種方法來(lái)加速這一過(guò)程的數(shù)量級(jí)或更多。結(jié)果是一個(gè)人工智能系統(tǒng)可以在一個(gè)3D環(huán)境中從一個(gè)起點(diǎn)導(dǎo)航到目標(biāo)，成功率99.9%，很少出錯(cuò)。

簡(jiǎn)單的導(dǎo)航是“嵌入式AI”或機(jī)器人的基礎(chǔ)。Batra說(shuō)：“?從A點(diǎn)到達(dá)B點(diǎn)如果系統(tǒng)有地圖，這很容易；沒(méi)有的話就是一個(gè)開(kāi)放的問(wèn)題。導(dǎo)航失敗意味著建立在其之上的任何堆棧都將崩潰。”

他們發(fā)現(xiàn)，問(wèn)題在于培訓(xùn)系統(tǒng)花了太多的時(shí)間來(lái)等待滯后的智能體。“這不一定是他們學(xué)得很慢，”Wijmans解釋說(shuō)，“但如果你是在模擬一居室公寓的導(dǎo)航，那么要做到這一點(diǎn)要比在10居室的豪宅導(dǎo)航容易得多。”中央系統(tǒng)的設(shè)計(jì)是等待所有被調(diào)度的智能體完成它們的虛擬任務(wù)并返回報(bào)告。如果單個(gè)智能體花費(fèi)的時(shí)間是其他智能體的10倍，這意味著在系統(tǒng)等待更新信息并發(fā)送新批數(shù)據(jù)時(shí)，會(huì)浪費(fèi)大量時(shí)間。

Facebook團(tuán)隊(duì)的創(chuàng)新之處在于，在這些不幸的落后者完成任務(wù)之前，聰明地將其剔除。經(jīng)過(guò)一段時(shí)間的模擬之后，收集的所有數(shù)據(jù)都會(huì)被添加到集合中。Wijmans說(shuō)：“所有這些智能體都在奔波，他們都在做自己的事，而且他們彼溝通。一個(gè)人會(huì)告訴其他人，‘好吧，我快完成了，’他們都會(huì)匯報(bào)他們的進(jìn)度。任何落后于其他人的人都會(huì)減少在進(jìn)行大規(guī)模同步之前所做的工作量。”在這種情況下，就可以看到每個(gè)工作人員同時(shí)停止并同時(shí)共享。

如果機(jī)器學(xué)習(xí)的智能感到“難受”，我肯定會(huì)在這一點(diǎn)上發(fā)生，并且該智能體確實(shí)會(huì)受到系統(tǒng)的“懲罰”，因?yàn)樗粫?huì)像其他智能體那樣獲得虛擬的“強(qiáng)化”。效率低下算法重要性被降級(jí)，但是他們的貢獻(xiàn)仍然很有價(jià)值。Wijmans解釋說(shuō)：“無(wú)論是成功還是失敗，我們都利用智能體積累的所有經(jīng)驗(yàn)，無(wú)論是成功還是失敗，我們?nèi)匀豢梢詮闹袑W(xué)到東西。”

這意味著沒(méi)有浪費(fèi)的周期，一些智能體在等待其他智能體完成工作。?按時(shí)完成任務(wù)需要更多的經(jīng)驗(yàn)，這意味著下一批稍好一點(diǎn)的智能體完成的時(shí)間要早得多，這是一個(gè)自我強(qiáng)化的周期，可以帶來(lái)可觀的收益。

在他們進(jìn)行的實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)，這個(gè)叫做分散分布式近端策略?xún)?yōu)化(DD-PPO)的系統(tǒng)，看起來(lái)幾乎可以理想地?cái)U(kuò)展，性能幾乎線性地增長(zhǎng)，計(jì)算能力也隨之增加。也就是說(shuō)，將計(jì)算能力提高10倍會(huì)得到接近10倍的結(jié)果。另一方面，標(biāo)準(zhǔn)的算法導(dǎo)致了非常有限的收益，10x或100x的計(jì)算能力只能帶來(lái)一個(gè)小的結(jié)果提升，因?yàn)檫@些復(fù)雜的模擬器在束縛自己。

這些有效的方法使得Facebook的研究人員可以在指定的時(shí)間內(nèi)，在虛擬環(huán)境中生成能夠解決點(diǎn)對(duì)點(diǎn)導(dǎo)航任務(wù)的智能體，可靠性為99.9%。他們甚至表現(xiàn)出了對(duì)錯(cuò)誤的魯棒性，找到了一種方法來(lái)快速識(shí)別出他們走錯(cuò)了路，然后返回另一條路。

研究人員推測(cè)，這些智能體已經(jīng)學(xué)會(huì)了“利用結(jié)構(gòu)規(guī)律”，在某些情況下，這句話意味著人工智能找到了作弊的方法。但Wijmans澄清說(shuō)，他們使用的環(huán)境更有可能有一些實(shí)際的布局規(guī)則。“這些是我們數(shù)字化的真實(shí)房屋，他們正在學(xué)習(xí)西式房屋的布局，”他說(shuō)。正如你不會(huì)期望廚房直接進(jìn)入臥室一樣，人工智能已經(jīng)學(xué)會(huì)了識(shí)別其他模式并做出其他“假設(shè)”。下一個(gè)目標(biāo)是找到一種方法，讓這些智能體用更少的資源完成它們的任務(wù)。每個(gè)智能體都有一個(gè)虛擬攝像機(jī)，它可以提供普通的和深度的圖像，但也有一個(gè)可靠的坐標(biāo)系統(tǒng)來(lái)告訴它去了哪里，以及一個(gè)始終指向目標(biāo)的指南針。要是總是這么容易就好了！但在這次實(shí)驗(yàn)之前，即使有這些資源，即使有更多的訓(xùn)練時(shí)間，成功率也相當(dāng)?shù)汀?/span>

“在這些改進(jìn)之前，Habitat是一個(gè)靜態(tài)的系統(tǒng)空間，”Wijmans解釋說(shuō)。“智能體可以移動(dòng)并撞到墻壁，但它不能打開(kāi)抽屜或打翻桌子。我們這樣做是因?yàn)槲覀兿胍焖佟⒋笠?guī)模的模擬——但是如果你想解決像‘從我的桌子上拿起我的筆記本’這樣的任務(wù)，最好那臺(tái)筆記本確實(shí)能夠被實(shí)際拿起。”

因此，Habitat現(xiàn)在允許用戶向房間添加對(duì)象，對(duì)這些對(duì)象施加力，檢查碰撞等等。畢竟，在現(xiàn)實(shí)生活中，除了在無(wú)摩擦的3D結(jié)構(gòu)中滑行之外，還有更多的東西。

這些改進(jìn)應(yīng)該會(huì)使Habitat成為一個(gè)更健壯的實(shí)驗(yàn)平臺(tái)，而且也將使在該平臺(tái)中進(jìn)行訓(xùn)練的智能體能夠直接將他們的學(xué)習(xí)成果轉(zhuǎn)移到現(xiàn)實(shí)世界中——該團(tuán)隊(duì)已經(jīng)開(kāi)始了這方面的工作，并將很快發(fā)表一篇論文。

新智元急聘主筆、編輯、運(yùn)營(yíng)經(jīng)理、客戶經(jīng)理，添加HR微信（Dr-wly）或掃描二維碼了解詳情：