谷歌大腦新研究：強化學(xué)習(xí)如何學(xué)會用聲音來觀察？

來源：AI科技評論

編譯：王曄

人類已經(jīng)證明，大腦中的神經(jīng)系統(tǒng)擁有為不斷適應(yīng)外界環(huán)境的變化而改變自身結(jié)構(gòu)的能力。大腦內(nèi)部的突觸、神經(jīng)元之間的連接可以由于學(xué)習(xí)和經(jīng)驗的影響建立新的連接。

相應(yīng)的，感官替代（sensory substitution）這一天賦也存在人類技能樹之中，例如有些天生失明的人能夠通過將圖像轉(zhuǎn)換成聲音學(xué)會感知人體輪廓形狀的能力。

如果讓AI擁有這種能力，它也能像蝙蝠和海豚一樣，能夠利用其耳朵通過聲音和回聲來‘看’周圍的世界一樣。

近日，來自谷歌大腦的一篇題為“The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning”的論文證明了強化學(xué)習(xí)擁有這種“感官替代”的能力。

論文地址：https://arxiv.org/pdf/2109.02869.pdf

具體而言，作者在論文中設(shè)計了一系列強化學(xué)習(xí)系統(tǒng)，其能夠?qū)碜原h(huán)境的每種感覺輸入（sensory inputs）到不相同，卻具有一定聯(lián)系的神經(jīng)網(wǎng)絡(luò)中，值得一提的是，這些神經(jīng)網(wǎng)絡(luò)之間沒有固定的關(guān)系。研究表明，這些感覺網(wǎng)絡(luò)可以通過訓(xùn)練來整合本地收到的信息，并且通過注意機制的交流，可以集體達成一個全局一致的方案。

此外，即使在一個事件中，輸入順序被隨機地排列多次，該系統(tǒng)仍然可以執(zhí)行其任務(wù)。