《自然-機(jī)器智能》：神經(jīng)形態(tài)技術(shù)可使大型深度學(xué)習(xí)網(wǎng)絡(luò)節(jié)能16倍

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自學(xué)術(shù)頭條

受生物大腦機(jī)制的啟發(fā)，研究人員一直在提高人工神經(jīng)網(wǎng)絡(luò)的性能效率和計(jì)算要求。一項(xiàng)新的研究表明，對(duì)于大型深度學(xué)習(xí)網(wǎng)絡(luò)，神經(jīng)形態(tài)技術(shù)的能源效率有望達(dá)到其他人工智能系統(tǒng)的 16 倍。

格拉茨技術(shù)大學(xué)（TU Graz）理論計(jì)算機(jī)科學(xué)研究所的研究人員首次通過(guò)實(shí)驗(yàn)證明，大型神經(jīng)網(wǎng)絡(luò)可以處理句子等序列，同時(shí)在神經(jīng)形態(tài)硬件上運(yùn)行時(shí)消耗的能量比非神經(jīng)形態(tài)硬件少 4 到 16 倍。

該研究由人類(lèi)大腦計(jì)劃（HBP）資助，HBP 是世界上最大的研究項(xiàng)目之一，包括歐洲500 多名研究人腦的科學(xué)家和工程師。研究結(jié)果以“Memory for AI Applications in Spike-based Neuromorphic Hardware”為題發(fā)表在 Nature Machine Intelligence 上。

近年來(lái)，人工神經(jīng)網(wǎng)絡(luò)（ANN）已成為人工智能（AI）中最著名的方法，并在計(jì)算機(jī)視覺(jué)、汽車(chē)控制、飛行控制和醫(yī)療系統(tǒng)等各個(gè)領(lǐng)域取得了卓越的性能。

能夠自主識(shí)別和推斷對(duì)象以及不同對(duì)象之間關(guān)系的智能機(jī)器和智能計(jì)算機(jī)，是全球人工智能研究的重要主題。但是，能源消耗是此類(lèi) AI 方法更廣泛應(yīng)用的主要障礙。

一直以來(lái)，科學(xué)家們希望神經(jīng)形態(tài)技術(shù)能夠推動(dòng)正確的方向發(fā)展。要知道，人類(lèi)大腦在使用能量利用方面非常高效。為了處理信息，我們的大腦中千億個(gè)神經(jīng)元只消耗大約 20 瓦的能量，也就是相當(dāng)于一個(gè)普通的節(jié)能燈泡的能耗。而神經(jīng)形態(tài)技術(shù)就是以人腦為模型。

在這項(xiàng)最新研究中，研究團(tuán)隊(duì)專(zhuān)注于處理時(shí)間過(guò)程的算法。例如，系統(tǒng)必須回答有關(guān)先前講述的故事的問(wèn)題，并從上下文中掌握對(duì)象或人之間的關(guān)系。測(cè)試的硬件由 32 個(gè) Loihi 神經(jīng)形態(tài)研究芯片組成，該芯片利用神經(jīng)科學(xué)的見(jiàn)解來(lái)創(chuàng)建類(lèi)似于生物大腦的功能。

圖 | 神經(jīng)形態(tài)研究芯片（來(lái)源：TU Graz）

在這項(xiàng)研究的神經(jīng)形態(tài)網(wǎng)絡(luò)中，研究人員復(fù)制了一種大腦記憶機(jī)制，正如理論計(jì)算機(jī)科學(xué)研究所博士生導(dǎo)師 Wolfgang Maass 所解釋的那樣，實(shí)驗(yàn)研究表明，即使沒(méi)有神經(jīng)活動(dòng)，人腦也可以在短時(shí)間內(nèi)存儲(chǔ)信息，即在所謂的神經(jīng)元“internal variables”。模擬實(shí)驗(yàn)表明，神經(jīng)元子集的疲勞機(jī)制對(duì)于這種短期記憶至關(guān)重要。

缺乏直接證據(jù)是因?yàn)檫@些內(nèi)部變量還無(wú)法測(cè)量，但這確實(shí)意味著神經(jīng)網(wǎng)絡(luò)只需要測(cè)試哪些神經(jīng)元當(dāng)前處于疲勞狀態(tài)，就可以重建它之前處理過(guò)的信息。換句話(huà)說(shuō)，先前的信息存儲(chǔ)在神經(jīng)元的不活動(dòng)中，而不活動(dòng)就消耗最少的能量。

為此，研究人員將兩種類(lèi)型的深度學(xué)習(xí)網(wǎng)絡(luò)聯(lián)系起來(lái)。反饋神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)“短期記憶”，許多此類(lèi)所謂的循環(huán)模塊從輸入信號(hào)中過(guò)濾掉可能的相關(guān)信息并將其存儲(chǔ)。前饋網(wǎng)絡(luò)確定找到的關(guān)系對(duì)于解決手頭的任務(wù)非常重要。無(wú)意義的關(guān)系被篩選掉，神經(jīng)元只在那些已經(jīng)找到相關(guān)信息的模塊中激發(fā)。這個(gè)過(guò)程最終導(dǎo)致了能耗的大大降低。

圖 | 研究論文通訊作者之一、TU Graz理論計(jì)算機(jī)科學(xué)研究所的Wolfgang Maass（來(lái)源：TU Graz）

TU Graz 理論計(jì)算機(jī)科學(xué)研究所的博士生 Philipp Plank 說(shuō)，“我們的神經(jīng)形態(tài)技術(shù)系統(tǒng)比傳統(tǒng)硬件上的其他 AI 模型的能效高 4 到 16 倍，隨著這些模型遷移到下一代 Loihi 硬件，Plank 預(yù)計(jì)效率會(huì)進(jìn)一步提高，從而顯著提高芯片間通信的性能?！?br>
這項(xiàng)研究得到了英特爾和歐洲人類(lèi)大腦計(jì)劃的資金支持，人類(lèi)大腦計(jì)劃旨在將神經(jīng)科學(xué)、醫(yī)學(xué)和受大腦啟發(fā)的技術(shù)聯(lián)系起來(lái)。為此，該項(xiàng)目正在創(chuàng)建一個(gè)永久性的數(shù)字研究基礎(chǔ)設(shè)施——EBRAINS。

“神經(jīng)形態(tài)芯片有望為人工智能帶來(lái)收益，尤其是通過(guò)降低其高昂的能源成本。這項(xiàng)研究提供了更多證據(jù)，表明神經(jīng)形態(tài)技術(shù)可以通過(guò)從生物學(xué)的角度重新思考，來(lái)提高當(dāng)今深度學(xué)習(xí)工作負(fù)載的能源效率?！庇⑻貭柹窠?jīng)形態(tài)計(jì)算實(shí)驗(yàn)室主任 Mike Davies 表示。

“循環(huán)神經(jīng)結(jié)構(gòu)有望為未來(lái)在神經(jīng)形態(tài)硬件上運(yùn)行的應(yīng)用程序提供最大的收益，神經(jīng)形態(tài)硬件非常適合促進(jìn)我們?cè)诖竽X中觀察到的快速、稀疏和不可預(yù)測(cè)的網(wǎng)絡(luò)活動(dòng)模式，并且是節(jié)能的 AI 應(yīng)用程序所需要的。”

參考資料：

點(diǎn)「在看」的人都變好看了哦！