   
    
     
      
       來源：專知
      
     
    
   
   
    
     
      
       
        
         本文約2800字，建議閱讀5分鐘
        
        
         在本論文中，我們旨在通過關(guān)注多模態(tài)智能的三個關(guān)鍵維度來推動該領(lǐng)域的發(fā)展：多模態(tài)對齊性、魯棒性和泛化性。

近期，清華大學(xué)類腦計算研究中心施路平團(tuán)隊，研發(fā)出全球首款類腦互補(bǔ)視覺芯片「天眸芯」，研究成果登上 Nature 封面。

近日，該團(tuán)隊推出一種新的神經(jīng)形態(tài)計算架構(gòu)，即類腦神經(jīng)計算模型「Dendristor」。

「Dendristor」旨在復(fù)制突觸的組織（即神經(jīng)元之間的連接）和樹突的樹狀結(jié)構(gòu)（即從神經(jīng)元體延伸出來的突起）。

這種創(chuàng)新的樹突網(wǎng)絡(luò)模擬了樹突狀結(jié)構(gòu)及其固有的時空處理特性，為未來人工智能提供了高能效的視覺感知能力。

類腦形態(tài)樹突網(wǎng)絡(luò)計算模型的開發(fā)由清華大學(xué)跨學(xué)科團(tuán)隊清華大學(xué)腦與智能實驗室（THBI）的 Eunhye Baek 博士、宋森教授、Carlo Vittorio Cannistraci 教授，以及清華大學(xué)精密儀器系的趙蓉教授和施路平教授共同完成。

相關(guān)研究以《Neuromorphic dendritic network computation with silent synapses for visual motion perception》為題，于 6 月 6 日發(fā)布在《Nature Electronics》上。

論文鏈接：https://www.nature.com/articles/s41928-024-01171-7

受大腦啟發(fā)

隨著 AI 工具的快速發(fā)展，世界各地的工程師們都在研究新的架構(gòu)和硬件組件，來復(fù)制人腦的組織和功能。

迄今為止，大多數(shù)受大腦啟發(fā)的技術(shù)都是從腦細(xì)胞（即神經(jīng)元）的放電中汲取靈感，而不是反映神經(jīng)元素的整體結(jié)構(gòu)，以及它們?nèi)绾未龠M(jìn)信息處理。

「當(dāng)我還是意大利米蘭理工大學(xué)的人工智能和大腦生物工程專業(yè)碩士生時，我就想到了模仿大腦連接的稀疏性和形態(tài)，比如神經(jīng)元的樹突，來設(shè)計高效的人工智能?！雇ㄓ嵶髡咧?、清華大學(xué)腦與智能實驗室（THBI）教授 Carlo Vittorio Cannistraci 表示。

「有一天，Carlo 讓我研究『樹突計算』，因為我們之前合作研究的『神經(jīng)晶體管』有可能模仿樹突特性，」論文一作、共同通訊作者、 THBI 的 Eunhye Baek 博士說。

「施路平教授和我一直在尋找開發(fā)神經(jīng)形態(tài)視覺傳感器系統(tǒng)的方法，我們認(rèn)識到這種方法的潛力。我的研究興趣是構(gòu)建更像大腦/神經(jīng)元的動態(tài)信息處理系統(tǒng)。樹突計算讓我非常興奮，因為它涵蓋了廣泛的動態(tài)和復(fù)雜特性，這些特性在神經(jīng)形態(tài)工程中尚未得到廣泛研究?！?/span>

圖示：模擬樹突形態(tài)的 Dendristor。（來源：論文）

迄今為止進(jìn)行的大多數(shù)神經(jīng)形態(tài)計算研究都集中在，重現(xiàn)與學(xué)習(xí)相關(guān)的突觸過程和人工復(fù)制神經(jīng)元尖峰的產(chǎn)生。這些研究通常將樹突建模為簡單的傳輸線，從而忽略了與其獨特形態(tài)相關(guān)的功能。

「樹突利用其樹狀形態(tài)來映射空間分布的信號，表現(xiàn)出分支特定的可塑性，并整合各種突觸?！笲aek 解釋說。

「每個樹突分支對具有特定方向性的信號特別敏感，使它們專門用于處理時空信號。我們的研究重點是這些復(fù)雜的樹突功能。」

一種新的神經(jīng)形態(tài)計算架構(gòu)

研究人員合作設(shè)計并開發(fā)了一種新設(shè)備，可以反映生物樹突的形態(tài)和功能。這種被稱為「樹突」（Dendristor）晶體管的設(shè)備利用了涂有離子摻雜溶膠-凝膠膜的多柵極晶體管的物理特性，模擬了樹突執(zhí)行的計算。

Dendristor 的突出之處在于它處理信息的方式與神經(jīng)元及其網(wǎng)絡(luò)的生物形態(tài)非常相似，而不是目前人工神經(jīng)網(wǎng)絡(luò)典型的批處理方式。Dendristor 模型實現(xiàn)了樹突分支間和神經(jīng)元間的特定塑性，從而提高稀疏神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)效率。

這種方法允許 Dendristor 在其樹突分支內(nèi)對傳入信號的序列和方向進(jìn)行編碼，從而提高其識別運動的能力。特別是模型中包含的「沉默突觸」，即由樹突分支電位激活的突觸，增強(qiáng)了其對信號方向的敏感性，優(yōu)化了其視覺感知過程。

圖示：（a）生物樹突，（b）Dendristor 與正常突觸，（c）Dendristor 與沉默突觸的方向選擇性比較。（來源：論文）

Baek 表示：「這種薄膜通過允許摻雜離子以類似于神經(jīng)元樹突中的離子的方式移動來模擬樹突分支，從而調(diào)節(jié)晶體管的電流以反映樹突膜電位的變化。我們的研究表明，樹突晶體管表現(xiàn)出非線性樹突整合和方向選擇性?！?/span>

除了樹突晶體管設(shè)備外，該研究小組還介紹了一種人工靜默突觸。在這個系統(tǒng)中，溶膠-凝膠膜中樹突晶體管分支的電壓確保突觸輸入僅在薄膜達(dá)到特定閾值時激活，從而提高了系統(tǒng)辨別移動視覺刺激方向的能力。

Baek 表示：「我們還創(chuàng)建了一個神經(jīng)形態(tài)樹突神經(jīng)回路，它可以計算移動信號的方向，這種設(shè)計靈感來自視網(wǎng)膜和視覺皮層的神經(jīng)回路。該電路能夠檢測二維和深度移動的信號，并將它們整合起來，重建三維空間中物體的運動方向?！?/span>

通過緊密鏡像樹突神經(jīng)元的稀疏連接，該新型神經(jīng)形態(tài)計算方法可實現(xiàn)顯著的能源效率。事實上，與現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)（ANN）相比，該系統(tǒng)展示了利用更少的神經(jīng)元檢測運動的潛力。

圖示：樹突網(wǎng)絡(luò)神經(jīng)回路的 3D 視覺運動感知。（來源：論文）

這種新架構(gòu)的關(guān)鍵優(yōu)勢在于，它超越了復(fù)制生物神經(jīng)元的功能方面。與其他現(xiàn)有的神經(jīng)形態(tài)計算平臺相比，它還重現(xiàn)了神經(jīng)元的結(jié)構(gòu)和稀疏連接，包括樹突的形態(tài)和靜默突觸的基礎(chǔ)。

「盡管神經(jīng)形態(tài)研究中有各種方法來實現(xiàn)智能，但我們的研究獨特地展示了神經(jīng)元及其突觸連接形態(tài)在動態(tài)信號處理中的重要性?！笲aek 說。

「我們通過模仿生物神經(jīng)元形成功能性神經(jīng)回路的方式，對突觸輸入進(jìn)行空間稀疏映射，從而實現(xiàn)了這一目標(biāo)，突出了這種形態(tài)對于有效的神經(jīng)形態(tài)信息處理的重要性?！?/span>

值得注意的是，該研究團(tuán)隊首次證明抑制和靜默突觸的空間位置也可以控制神經(jīng)形態(tài)系統(tǒng)中神經(jīng)元對信號的處理。這一見解可以指導(dǎo)設(shè)計其他重現(xiàn)靜默突觸的計算模型和架構(gòu)。

「稀疏性和形態(tài)學(xué)一直被人們所忽視，也未得到廣泛應(yīng)用，無法構(gòu)建下一代人工智能，」Cannistraci 說道。「我們的研究首次展示了如何利用真實大腦網(wǎng)絡(luò)的這兩個特征來設(shè)計下一代神經(jīng)形態(tài)神經(jīng)網(wǎng)絡(luò)，以實現(xiàn)高效的人工智能?！?/span>

下一步研究

該研究可能很快會為基于半導(dǎo)體器件的神經(jīng)形態(tài)系統(tǒng)工程開辟新的令人興奮的途徑。具體來說，他們提出的受大腦啟發(fā)的設(shè)計可能有助于開發(fā)能耗更低的新設(shè)備和人工智能工具，從而為更可持續(xù)的計算鋪平道路。

Baek 博士表示：「與基于 GPU 的運動檢測系統(tǒng)不同，基于類腦樹突神經(jīng)電路（NDNCs）的系統(tǒng)由于網(wǎng)絡(luò)中使用了更少數(shù)量的神經(jīng)元，因此系統(tǒng)功耗更低。」

Carlo Vittorio Cannistraci 教授補(bǔ)充道：「我們的類腦樹突網(wǎng)絡(luò)模擬了包括樹突形態(tài)在內(nèi)的大腦稀疏神經(jīng)網(wǎng)絡(luò)，從而實現(xiàn)了高能效信息處理?！惯@種創(chuàng)新的樹突計算利用了獨特的方法，在人工智能、神經(jīng)計算和腦啟發(fā)式計算領(lǐng)域開辟了新的可能性。

在接下來的研究中，研究人員計劃進(jìn)一步擴(kuò)展他們的人工神經(jīng)回路，使用先進(jìn)的抑制連接，進(jìn)一步促進(jìn)動態(tài)視覺信號的分類。為此，他們將嘗試密切模仿大腦在早期發(fā)育階段觀察到的神經(jīng)連接。

「我們計劃開發(fā)新的神經(jīng)形態(tài)樹突網(wǎng)絡(luò)架構(gòu)，進(jìn)行深度學(xué)習(xí)，并能解決視覺感知以外的其他人工智能任務(wù)，例如時間序列分析和聽覺任務(wù)?！笴annistraci 補(bǔ)充道。

「此外，我們希望開發(fā)多模態(tài)電路，能夠處理和關(guān)聯(lián)不同類型的感官輸入，如視覺和聽覺。最后，我們希望將這種稀疏和形態(tài)計算范式擴(kuò)展到在數(shù)字硬件上實現(xiàn)的經(jīng)典類型的人工神經(jīng)網(wǎng)絡(luò)?！?/span>

參考內(nèi)容：https://techxplore.com/news/2024-07-brain-artificial-dendritic-neural-circuit.html

編輯：文婧

關(guān)于我們

數(shù)據(jù)派THU作為數(shù)據(jù)科學(xué)類公眾號，背靠清華大學(xué)大數(shù)據(jù)研究中心，分享前沿數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)創(chuàng)新研究動態(tài)、持續(xù)傳播數(shù)據(jù)科學(xué)知識，努力建設(shè)數(shù)據(jù)人才聚集平臺、打造中國大數(shù)據(jù)最強(qiáng)集團(tuán)軍。

新浪微博：@數(shù)據(jù)派THU

微信視頻號：數(shù)據(jù)派THU

今日頭條：數(shù)據(jù)派THU

清華類腦計算模型登Nature子刊，受大腦啟發(fā)的人工樹突網(wǎng)絡(luò)，實現(xiàn)高能效AI

受大腦啟發(fā)

一種新的神經(jīng)形態(tài)計算架構(gòu)

下一步研究

清華類腦計算模型登Nature子刊，受大腦啟發(fā)的人工樹突網(wǎng)絡(luò)，實現(xiàn)高能效AI