一塊GPU模擬猴子大腦，普通臺式機(jī)變超算，英國大學(xué)研究登上Nature子刊

數(shù)學(xué)算法俱樂部

日期?：?2021年02月25日?? ? ??

正文共?：1910字

來源?：?機(jī)器之心

你買來打游戲、「煉丹」的 Titan RTX，還能用來模擬猴子大腦。

用計(jì)算機(jī)模擬動(dòng)物大腦通常需要一臺強(qiáng)大、昂貴的超級計(jì)算機(jī)，但最近的一項(xiàng)嘗試表明，安裝了高性能 GPU 的臺式機(jī)也能完成這項(xiàng)工作，而且模擬速度比超級計(jì)算機(jī)還快。

這項(xiàng)研究來自英國薩塞克斯大學(xué)（University of Sussex），研究者利用一臺搭載了 NVIDIA Titan RTX GPU 的臺式 PC 模擬了猴子大腦視覺皮層的一個(gè)大型模型。這個(gè)模型包含 4.13 × 10^6 個(gè)神經(jīng)元和 24.2 × 10^9 個(gè)突觸。實(shí)驗(yàn)所用的 GPU 內(nèi)存是 24GB，價(jià)值 2452 英鎊（約合 21780 元）。借助研究者提出的新方法，他們用單個(gè) GPU 進(jìn)行的模擬比超級計(jì)算機(jī)速度還快，而且價(jià)格要便宜得多。

長期以來，人們一直利用 GPU 來加速 AI 模型的計(jì)算，但在一個(gè)普通顯卡上運(yùn)行如此之大的模型還是第一次。

通常來說，這種級別的大腦模擬需要超級計(jì)算機(jī)來提供強(qiáng)大的內(nèi)存，但薩塞克斯大學(xué)的研究者提出了一種更加高效的技術(shù)，可以大幅降低模擬過程中所需存儲的數(shù)據(jù)量。他們的方法被稱為「程序性連接（procedural connectivity）」，相關(guān)研究發(fā)表在 Nature 新子刊——《Nature Computational Science》上。這份子刊于 2021 年 1 月啟動(dòng)，主要發(fā)表與計(jì)算技術(shù)和數(shù)學(xué)模型開發(fā)及使用相關(guān)的研究，以及它們在一系列科學(xué)學(xué)科（包括但不限于生物信息學(xué)、化學(xué)信息學(xué)、地理信息學(xué)、計(jì)算物理學(xué)和宇宙學(xué)、材料科學(xué)和城市科學(xué)）領(lǐng)域的應(yīng)用。

論文鏈接：https://www.nature.com/articles/s43588-020-00022-7?utm_medium

什么是「程序性連接」？

模擬大腦通常需要一個(gè)脈沖神經(jīng)網(wǎng)絡(luò)，這是一種特殊的 AI 系統(tǒng)，可以模擬大腦的行為，神經(jīng)元通過一系列脈沖信號進(jìn)行通信。

為了準(zhǔn)確地預(yù)測脈沖如何影響神經(jīng)元，描述「哪些神經(jīng)元通過突觸連接在一起、如何連接」的信息通常在運(yùn)行模擬之前生成和存儲。然而，由于神經(jīng)元只是周期性地產(chǎn)生脈沖，將如此大量的數(shù)據(jù)持續(xù)保存在內(nèi)存中是非常低效的。

為了解決這一問題，研究者提出了「程序性連接」的概念?！赋绦蛐赃B接」可以讓研究者根據(jù)需要實(shí)時(shí)生成與神經(jīng)元連接相關(guān)的數(shù)據(jù)，而不是在內(nèi)存中存儲數(shù)據(jù)并從中檢索信息。這完全消除了在內(nèi)存中存儲連接數(shù)據(jù)的必要性。

「這些實(shí)驗(yàn)通常需要你提前生成所有連接數(shù)據(jù)，并用這些數(shù)據(jù)來填滿內(nèi)存，而我們的方法就是要避免這一過程?！拐撐淖髡?James Knight 表示。

他還補(bǔ)充說，「使用我們的方法，每次神經(jīng)元發(fā)出脈沖時(shí)，連接的細(xì)節(jié)就會(huì)重新生成?！埂肝覀兝?GPU 的能力，在每次脈沖發(fā)出時(shí)重新實(shí)時(shí)計(jì)算連接?！?/span>

也就是說，借助 GPU 的強(qiáng)大計(jì)算能力，當(dāng)神經(jīng)元脈沖被激發(fā)時(shí)，脈沖神經(jīng)網(wǎng)絡(luò)可以「程序性」地生成連接數(shù)據(jù)。

這一方法建立美國學(xué)者 Eugene Izhikevich 在 2006 年提出的研究基礎(chǔ)上，但彼時(shí)的計(jì)算機(jī)速度太慢，還不足以讓方法推廣應(yīng)用?，F(xiàn)在，GPU 的算力是 15 年前的 2000 倍，對于「脈沖神經(jīng)網(wǎng)絡(luò)」來說，研究時(shí)機(jī)已經(jīng)成熟。

一臺電腦 + 一塊 GPU，或許就能復(fù)現(xiàn)大腦模擬論文

事實(shí)上，這項(xiàng)研究的結(jié)果不僅能夠與當(dāng)前最快的超級計(jì)算機(jī)相媲美，甚至還更快。在靜息態(tài)下，新方法模擬生物體的一秒只需要 8.4 分鐘，比之前的超級計(jì)算機(jī)模擬節(jié)省了多達(dá) 35% 的時(shí)間（一個(gè)例子就是 2018 年在 IBM Blue Gene/Q 上運(yùn)行的模擬）。

如同 Knight 介紹的那樣，這是因?yàn)?IBM 的設(shè)備是由 1000 個(gè)連接在一個(gè)房間里的計(jì)算節(jié)點(diǎn)組成的。「無論系統(tǒng)多么復(fù)雜，節(jié)點(diǎn)之間仍然存在一些延遲。模型隔得越遠(yuǎn)，它就會(huì)越慢，而我們的模型速度可以快很多個(gè)量級?！?/span>

James Knight 和 Thomas Nowotny。

除了提高實(shí)驗(yàn)速度之外，研究者還希望通過這種方法降低此類大型生物模擬研究的硬件門檻。在大腦模擬的研究領(lǐng)域，模型大小很可能以萬億字節(jié)計(jì)，但超級計(jì)算機(jī)只是少數(shù)研究團(tuán)隊(duì)的特權(quán)。

還有一點(diǎn)意義是：Knight 及其團(tuán)隊(duì)的研究可以讓神經(jīng)科學(xué)和人工智能研究者在他們的本地工作站上模擬大腦回路，同時(shí)也可以讓學(xué)術(shù)界以外的人把他們的游戲本變?yōu)橐慌_可以運(yùn)行大型神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)。

Knight 表示：「 Nature Computational Science 的審稿人在自己的計(jì)算機(jī)上試驗(yàn)了這項(xiàng)研究。」因此，如果你有一臺電腦和合適的 GPU，或許也可以查看論文中關(guān)于復(fù)現(xiàn)的說明部分，并上手一試。

程序性連接非常適合用于大腦模擬實(shí)驗(yàn)的脈沖神經(jīng)網(wǎng)絡(luò)，但 Knight 認(rèn)為，隨著類腦機(jī)器學(xué)習(xí)取得更多進(jìn)展，更多的人工智能應(yīng)用也將出現(xiàn)。

研究團(tuán)隊(duì)希望這種辦法能夠助力于科學(xué)研究，從而大大降低研究哺乳動(dòng)物大腦工作方式和研究神經(jīng)系統(tǒng)疾病的成本。大腦模擬也是助力阿爾茨海默氏癥和帕金森氏癥的關(guān)鍵工具。

無論是繪制哺乳動(dòng)物大腦的行為圖，還是開發(fā)更好的語音識別工具，神經(jīng)網(wǎng)絡(luò)正在受到學(xué)界和業(yè)界更多的關(guān)注?，F(xiàn)在，只要有一塊 GPU，誰又能說臥室不可以是夢開始的地方呢？

參考鏈接：

https://www.zdnet.com/article/who-needs-a-supercomputer-your-desktop-pc-and-a-gpu-might-be-enough-to-solve-some-of-the-largest-problems/

—?THE END —

?霍金承認(rèn)有鬼神，為什么霍金和牛頓這些人最后都信神

?現(xiàn)代物理學(xué)7大經(jīng)典問題，你能理解幾個(gè)？或許一個(gè)都不能理解

?數(shù)學(xué)原來這么有趣，一組圖喚醒你的思維！

?人類史上20個(gè)“最強(qiáng)大腦”

?重返數(shù)學(xué)史的黃金時(shí)代，由數(shù)學(xué)推動(dòng)誕生的人工智能，一部人類智慧形成的歷史

?改善 Python 程序的 91 個(gè)建議