Krishna V. Shenoy:腦機(jī)接口與意念手寫|2021騰訊科學(xué)WE大會視頻回顧
本文來源:騰訊科學(xué)WE大會

如何實(shí)現(xiàn)用“意念”打字?一種方法是,通過腦機(jī)接口技術(shù),讓癱瘓患者在腦中想象移動光標(biāo),從屏幕上的鍵盤選取字母,組成單詞。斯坦福大學(xué)教授Krishna V. Shenoy和團(tuán)隊(duì)卻另辟蹊徑,讓患者在腦中想象手寫字母,收集神經(jīng)數(shù)據(jù)對人工智能算法進(jìn)行訓(xùn)練,讓人工智能可以識別并提前預(yù)測患者想要打出的字母。這種方法比傳統(tǒng)方法的打字速度快了一倍!Shenoy教授將在演講中為我們講述人腦與機(jī)腦交互的背景、現(xiàn)狀和未來——
以下為演講全文:
今天很高興有這個(gè)機(jī)會,與大家分享我們對于腦機(jī)接口的最新思考與研究。
很小的時(shí)候我就對這個(gè)領(lǐng)域產(chǎn)生了興趣,當(dāng)時(shí)我的外公Leslie Wolf罹患多發(fā)性硬化癥已有40年了,之后在上世紀(jì)80年代去世了。當(dāng)時(shí)他已無法正常地走路或活動,甚至吐字也不清??粗馄耪疹櫵臅r(shí)候,我就急切地想找到方法去幫助那些失去自理能力的人。

接下來我要分享的研究工作,是關(guān)于如何傾聽和讀懂大腦的語言,并由此幫助有相關(guān)障礙的病患。過去20年可植入治療設(shè)備在全球得到了更好的普及,其他研究團(tuán)隊(duì)的成果也表明,人工膝蓋人工關(guān)節(jié)甚至人工起搏器已經(jīng)得到了廣泛的應(yīng)用。而放眼未來幾十年,我們相信與人腦的對接會是重點(diǎn)領(lǐng)域之一。
人腦大約3磅重,它很神秘,也是神經(jīng)科學(xué)的研究對象。而通過連接大腦去幫助癱瘓或有其它疾病或損傷的病人,有可能徹底改變整個(gè)醫(yī)學(xué)體系。
先做一下背景介紹。目前有幾種治療系統(tǒng)可以向大腦輸入信息。我來解釋一下。比如人工視網(wǎng)膜能幫助失明的人重見光明。我們可以把一個(gè)微小的芯片,就像手機(jī)或電腦芯片一樣,植入眼中。它會像鏡頭一樣采集光線,然后將光信息轉(zhuǎn)化為電刺激信號,輸入人腦中負(fù)責(zé)視覺的部分并重建視力。

人工耳蝸也是一樣的原理。人工耳蝸可能是截至目前最成功且應(yīng)用最廣泛的神經(jīng)假體技術(shù)。它的工作原理是通過刺激耳蝸周邊不同的區(qū)域來重建聽力。令人欣喜的是,先天性失聰患者甚至可以學(xué)習(xí)說話了。
過去10-15年的另一個(gè)熱點(diǎn)就是深部腦刺激器。它由一些幾英寸長的電極組成,通過神經(jīng)外科手術(shù)植入大腦深層的一個(gè)叫做“蒼白球”的區(qū)域。這個(gè)像起搏器一樣的裝置會輸出電流,電流會阻斷該區(qū)域的異常神經(jīng)活動,從而讓帕金森病患者停止顫抖。
這些都是非常有說服力的案例。這些治療裝置都是通過向大腦傳遞信號電子能量光能量甚至電磁能量,來幫助病人。
那么反過來會是怎么樣的?反向研究在癲癇的治療上有所體現(xiàn)。我們不僅是向大腦輸入信號,同時(shí)也讀取大腦發(fā)出的信號。我們將癲癇控制裝置植入人腦,感知即將發(fā)生的高強(qiáng)度癲癇腦電波,然后做出決策去刺激大腦的另一個(gè)部分,從而阻止和避免癲癇的突然發(fā)作。
這是向全新的治療系統(tǒng)的過渡,即讀取大腦發(fā)出的信號。我們也在深部腦刺激器上開始了這方面的嘗試。癲癇控制裝置不僅可以向大腦發(fā)出電流,除了刺激電極(向大腦發(fā)出信號的電極),它還配有可以讀取大腦信號的電極。

以此為背景,我們來展望一下未來。想象一下未來我們能夠治療多種神經(jīng)損傷和疾病,而方法就是對幾千甚至幾百萬個(gè)神經(jīng)元進(jìn)行記錄。人腦中約有860億個(gè)神經(jīng)元,目前我們只能記錄其中的幾百或幾千個(gè)。但隨著納米科學(xué)和其它工程材料學(xué)的發(fā)展,未來我們有能力對幾百萬個(gè)神經(jīng)元進(jìn)行記錄。
其次,我們可以通過新的方法刺激幾千甚至幾百萬個(gè)神經(jīng)元。不只是電流刺激,還可以通過“光遺傳學(xué)”的光學(xué)方式進(jìn)行刺激,最終研制出可植入人腦的超低功率治療系統(tǒng)。這些系統(tǒng)無需有形的電線,它們是微型的,植入大腦淺皮層。這些可以通過微電子和集成電路芯片產(chǎn)業(yè)的革命加以實(shí)現(xiàn)。
而這一切的基礎(chǔ)就是科學(xué)。我們必須搞懂的一個(gè)神經(jīng)科學(xué)問題是,不同的信號是在人腦的什么部位被編碼的以及如何被編碼的。這也涉及了人類精神生命的核心。
因此我們現(xiàn)在的研究重點(diǎn)就是讀取大腦信號,比如大腦如何讓肢體移動或者讓人能夠看到或聽到。還有其它各個(gè)相關(guān)的領(lǐng)域,比如精神疾病和精神障礙等。
接下來我會詳細(xì)說說一些重要的問題,并解釋其中的原理,從而讓大家真正感受到它們的重要性。
全世界的癱瘓病人不計(jì)其數(shù),我們認(rèn)為也許可以通過植入皮質(zhì)內(nèi)腦機(jī)接口來幫助他們。“皮質(zhì)內(nèi)”的意思就是在大腦皮層的內(nèi)側(cè)。大腦皮層是大腦外部的組織,人類的大腦皮層要遠(yuǎn)多于低等動物。而腦機(jī)接口的原理是,在某種程度上讓腦信號與計(jì)算機(jī)信號互動。

這張照片上的人叫Christopher Reeve,他是上世紀(jì)80年代美國電影角色“超人”的扮演者。上世紀(jì)90年代中期他從馬上跌落,導(dǎo)致頸部和脊髓嚴(yán)重受傷。作為公眾人物他的情況也為人所熟知。他無法行走或抬起胳膊,更不幸的是,由于必須使用機(jī)械式呼吸機(jī),他吐字不清也無法順暢地溝通。
但我們還是想問一個(gè)老生常談的問題,我們能否通過新的更強(qiáng)有力的方式來傾聽大腦的活動?然后問他本人,他是否還想抬起手臂?也許那些(抬起手臂的)腦信號只是無法通過受傷的脊髓或信號通路傳遞到手臂而已。

那么我們就來研究一下是否可行。這是一張皮質(zhì)內(nèi)腦機(jī)接口側(cè)視圖。腦機(jī)接口可以用于控制義肢癱瘓的手臂以及計(jì)算機(jī)接口。它的工作原理是這樣的:如果我想拿起某樣?xùn)|西,比如這個(gè)示例中的一杯咖啡(就像很多人每天早餐的那杯咖啡),我知道杯子在哪,因?yàn)槲铱梢钥吹奖?。這條信息首先傳遞到大腦后部,然后向前傳送到運(yùn)動皮質(zhì)區(qū),在那里計(jì)劃和詳細(xì)指令信號通過脊髓傳遞給手臂的肌肉。這樣我就可以伸手去拿起那杯咖啡。
如果由于損傷導(dǎo)致這種正常活動無法實(shí)現(xiàn),那么可以通過微型芯片來解決。芯片就像指甲或阿司匹林藥片那么大,4毫米見方。我們通過神經(jīng)外科手術(shù)把芯片植入大腦外層,然后聆聽單個(gè)神經(jīng)元的電子活動。當(dāng)一個(gè)神經(jīng)元想和另一個(gè)神經(jīng)元溝通時(shí),這個(gè)神經(jīng)元會發(fā)出一種叫做“動作電位”的微弱電子脈沖。當(dāng)你想要觸達(dá)不同的方向時(shí),這些電子脈沖的樣式會相應(yīng)地變化。后面我會更深入地解釋。
我們可以通過芯片收集這些電信號,并對其進(jìn)行實(shí)時(shí)的數(shù)學(xué)計(jì)算,就像手機(jī)和電腦的工作原理一樣,我們稱其為“解碼算法”。解碼算法可以在定制的硅芯片上運(yùn)行,這些芯片是高度定制化的,因此能耗極低。這不僅有助于延長植入裝置的電池壽命,同時(shí)意味著我們不用擔(dān)心裝置過熱的問題。

芯片可以讀取并使用這些信號,就像第一個(gè)示例展示的那樣,繼續(xù)傳遞信號并刺激癱瘓手臂的不同肌肉,讓手臂恢復(fù)活動功能。如這張圖片展示的,手臂可以拿起咖啡并送到嘴邊飲用,也就是通過刺激癱瘓的手臂讓其恢復(fù)活動功能。

另一種方式是讓機(jī)械手臂或義肢具有活動功能。這里展示的是使用者正在試圖移動自己的手臂,這不需要幾天幾周甚至幾個(gè)月的訓(xùn)練,你只需要想著去移動你的右臂。如果我們的裝置有效,那么我們就能讀取這些信號并讓機(jī)械手臂做出相應(yīng)的動作,比如拿起并飲用一杯咖啡,我想很多人都很喜歡喝咖啡。
而過去十年,我們的研究重點(diǎn)是第3種選項(xiàng):一種與電腦直接溝通的解決方案。原因在于,我們想一想,某天我們在手機(jī)或平板電腦上花了多長時(shí)間,那會是一個(gè)巨大的數(shù)字。這是因?yàn)槟鞘俏覀兣c這個(gè)世界的接口,并且這個(gè)接口會不斷擴(kuò)展,比如人工現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和元宇宙等等。所以與電腦互動是非常重要的。因?yàn)殡娔X可以與現(xiàn)實(shí)世界互動,那么我們能做什么?接下來我會對此進(jìn)行深入闡釋并做總結(jié),同時(shí)播放一些癱瘓病人使用這些治療裝置的視頻。

這里展示的電極陣列中的每個(gè)電極4毫米見方,共有100個(gè)微型電極,每個(gè)長度1.5毫米。這組電極陣列就是該研究領(lǐng)域的核心,它叫做“猶他電極陣列”(Utah Electrode Array),是我們從制造商Blackrock Microsystems那里采購的。它可以植入人腦,工作時(shí)間長達(dá)幾年,可以為我們提供非常有用的信號。

現(xiàn)在我來展示一下電極陣列是如何植入人腦的。想象一下我們的大腦,通過手術(shù)在大腦上打開一個(gè)窗口,然后放入電極陣列,就像這里展示的那樣。放置速度要非???,以盡量降低對大腦的傷害。大概在大腦表皮以下1.5-2毫米處,這些電極的末梢緊挨著個(gè)體細(xì)胞和神經(jīng)元。
觀察其中一個(gè)電極,我們可以看到電壓和時(shí)間脈沖。每次你想移動手臂的時(shí)候,你會從不同的神經(jīng)元那里獲得不同樣式的反饋。比如當(dāng)你想把你的右臂伸向右側(cè)時(shí),一個(gè)電極上的一個(gè)神經(jīng)元每秒可能會發(fā)出許多相應(yīng)的動作電位。但當(dāng)你想把你的右臂伸向左側(cè)時(shí),剛才那個(gè)神經(jīng)元可能不會發(fā)出任何動作電位,這樣你就能立刻判斷出是左側(cè)而不是右側(cè)。

這還不夠。如果大腦還具有區(qū)別上下和內(nèi)外的神經(jīng)元,當(dāng)大腦擁有一兩百個(gè)神經(jīng)元時(shí),那么你能做的就不只是把手臂伸向右側(cè)或左側(cè),而是對義肢或電腦屏幕上的光標(biāo)進(jìn)行精確的控制。
這就是如何對來自大腦的神經(jīng)活動進(jìn)行解碼的方式。那么我們?nèi)绾巫x取這些信號呢?就目前而言,每個(gè)電極都接通至小型連接器的不同面板上。連接器非常小且位于大腦之上,但我們可以想象一下不用這個(gè)連接器,各種活動仍然可以進(jìn)行。我們可以用一個(gè)小型無線電發(fā)射器來替代,就像手機(jī)中的藍(lán)牙或者WiFi裝置。這就是微型芯片,這樣頭部皮膚可以保持完整,頭發(fā)可以完好無損,因?yàn)橥庑芜€是很重要的。
接下來的最后一步就是,當(dāng)我們想要在實(shí)驗(yàn)室或使用者家中記錄這些信號時(shí),我們會放置一個(gè)小型的信號擴(kuò)大器,收集并放大這些極其微弱的信號,然后傳輸至電腦中進(jìn)行解碼。
我剛才所說的這些,完全有可能在不久的將來通過芯片得以實(shí)現(xiàn)。該領(lǐng)域的許多研究團(tuán)隊(duì)和企業(yè)都在為此而努力。
現(xiàn)在我們知道了如何去實(shí)現(xiàn),那么我們的目的應(yīng)該是什么?我們的目標(biāo)應(yīng)該是什么?
在與電腦和其它電子設(shè)備互動方面,我們需要提高這些皮質(zhì)內(nèi)腦機(jī)接口處理快速靈巧活動的性能。哪些事是人類可以做的很快的?哪些事是人類可以做的很靈巧的?
我提出這樣的問題,是因?yàn)樵S多基礎(chǔ)研究都來自于非靈長類動物,我們也確實(shí)取得了很多研究成果,但一旦涉及到人,一旦面對真實(shí)患者的訴求,我們的想法就會轉(zhuǎn)變。我們想做出的是真正能夠?qū)θ祟惍a(chǎn)生幫助的成果。

這里展示的是通過使用現(xiàn)有的治療裝置,喪失溝通能力的患者每分鐘可以表達(dá)出的單詞數(shù),比如吹吸氣接口等,沿著軸線的許多點(diǎn)表示打字速度。當(dāng)然說話是最快的溝通方式,這也是全球幾個(gè)團(tuán)隊(duì)的主攻目標(biāo)。
紅點(diǎn)處是一個(gè)不久前表現(xiàn)最好的案例,使用者憑空想象去移動電腦屏幕上的光標(biāo)并完成這個(gè)動作。我會展示一些相關(guān)的視頻。最快打字速度可以達(dá)到每分鐘8個(gè)單詞。
第二個(gè)將要展示的視頻來自于新近的一篇論文,我們讓使用者嘗試寫字,而我們來解碼這些字母并呈現(xiàn)出來,最后使用者的書寫速度提高了一倍多,達(dá)到每分鐘17-18個(gè)單詞。
而對于語言交流而言,目前的治療系統(tǒng)可以收集來自大腦表層的信號,并從字典中成千上萬的單詞中按照順序進(jìn)行選擇。我們的目標(biāo)是,了解個(gè)體神經(jīng)元與說話之間存在怎樣的關(guān)聯(lián),如何讓人能夠說出想說的任何單詞,也就是所謂的“開放詞匯”。

這是一張非常復(fù)雜的圖表,我就不深入講解了。我只闡述一下相關(guān)的步驟,讓大家更容易理解。
這些都是經(jīng)過測量的信號和數(shù)學(xué),信號從電極裝置發(fā)出,然后過濾功能可以消除一些噪音。我們對信號和綠色部分的解碼模塊的含義進(jìn)行解讀,然后這些信號用于控制這位T5志愿者面前的電腦的白色光標(biāo)。
這是一位肌萎縮性脊髓側(cè)索硬化癥(ALS)患者,手臂和腿均癱瘓。那么我們?nèi)绾螏椭谄聊簧洗蜃帜??大家可以看到在這里電極陣列已經(jīng)接入,她正坐在電腦屏幕前,所有字母都顯示在屏幕上。這時(shí)我們問了她一個(gè)問題:“你是如何教孩子練習(xí)音樂的?”

工作原理是這樣:她試著將右手伸向上下左右各個(gè)方向——其實(shí)我們在做這些動作時(shí)并不知道我們是怎么做到的,我們就是想著去那么做,然后就做到了。你就那么去想,直接試著去上下左右移動(即使你的手臂無法移動)。我們就是這樣幫助患者控制光標(biāo)在屏幕上的位置。
當(dāng)她想要點(diǎn)擊表示“選擇該項(xiàng)”的信號時(shí),字母會變成藍(lán)色,然后在她打字的地方復(fù)制出來。她會試著收緊左手并移動手腕,類信號就可以作為點(diǎn)擊信號。而我們幫助患者實(shí)現(xiàn)了非??斓拇蜃炙俣?。
我們測量打字速度的方式是這樣的:比如我們給出一句話“when the sunlight shines strikes raindrops in the air”,讓她打在屏幕上。我把字體放大,她就知道她需要打出的內(nèi)容,這樣就不用耽誤時(shí)間去想你要說什么,而是直接打字。
這就是那套治療裝置,這是正常速度的視頻?;颊叩拇蜃炙俣燃s為每分鐘32個(gè)正確的字母。比如我在鍵盤上打錯(cuò)了一個(gè)字母,我會去按刪除鍵,而現(xiàn)在手臂癱瘓的患者也可以這么做。

這是T5志愿者的案例,接下來我再分享一下T6志愿者的案例。這位患者展示了如何通過腦機(jī)接口實(shí)現(xiàn)手寫,這個(gè)行為是可重復(fù)的且可保持?jǐn)?shù)年之久。
在移動手寫義肢之前,我們需要一臺平板電腦。我們在亞馬遜下了單,購買了一臺運(yùn)行安卓5操作系統(tǒng)的Nexus 9平板電腦,我們沒有改變?nèi)魏卧O(shè)置,而我們實(shí)現(xiàn)了單詞的手寫和預(yù)測。
過去我們只關(guān)注于患者的原始表現(xiàn),而在這個(gè)案例中她是這樣做的:她看著平板電腦,而我們將平板電腦放大到電腦屏幕上,這樣她就可以看得更清楚。

她曾是一位辛勤的園丁,所以她對蘭花的信息更感興趣,因此她進(jìn)行了搜索并找到了導(dǎo)航菜單。請注意看,有些字母非常小,因此她需要進(jìn)行很精確的控制。我們并沒有開啟放大模式,讓字體變得更大,因?yàn)槲覀兿霚y試一下治療裝置的精度和準(zhǔn)確度的極限。

就像看到滿屏文字的你我一樣,患者覺得自己實(shí)際是想看些圖片,于是返回到谷歌搜索頁面,點(diǎn)擊“圖片”按鈕,蘭花相關(guān)的圖片呈現(xiàn)了出來,最后選擇了自己想看的那張。我們問她:“這張圖片是你想選的那張嗎?”而答案總是“是的。”就這樣我們實(shí)現(xiàn)了通過相同的信號去完成頁面瀏覽和其它各種操作。

這位患者也喜歡在鋼琴上“打字”,也就是彈鋼琴。大家可以看到她在移動并選擇琴鍵。當(dāng)然我們希望她的操作可以更快一些,但這已經(jīng)展示出了更多可能性。對于正常人在平板電腦上的所有操作,患者現(xiàn)在也能完成了。
接下來的時(shí)間,我想分享來自于我們團(tuán)隊(duì)的Frank Willard博士最近的一些研究,關(guān)于手寫的一些研究成果。

如果患者試著寫出比如“hello world”,我們就能讀取到那些信號。我們認(rèn)為過去從沒有人通過相同的電極陣列做同樣的研究?,F(xiàn)在我們可以解碼指尖的軌跡運(yùn)動,然后就可以在屏幕上打出“hello”。
我們的目的不是去完全重建筆跡,比如患者以前寫的字母“h”是什么樣的,我們只是想知道患者是想打出“h”還是“q”還是其它字母。這樣就能讓患者像我們用鍵盤一樣打出自己想要的字母。
所以我們的方法就是,將兩組電極陣列放入皮質(zhì)運(yùn)動區(qū)中負(fù)責(zé)手和手指的區(qū)域。首先我們讓患者寫出字母“a”,然后依次寫出其它一些字母,一直寫一段時(shí)間。這期間我們來收集神經(jīng)數(shù)據(jù),然后我們對遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,也就是機(jī)器學(xué)習(xí)和人工智能算法。
首先我們會自問,我們有機(jī)會成功嗎?如果有,那么我們就應(yīng)該能夠幫助患者打出想要的字母。這是通過解碼大腦來實(shí)現(xiàn)的。

這也是我們已經(jīng)看到的,這是abc等26個(gè)英文字母,能夠識別這些是字母很令人鼓舞。但還是那句話,我們的目的并不是讓患者寫出字體漂亮的字母,而只是想分辨出患者想打出哪個(gè)字母。這個(gè)案例告訴我們可能性很大,因?yàn)槲覀兛吹交颊呖梢远啻未虺龌驅(qū)懗霾煌淖帜?。使用者每寫一個(gè)字母我們都會收集到一些小點(diǎn),比如字母“s”有一些小點(diǎn),字母“o”有一些小點(diǎn),然后我們來對不同字母進(jìn)行區(qū)分。

這是一個(gè)神經(jīng)狀態(tài)空間,我們看這個(gè)集群。我們可以分辨不同的集群,就像分辨夜空中不同的星群一樣。這就是我們建立完整系統(tǒng)所需的強(qiáng)有力證據(jù)。

我來詳細(xì)解釋一下。例如你想寫“paper”這個(gè)字,我們會記錄來自約200個(gè)神經(jīng)元的每一個(gè)動作電位和電脈沖,就像這個(gè)小長方形展示的那樣。在短短20毫秒內(nèi),我們可以讀取信息,然后通過經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)算法來解讀這些信息。而結(jié)果就是判斷出使用者想要打出哪個(gè)字母,是a,b還是c。
在這個(gè)案例中,我們看到輸出的結(jié)果是“tne paper”,我不知道“tne paper”是什么意思,但我想很可能是“the paper”。這確實(shí)是一個(gè)小小的錯(cuò)誤。患者想打出的字母“h”錯(cuò)誤輸出為“n”,但這兩個(gè)字母確實(shí)非常像,所以可能會被混淆。
現(xiàn)在我們可以做得非常好,我將在下一張幻燈片中進(jìn)行展示。
機(jī)器學(xué)習(xí)可以讓我們做得更好,我們可以在公開渠道找到各種語言模型的課程。這類數(shù)據(jù)庫資源非常龐大,包括每兩個(gè)字母組合在一起的所有可能性,因此我們可以將這些信息與大腦發(fā)出的神經(jīng)信息相結(jié)合,在詞匯搜索過程中將兩者相互比對,然后更正錯(cuò)誤。機(jī)器會說患者想打出的很可能不是“tne”,而是“the”,因?yàn)椤皌he paper”是有意義的詞組。這就像是電腦一樣,就像我們使用的拼寫和語法檢查功能一樣。

實(shí)際效果究竟有多好呢?這是一周的記錄。通過使用我們的治療系統(tǒng),使用者每分鐘可以寫出約90個(gè)字母,這比之前用屏幕光標(biāo)打字的速度快了一倍多(當(dāng)時(shí)每分鐘可以打出約40個(gè)字母)。錯(cuò)誤率在5%左右,正確率95%。當(dāng)我們加入了剛才我說的語言模型之后,錯(cuò)誤率從5%降低至0.5%,說明未來還有巨大的提升空間。


如果你看他的手,他的手并沒有動,他只是在大腦中想象著寫出這些字母。這說明我們已經(jīng)可以很好地理解大腦的語言。
而這只是冰山一角。當(dāng)未來數(shù)十年我們真的能夠通過神經(jīng)科學(xué)來解讀大腦時(shí),我們應(yīng)該就能夠在更多的領(lǐng)域做得更好。
最后我來說一下這個(gè)系統(tǒng)與過去的不同。在上方那個(gè)視頻中,患者通過新的手寫系統(tǒng)來打字,下方是三年前打字速度最快紀(jì)錄的視頻。比較這兩段視頻,可以看出在輸出同一句話時(shí),上方視頻中患者的速度是下方的2倍。
這里體現(xiàn)出兩個(gè)關(guān)鍵點(diǎn):第一,由于這是用鍵盤或者手寫,使用者可以寫出任何字母(我們稱其為“開放詞匯”或“開放字典”)。我們并不是從成千上萬的單詞中進(jìn)行選擇,使用者可以打出任何想要的單詞,這也是在不同情況下自然表達(dá)自我的核心要素。
第二,這兩段視頻都來自于T5志愿者,電極陣列已經(jīng)植入3年了,而患者的打字速度提高了一倍多。也就是說這些電極陣列已經(jīng)正常工作了很多年。
我們可以做的改進(jìn)還有很多,許多企業(yè)和研究團(tuán)隊(duì)也在聚焦于此。我們樂于看到這樣的努力,并希望能做出成績。
作為總結(jié),我們相信能夠解碼大腦活動的皮質(zhì)內(nèi)腦機(jī)接口正在快速進(jìn)步,它帶來了全新的與人腦對接的神經(jīng)接口或溝通橋梁。它能耗很低,并可以通過神經(jīng)學(xué)的發(fā)展進(jìn)一步優(yōu)化,此外新的腦機(jī)接口可以很好地控制2D光標(biāo),可以將使用者的打字速度提高一倍以上,就像剛才的案例中展示的那樣。這也得益于神經(jīng)科學(xué)和相關(guān)的機(jī)器學(xué)習(xí)與解碼算法的進(jìn)步,這些信號也可以用來控制機(jī)械手臂和癱瘓手臂的肌肉組織,最后這些全新的皮質(zhì)內(nèi)腦機(jī)接口可以將打字速度提高一倍多,而未來還有更多提升。
對于語言交流,就像我說的,在患者想要說話時(shí),我們可以記錄個(gè)體神經(jīng)元發(fā)出的信號,而未來很可能會取得更大的進(jìn)步。這還是得益于神經(jīng)科學(xué)和相關(guān)的機(jī)器學(xué)習(xí)與解碼算法的發(fā)展,因此科學(xué)與工程之間的緊密結(jié)合是非常重要的。
最后我想表達(dá)我的謝意,感謝所有曾經(jīng)和正在并肩作戰(zhàn)的學(xué)生和博士后,所有校友們,以及所有合作者們。還要特別感謝Jamie Henderson教授和Leigh Hockberg教授,我們像團(tuán)隊(duì)一樣緊密協(xié)作,為患者開發(fā)這些治療系統(tǒng)。
謝謝!
本文內(nèi)容參考以上網(wǎng)址。以上內(nèi)容僅供學(xué)習(xí)使用,不作其它用途,如有侵權(quán),請留言聯(lián)系,作刪除處理!
有任何疑問及建議,掃描以下公眾號二維碼添加交流:
