本文約3400字，建議閱讀7分鐘
將意念控制走進(jìn)現(xiàn)實(shí)！
5月12日，《Nature》發(fā)布最新一期封面研究：斯坦福大學(xué)的研究人員開(kāi)發(fā)了一項(xiàng)新的腦機(jī)接口技術(shù)，能夠使癱瘓患者直接將腦海里的“想法”轉(zhuǎn)換為電腦屏幕上的手寫(xiě)文字，“打字”速度突飛猛進(jìn)！
研究一經(jīng)發(fā)布，立刻引起廣泛關(guān)注！
一般來(lái)說(shuō)，正常人思考的速度遠(yuǎn)遠(yuǎn)快于交流的速度。比如，我們?cè)谑褂檬謾C(jī)或電腦時(shí)，往往是用手敲鍵盤(pán)，寫(xiě)出腦海里事先已經(jīng)形成的“表達(dá)”。打字的速度是緊跟在想法后面的。
然而，對(duì)于絕大多數(shù)行動(dòng)不便的癱瘓患者而言，盡管他們的大腦思考速度與正常人無(wú)異，但在信息時(shí)代，使用智能設(shè)備、與周圍人交流時(shí)，卻十分困難。
為此，來(lái)自斯坦福大學(xué)、布朗大學(xué)和哈佛醫(yī)學(xué)院的研究人員共同開(kāi)發(fā)了一種專門(mén)用于打字的腦機(jī)接口技術(shù)，使癱瘓患者的打字交流速度加快。
圖注：輸入速度對(duì)比（來(lái)源：NPG Press）
除了腦機(jī)接口界面，這項(xiàng)研究還用到了人工智能技術(shù)來(lái)提高“讀心”的準(zhǔn)確率：研究人員用AI模型學(xué)習(xí)神經(jīng)活動(dòng)和手指活動(dòng)的映射關(guān)系，特定的手指活動(dòng)對(duì)應(yīng)特定的字符，使用的算法是RNN（用于學(xué)習(xí)模式）以及降維方法（用于聚類），然后又用一個(gè)語(yǔ)言模型（通過(guò)前幾個(gè)字符預(yù)測(cè)下一個(gè)字符），對(duì)輸出的初始結(jié)果進(jìn)行校正，使最終屏幕上呈現(xiàn)的結(jié)果（文字）更加準(zhǔn)確。此前，腦機(jī)接口技術(shù)已經(jīng)成功幫助癱瘓患者做簡(jiǎn)單的動(dòng)作（比如伸手或操縱大型物體）。繼馬斯克公司Neuralink在上個(gè)月發(fā)布猴子用意念玩游戲后，腦機(jī)接口研究便被寄予提高癱瘓患者幸福感的更大期望。斯坦福的這項(xiàng)研究，也許是腦機(jī)接口+AI對(duì)“技術(shù)向善”的又一助力！目前，市面上的打字輔助設(shè)備功能，是用戶通過(guò)眼睛眨動(dòng)或語(yǔ)音傳遞來(lái)下達(dá)“打字”命令。其中，癱瘓患者使用眼動(dòng)追蹤鍵盤(pán)時(shí)，每分鐘可以打出大約47.5個(gè)字符，比正常打字的速度（每分鐘約115個(gè)字符）要慢許多，且可能對(duì)患者的身體造成一定程度的損害。而且，眼動(dòng)追蹤鍵盤(pán)也不適用于視力或發(fā)聲有障礙的患者，也不方便用戶重新閱讀電子郵件、以便在用眼睛打字時(shí)根據(jù)郵件內(nèi)容組織回復(fù)內(nèi)容。相比之下，腦機(jī)接口可以通過(guò)解析大腦里的想法來(lái)幫助患者“打字”交流，損害小，也更靈活。然而，此前的腦機(jī)接口打字技術(shù)還無(wú)法與眼動(dòng)儀等打字輔助設(shè)備相比，其中一個(gè)原因是：打字是一項(xiàng)復(fù)雜的任務(wù)。在英語(yǔ)打字時(shí)，我們是從26個(gè)拉丁字母中進(jìn)行選擇?；谟脩舻纳窠?jīng)活動(dòng)，建立分類算法來(lái)預(yù)測(cè)用戶想要選擇的字母，非常具有挑戰(zhàn)性，所以腦機(jī)接口已間接解決了鍵入任務(wù)。例如，非侵入性腦機(jī)接口拼寫(xiě)器向用戶提供了幾個(gè)順序的視覺(jué)提示，并分析了用戶對(duì)所有提示的神經(jīng)反應(yīng)，從而確定了他們想敲打的字母。最成功的侵入式腦機(jī)接口是iBCI技術(shù)，在大腦中植入電極（例如馬斯克的Neuralink溜豬、猴子用意念玩游戲），使用戶可以控制光標(biāo)來(lái)選擇字母鍵，并實(shí)現(xiàn)了每分鐘打40個(gè)字符的速度。但是，這些iBCI與非侵入式眼動(dòng)儀一樣，占據(jù)了用戶的視覺(jué)注意力，且無(wú)法保證提高他們的打字速度。因此，來(lái)自斯坦福大學(xué)研究科學(xué)家Frank Willett與同事開(kāi)發(fā)了一種不同的方法，可以直接解決iBCI中的打字任務(wù)，在用戶思考時(shí)對(duì)字母進(jìn)行解碼（如圖1所示）。 圖1：Willett等人開(kāi)發(fā)的腦機(jī)接口技術(shù)，能夠通過(guò)預(yù)測(cè)神經(jīng)活動(dòng)，將癱瘓患者腦海里想象的打字內(nèi)容轉(zhuǎn)換為電腦屏幕上的文本。在用戶想象要寫(xiě)的字母時(shí)，植入大腦的電極可以測(cè)量許多神經(jīng)元的活動(dòng)（線條表示每個(gè)神經(jīng)元發(fā)射的時(shí)間點(diǎn)）。遞歸神經(jīng)網(wǎng)絡(luò)（RNN）學(xué)習(xí)每個(gè)字母產(chǎn)生的神經(jīng)活動(dòng)模式，并分析這些活動(dòng)模式在多個(gè)試驗(yàn)中的關(guān)系，從而生成聚類圖。算法會(huì)使用此信息來(lái)預(yù)測(cè)當(dāng)前試驗(yàn)中參與者所想象的字母，并將該預(yù)測(cè)轉(zhuǎn)換為印刷輸出。
這項(xiàng)研究需要一種可以預(yù)測(cè)癱瘓用戶想寫(xiě)的字母或標(biāo)點(diǎn)符號(hào)的分類算法。這是一個(gè)挑戰(zhàn)，因?yàn)槲覀儫o(wú)法觀察到人類大腦中的真實(shí)想法。為了克服這一挑戰(zhàn)，Willett等人改寫(xiě)了一個(gè)最初為語(yǔ)音識(shí)別而開(kāi)發(fā)的機(jī)器學(xué)習(xí)算法，使得他們可以僅根據(jù)神經(jīng)活動(dòng)，在用戶嘗試打字時(shí)對(duì)其手和手指進(jìn)行預(yù)測(cè)。每當(dāng)研究參與者想象的字母與給定的字母一致時(shí)，就會(huì)產(chǎn)生神經(jīng)活動(dòng)的模式。根據(jù)這些信息，小組產(chǎn)生了一個(gè)標(biāo)記的數(shù)據(jù)集，數(shù)據(jù)集中包含與每個(gè)字母相對(duì)應(yīng)的神經(jīng)活動(dòng)模式，然后他們?cè)偈褂眠@個(gè)數(shù)據(jù)集來(lái)訓(xùn)練分類算法。為了評(píng)估手寫(xiě)的神經(jīng)表征，受試者需要按照電腦屏幕給出的指令，一次 “手寫(xiě)” 一個(gè)字符，每個(gè)字母重復(fù) 27 次試驗(yàn)。圖注：受試者的 “手寫(xiě)” 筆跡（來(lái)源：NPG Press）為了在這樣的高維空間中實(shí)現(xiàn)準(zhǔn)確的分類，Willett及其同事的分類算法使用了當(dāng)前的多個(gè)機(jī)器學(xué)習(xí)方法，以及擅長(zhǎng)預(yù)測(cè)順序數(shù)據(jù)的遞歸神經(jīng)網(wǎng)絡(luò)（RNN） 。RNN需要足夠的訓(xùn)練數(shù)據(jù)，但這些數(shù)據(jù)在神經(jīng)接口中受到限制，因?yàn)楹苌儆杏脩裟軌蜻B續(xù)幾個(gè)小時(shí)在思考自己要寫(xiě)的內(nèi)容。為此，研究人員使用一種數(shù)據(jù)增強(qiáng)的方法，在該方法中，先前由參與者生成的神經(jīng)活動(dòng)模式可以用于生成人工語(yǔ)句，然后在人工語(yǔ)句上訓(xùn)練RNN。他們還通過(guò)在神經(jīng)活動(dòng)模式中引入人工可變性來(lái)擴(kuò)展訓(xùn)練數(shù)據(jù)，以模仿人腦中自然發(fā)生的變化。這種可變性可以使加了RNN的腦機(jī)接口技術(shù)更加魯棒。通過(guò)上述方法，Willett和同事的算法能夠進(jìn)行非常準(zhǔn)確的分類，從而在94.1％的時(shí)間內(nèi)選出正確的字符。通過(guò)包含預(yù)測(cè)語(yǔ)言模型（類似于在智能手機(jī)上自動(dòng)校正錯(cuò)別字的模型），他們將腦中文字轉(zhuǎn)為屏幕文字的準(zhǔn)確性提高到99.1％。參與者能夠以每分鐘90個(gè)字符的速度準(zhǔn)確輸入內(nèi)容，性能比之前的iBCI提高了兩倍。這項(xiàng)研究的成就不僅僅來(lái)自機(jī)器學(xué)習(xí)，解碼器的性能與饋入解碼器的數(shù)據(jù)同樣出色，這一點(diǎn)也至關(guān)重要。研究人員發(fā)現(xiàn)，與手寫(xiě)嘗試相關(guān)的神經(jīng)數(shù)據(jù)特別適合打字任務(wù)和分類。實(shí)際上，即使使用更簡(jiǎn)單的線性算法，手寫(xiě)筆記也可以進(jìn)行很好的分類，這表明，神經(jīng)數(shù)據(jù)對(duì)這項(xiàng)研究的成功起了很大的作用。通過(guò)模擬分類算法在用不同類型的神經(jīng)活動(dòng)進(jìn)行測(cè)試時(shí)的表現(xiàn)，Willett等人得出了重要的發(fā)現(xiàn)：手寫(xiě)時(shí)的神經(jīng)活動(dòng)比用戶嘗試畫(huà)直線時(shí)的神經(jīng)活動(dòng)具有更大的字母時(shí)間變化性，這種可變性使分類更容易。Willett及其同事的研究展示了腦機(jī)接口技術(shù)的樂(lè)觀前景。iBCI將需要提供巨大的性能和可用性優(yōu)勢(shì)，以證明在大腦中植入電極的費(fèi)用和風(fēng)險(xiǎn)是合理的。圖注：植入大腦的微型電極陣列（來(lái)源：BrainGate）值得注意的是，打字速度并不是決定腦機(jī)接口技術(shù)是否被采用的唯一因素，生命周期和魯棒性也需要考慮。在這項(xiàng)研究中，斯坦福的研究人員證明了，他們的算法在有限的訓(xùn)練數(shù)據(jù)下也能很好地運(yùn)行，但隨著神經(jīng)活動(dòng)模式的改變，可能需要做進(jìn)一步的研究，以使該設(shè)備在其生命周期內(nèi)保持穩(wěn)定的性能。另一個(gè)問(wèn)題是：該方法要如何擴(kuò)展并轉(zhuǎn)換為其他語(yǔ)言？Willett和同事的模擬表明，26個(gè)拉丁字母中，有幾個(gè)字母的書(shū)寫(xiě)方法是相似的（比如r、v和u），因此比其他字母更難分類。在其他語(yǔ)言中，比如泰米爾語(yǔ)，有247個(gè)緊密相關(guān)的字母，可能很難分類。對(duì)于機(jī)器學(xué)習(xí)預(yù)測(cè)語(yǔ)言模型中尚未很好表示的語(yǔ)言，翻譯問(wèn)題尤為重要。盡管仍有許多工作要做，但Willett和同事的研究是一個(gè)里程碑，拓寬了iBCI應(yīng)用落地的前景。這項(xiàng)研究使用了快速發(fā)展的機(jī)器學(xué)習(xí)方法，插入最新模型，為將來(lái)的腦機(jī)接口技術(shù)改進(jìn)提供了一條樂(lè)觀的途徑。該團(tuán)隊(duì)還公開(kāi)了他們的數(shù)據(jù)集，這也會(huì)加快腦機(jī)接口的發(fā)展速度，使癱瘓患者的交流速度加快成為現(xiàn)實(shí)。這一成果公布后，AI科技評(píng)論第一時(shí)間聯(lián)系到了國(guó)內(nèi)研究腦機(jī)接口的知名學(xué)者崔翯老師 ，崔翯老師中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)創(chuàng)新中心高級(jí)研究員?？吹酱隧?xiàng)研究成果，他是興奮地說(shuō)，它真正代表了科學(xué)前沿。就在前一個(gè)多月前，馬斯克剛剛公布了其在腦機(jī)接口領(lǐng)域的最新研究成果：“讓猴子用意念玩游戲”，相關(guān)視頻在國(guó)內(nèi)引發(fā)軒然大波，甚至不少網(wǎng)友認(rèn)為它代表了腦際接口研究的最高成果。相比于馬斯克Neualink的研究成果，本次研究是真正的技術(shù)創(chuàng)新。崔翯老師的學(xué)生肖永祥說(shuō)，“Neualink優(yōu)勢(shì)在于神經(jīng)界面，能夠高通量地?zé)o線傳輸神經(jīng)信號(hào)。但它的游戲任務(wù)其實(shí)是非常簡(jiǎn)單的，只是一維控制，Shenoy的工作難度要遠(yuǎn)高于它。Shenoy的工作是腦控解碼手寫(xiě)字，它是需要解碼多個(gè)字母（記得是30個(gè)字符），還需要解碼字母出現(xiàn)時(shí)間。它在解碼算法上是一流的。”
我們知道，腦機(jī)接口技術(shù)包括三個(gè)部分：神經(jīng)界面（記錄系統(tǒng)），解碼算法，神經(jīng)假肢。算法優(yōu)勢(shì)是其中的一個(gè)關(guān)鍵部分。在這項(xiàng)研究中，神經(jīng)界面是常規(guī)的，它主要?jiǎng)?chuàng)新點(diǎn)在解碼算法和算法對(duì)應(yīng)的效應(yīng)器。“傳統(tǒng)解碼算法或者是解碼機(jī)械臂移動(dòng)、抓握，或者是解碼屏幕上的光標(biāo)位置，或者是解碼屏幕上的打字鍵盤(pán)。而這篇工作不需要任何視覺(jué)提示，只需要被試想象手寫(xiě)動(dòng)作，就能夠解碼出被試想象手寫(xiě)的字母。這在領(lǐng)域中是開(kāi)創(chuàng)性的。”另外，它與馬斯克研究不同的是，Neualink是自己開(kāi)發(fā)的腦機(jī)接口記錄系統(tǒng)，通過(guò)藍(lán)牙無(wú)線傳輸。而這項(xiàng)研究是用blackrock的記錄系統(tǒng)，是有線傳輸。
https://www.nature.com/articles/d41586-021-00776-8https://www.nature.com/articles/s41586-021-03506-2
