意念打字登Nature封面！每分鐘寫(xiě)90個(gè)字符，準(zhǔn)確率超99%，網(wǎng)友：我打的都比它慢

點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)

來(lái)源：量子位

萬(wàn)萬(wàn)沒(méi)想到，腦機(jī)接口這么快就有了重大突破！

甚至還登上了Nature封面。

一位截癱患者，正在用“意念”打出一段話，0.5秒左右就能輸出一個(gè)字母。

準(zhǔn)確率也十分驚人，高達(dá)99.1%。

他所需要做的，只是在腦中將字母“手寫(xiě)”出來(lái)，然后系統(tǒng)就會(huì)自動(dòng)識(shí)別生成字母，一分鐘可寫(xiě)90個(gè)字符。

這幅字雖然寫(xiě)的不咋地，但起碼受到了Nature的“青睞”。

值得一提的是，在此之前，這位患者在另一個(gè)測(cè)試項(xiàng)目中，嘗試過(guò)“意念”移動(dòng)光標(biāo)來(lái)打字，不過(guò)一分鐘只能打出13.4個(gè)正確字符 。

此研究一出，就引發(fā)學(xué)界、網(wǎng)友的巨大關(guān)注。

祝賀之余，一位華盛頓大學(xué)教授甚至直呼：我打的都比它慢！

RNN立功了

這位代號(hào)為T(mén)5的老爺子腦中植入的，是兩個(gè)來(lái)自Braingate的電極陣列，各含有96個(gè)電極。

實(shí)驗(yàn)剛開(kāi)始就遇到第一個(gè)困難：如何識(shí)別用戶什么時(shí)候開(kāi)始嘗試書(shū)寫(xiě)字母。

最后發(fā)現(xiàn)原本用于語(yǔ)音識(shí)別的模型可以完成這個(gè)任務(wù)。

解決這個(gè)問(wèn)題之后，研究人員發(fā)現(xiàn)書(shū)寫(xiě)單個(gè)字符時(shí)觀察到的腦部活動(dòng)相對(duì)固定，并且總是集中在一起。

并且書(shū)寫(xiě)形狀類(lèi)似的字母比如“b”和“p”時(shí)用到的區(qū)域是接近的。

看來(lái)即使癱瘓多年，運(yùn)動(dòng)皮層中筆跡的神經(jīng)表征也沒(méi)有消退。

經(jīng)過(guò)人工標(biāo)注后，這些數(shù)據(jù)就可以作為原始數(shù)據(jù)集了。

接下來(lái)是算法，研究人員選擇了循環(huán)神經(jīng)網(wǎng)絡(luò) (Recurrent Neural Network，以下簡(jiǎn)稱(chēng)RNN)。

與常見(jiàn)的前饋神經(jīng)網(wǎng)絡(luò)相比，RNN對(duì)數(shù)據(jù)序列中的每個(gè)元素執(zhí)行相同的任務(wù)，計(jì)算結(jié)果取決于之前的所有結(jié)果，所以用循環(huán)命名。

RNN更擅長(zhǎng)預(yù)測(cè)連續(xù)數(shù)據(jù)，正適合這次研究的連續(xù)書(shū)寫(xiě)一個(gè)句子。

RNN雖強(qiáng)大但有一個(gè)缺點(diǎn)，就是需要大量的數(shù)據(jù)，否則容易出現(xiàn)過(guò)擬合。

這次參與研究的被試就只有老爺子一人，他也不愿意每天花好幾個(gè)小時(shí)大量的進(jìn)行重復(fù)書(shū)寫(xiě)提供數(shù)據(jù)??。

不過(guò)沒(méi)關(guān)系，還有數(shù)據(jù)增強(qiáng) (Data Augmentation)。就是對(duì)每個(gè)圖像數(shù)據(jù)進(jìn)行一些微小的改變，旋轉(zhuǎn)一下、縮放一點(diǎn)、或者鏡像翻轉(zhuǎn)之類(lèi)的操作，增加數(shù)據(jù)的多樣性。

除了26個(gè)字母以外，輸入英文還得有一些必要的標(biāo)點(diǎn)符號(hào)。比如空格，研究人員就要求老爺子用>代替，英文句號(hào)只有一個(gè)點(diǎn)也不好分辨，用～代替。此外還有逗號(hào)、頓號(hào)和問(wèn)號(hào)。

不過(guò)這次研究沒(méi)加入數(shù)字，可能是研究人員覺(jué)得區(qū)分z和2有點(diǎn)難，就留待下次解決了。

開(kāi)始訓(xùn)練時(shí)使用的數(shù)據(jù)只有242個(gè)句子，隨后每天都增加一些，最終共有572個(gè)句子，31,472個(gè)字符。

最后，為了解決有的英文字母之間過(guò)于相似，研究人員還設(shè)計(jì)了一套專(zhuān)用于腦機(jī)接口的字母表進(jìn)行測(cè)試，準(zhǔn)確率會(huì)高不少，但有學(xué)習(xí)成本。

字符準(zhǔn)確率最高達(dá)99.1%

接著，就到了志愿者測(cè)試階段。

根據(jù)屏幕提示，志愿在大腦中一個(gè)字母一個(gè)字母地復(fù)制書(shū)寫(xiě)，字符經(jīng)過(guò)識(shí)別生成在屏幕上。

結(jié)果測(cè)試顯示，從大腦“手寫(xiě)”字符，到字符在屏幕中出現(xiàn)，中間會(huì)有一個(gè)延遲，大概在0.4-0.7秒之間。

整體來(lái)看，志愿者平均每分鐘可以打出18個(gè)單詞、90個(gè)字符，字符錯(cuò)誤率僅為5.9%。

經(jīng)過(guò)類(lèi)似手機(jī)自動(dòng)糾正的預(yù)測(cè)語(yǔ)言模型之后，他們進(jìn)一步將字符的準(zhǔn)確率提高到99.1%。

單詞的錯(cuò)誤率也從25.1%降低到3.4%。

此外，志愿者還進(jìn)行了一番自我創(chuàng)作——不用復(fù)制、自己“書(shū)寫(xiě)”句子，結(jié)果每分鐘也可以打出73.8 個(gè)字符，經(jīng)過(guò)預(yù)測(cè)語(yǔ)言模型糾正后，準(zhǔn)確率超過(guò)了97%。

最后，為了挑戰(zhàn)極限，研究人員還訓(xùn)練了一個(gè)新的RNN，用戶寫(xiě)完整個(gè)句子之后再集中處理，這種方法的正確率高達(dá)99.83%，不過(guò)用戶就得不到實(shí)時(shí)的反饋了。

實(shí)際上，這其實(shí)是BrainGate項(xiàng)目的一部分。這是一個(gè)多機(jī)構(gòu)聯(lián)盟的項(xiàng)目，包括布朗大學(xué)、美國(guó)生物技術(shù)公司Cyberkinetics，專(zhuān)注于腦機(jī)接口技術(shù)，致力于恢復(fù)神經(jīng)系統(tǒng)疾病、損傷或喪失肢體的人的交流、行動(dòng)和獨(dú)立性。

此前，這個(gè)項(xiàng)目實(shí)現(xiàn)了腦機(jī)接口信號(hào)的無(wú)線傳輸，讓患者可以離開(kāi)實(shí)驗(yàn)室環(huán)境，在家輕松上網(wǎng)看視頻。

斯坦福大學(xué)霍華德?休斯醫(yī)學(xué)研究所（HHMI）研究員、論文作者之一Krishna Shenoy表示，此次研究最大的創(chuàng)新在于，破譯了與手寫(xiě)筆記相關(guān)的大腦信號(hào)，讓截癱患者快速準(zhǔn)確的打字。

論文一作，同樣是來(lái)自斯坦福大學(xué)的Frank Willett博士，他表示會(huì)將整個(gè)研究的代碼和神經(jīng)數(shù)據(jù)開(kāi)源。

目前，它還不是一個(gè)完整的、臨床的商業(yè)系統(tǒng)，畢竟也只在一個(gè)人身上進(jìn)行了測(cè)試。

接下來(lái)將在更多測(cè)試群體、打字功能的拓展（編輯、刪除）、擴(kuò)展字符集（比如大寫(xiě)字母，以及其他語(yǔ)言）等方面進(jìn)行提升。

是不是可以dream一個(gè)漢語(yǔ)？

除此之外，還有一些因素值得討論，比如成本和風(fēng)險(xiǎn)。

華盛頓大學(xué)生物工程系學(xué)者Pavithra Rajeswaran、電氣和計(jì)算機(jī)工程系學(xué)者Amy Orsborn表示，這項(xiàng)研究仍需要經(jīng)過(guò)試驗(yàn)論證，將電極植入大腦的費(fèi)用和風(fēng)險(xiǎn)是否合理。

受益的不止癱瘓者

除了癱瘓患者外，也有因其他傷病導(dǎo)致打字困難的人表示很激動(dòng)！

比如閉鎖綜合癥，因部分神經(jīng)的損壞導(dǎo)致身體部分機(jī)能的退化或消失，雖然意識(shí)清醒，但無(wú)法通過(guò)語(yǔ)言交流。

還有重復(fù)性壓迫損傷 (RSI)，包括因使用鼠標(biāo)或打字不當(dāng)產(chǎn)生的鼠標(biāo)手、腱鞘炎等。

有一位RSI患者說(shuō)，我還需要一個(gè)能夠模仿鼠標(biāo)滾輪的功能，不過(guò)網(wǎng)友回復(fù)他說(shuō)你用一個(gè)腳踩的踏板或者眼球追蹤要比侵入型腦機(jī)接口簡(jiǎn)單多了。

看到這個(gè)消息，網(wǎng)友也腦洞大開(kāi)。

有人發(fā)現(xiàn)，想象自己用手寫(xiě)字和直接想象腦海中的軌跡是不一樣的感覺(jué)，不知道哪個(gè)更容易識(shí)別。

要不， 你也試試在腦中寫(xiě)字？（手動(dòng)狗頭）

論文鏈接：
[1]https://www.nature.com/articles/s41586-021-03506-2

參考鏈接：
[1]https://www.nature.com/articles/d41586-021-00776-8
[2]https://news.ycombinator.com/item?id=27134049
[3]https://twitter.com/WillettNeuro
[4]http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/

個(gè)人微信（如果沒(méi)有備注不拉群！）
請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱(chēng)



下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
點(diǎn)亮 ，告訴大家你也在看