<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          Nature封面:斯坦福團(tuán)隊(duì)「意念手寫」腦機(jī)接口重磅發(fā)布,速度創(chuàng)記錄!

          共 3582字,需瀏覽 8分鐘

           ·

          2021-05-15 04:53



            新智元報(bào)道  

          來源:Nature

          編輯:小勻、LQ

          【新智元導(dǎo)讀】Nature封面重磅發(fā)布:可將腦中想象的「筆跡」轉(zhuǎn)為屏幕文本,準(zhǔn)確率超99%. 而且,受試者可以每分鐘輸入90個(gè)字符,這是此前使用腦機(jī)接口打字紀(jì)錄的兩倍多,接近同齡健全人每分鐘115個(gè)字符的智能手機(jī)打字速度。


          無需植入,機(jī)器學(xué)習(xí)搞定「讀心術(shù)」。
           
          長(zhǎng)期以來,人們都對(duì)「讀心」的概念著迷。

          說話,這項(xiàng)看似毫不費(fèi)力的活動(dòng),實(shí)際上卻是人類最復(fù)雜的動(dòng)作之一。

          說話需要精確、動(dòng)態(tài)地協(xié)調(diào)聲道發(fā)音器官結(jié)構(gòu)中的肌肉——嘴唇、舌頭、喉部和下頜。

          當(dāng)由于中風(fēng)、肌萎縮側(cè)索硬化癥(ALS)或其他神經(jīng)系統(tǒng)疾病而導(dǎo)致言語中斷時(shí),喪失說話能力可能是毀滅性的。
           
          本周Nature封面重磅發(fā)布一項(xiàng)「拯救性」研究:可將腦中「筆跡」轉(zhuǎn)為屏幕字句,速度創(chuàng)記錄,準(zhǔn)確率超99%。
           
           
          這種方法的重要突破在于:其速度與健全的同齡人在智能手機(jī)上發(fā)短信的速度相媲美。
           

          首次聚焦「手寫體」,接近同齡健全人智能手機(jī)打字速度

           
          近年來,以馬斯克Neuralink為代表的許多腦機(jī)接口公司,都在致力于開發(fā)類似的大腦植入技術(shù)。
           
          然而,沒有人研究過手寫體。
           
          來自斯坦福大學(xué)霍華德?休斯醫(yī)學(xué)研究所(HHMI)研究員克里希納?謝諾伊教授(Krishna Shenoy)與科學(xué)家弗蘭克?威利特(Frank Willett)表示,此次研究的最大創(chuàng)新是首次破譯了與手寫筆記有關(guān)的大腦信號(hào)。斯坦福神經(jīng)外科醫(yī)生杰米?亨德森(Jaimie Henderson)也參與了這項(xiàng)研究。
           
          斯坦福神經(jīng)外科醫(yī)生杰米?亨德森(Jaimie Henderson)和斯坦福HHMI研究員克里希納?謝諾伊教授(Krishna Shenoy)
           
          此前,謝諾伊的團(tuán)隊(duì)對(duì)與語言相關(guān)的神經(jīng)活動(dòng)進(jìn)行了解碼,他們讓植入了神經(jīng)傳感器的受試者嘗試手臂運(yùn)動(dòng)來移動(dòng)屏幕上的光標(biāo),以指向并單擊字母并拼出單詞和句子。

          以這種方式指向和點(diǎn)擊字母讓人們每分鐘輸入大約40個(gè)字符,這是之前用腦機(jī)接口(BCI)打字的速度記錄。
           
          而在最新實(shí)驗(yàn)中,一名受試者可以每分鐘輸入90個(gè)字符,這是此前使用腦機(jī)接口打字紀(jì)錄的兩倍多,接近同齡健全人每分鐘115個(gè)字符的智能手機(jī)打字速度。在線原始準(zhǔn)確率為94.1%,離線自動(dòng)校正的準(zhǔn)確率超過 99%.
           

          「大腦-文本」BCI

           
          該實(shí)驗(yàn)的受試者名為「T5」,他因14年前的脊髓損傷幾乎失去了頸部以下的活動(dòng)能力,僅能做手部抽搐和微動(dòng)。
           
           
          受試者通過想象他拿著鋼筆在一張紙上嘗試寫句子,就好像他的手沒有癱瘓一樣。

          書寫時(shí),利用傳感器從各個(gè)神經(jīng)元收集信號(hào),一個(gè)機(jī)器學(xué)習(xí)算法識(shí)別了他的大腦在每個(gè)字母上產(chǎn)生的模式。

          有了這個(gè)系統(tǒng),受試者復(fù)制書寫(按照所提供的句子再寫一次)句子和回答問題的速度與同齡人在智能手機(jī)上打字的速度相當(dāng)。
           
           
          威利特說,這種所謂的「大腦到文本」的BCI之所以如此快速,是因?yàn)槊總€(gè)字母的書寫都會(huì)產(chǎn)生一種非常獨(dú)特的活動(dòng)模式,這使得算法相對(duì)容易區(qū)分一個(gè)字母和另一個(gè)字母。
           
          亨德森博士在受試者的左腦上放置了兩個(gè)腦機(jī)接口芯片,每個(gè)芯片有100個(gè)電極,這些電極從運(yùn)動(dòng)皮層部分發(fā)射的神經(jīng)元中提取信號(hào),從而控制手部的運(yùn)動(dòng)。
           
           
          這些神經(jīng)信號(hào)通過電線發(fā)送到計(jì)算機(jī),在計(jì)算機(jī)上人工智能算法對(duì)信號(hào)進(jìn)行解碼,并推測(cè)T5預(yù)期的手和手指運(yùn)動(dòng)。
           
          用于打字的腦機(jī)接口
           
          威利特等人開發(fā)出的腦機(jī)接口通過將想象中的手寫嘗試所產(chǎn)生的神經(jīng)活動(dòng)轉(zhuǎn)化為計(jì)算機(jī)屏幕上的文本,使癱瘓的人能夠打字。
           
          簡(jiǎn)單描述就是植入大腦的電極在受試者想象書寫每個(gè)字母時(shí)測(cè)量許多神經(jīng)元的活動(dòng)(線表示每個(gè)神經(jīng)元激發(fā)的時(shí)間點(diǎn))。
           
          一個(gè)叫做遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的深度學(xué)習(xí)模型學(xué)習(xí)每個(gè)字符產(chǎn)生的神經(jīng)活動(dòng)模式,并分析這些活動(dòng)模式如何跨越多個(gè)試驗(yàn)相關(guān)聯(lián),生成聚類圖。
           
          這個(gè)信息被一個(gè)算法用來預(yù)測(cè)參與者在當(dāng)前試驗(yàn)中想象的字母,然后這個(gè)預(yù)測(cè)被翻譯成一個(gè)排版輸出。
           
          筆跡的神經(jīng)表征
           

          高準(zhǔn)確率來自RNN模型


          利用RNN需要大量的訓(xùn)練數(shù)據(jù),但這些數(shù)據(jù)在神經(jīng)接口中是有限的,因?yàn)楹苌儆杏脩粼敢庀胂筮B續(xù)寫作數(shù)小時(shí)。這是該實(shí)驗(yàn)的一大難點(diǎn)
           
          研究團(tuán)隊(duì)用一種被稱為「數(shù)據(jù)增強(qiáng)」的方法解決了該問題。
           
          在這種方法中,參與者先前產(chǎn)生的神經(jīng)活動(dòng)模式被用來產(chǎn)生句子,在這些句子上訓(xùn)練RNN。他們還通過在神經(jīng)活動(dòng)模式中引入人為的變化來擴(kuò)展他們的訓(xùn)練數(shù)據(jù),以模仿人類大腦中自然發(fā)生的變化。
           
           
          在這項(xiàng)研究中,T5需要把每個(gè)字母重復(fù)10次,讓軟件「學(xué)習(xí)」識(shí)別與他嘗試寫那個(gè)特定字母相關(guān)的神經(jīng)信號(hào)。
           
          在接下來數(shù)小時(shí)的測(cè)試中,T5被展示了幾組句子,并被要求在大腦中嘗試「手寫」每一個(gè)句子,沒有使用大寫字母。這些句子比如,「i interrupted, unable to keep silent,」和「within thirty seconds the army had landed.」。
           
          隨著時(shí)間的推移,這些算法提高了它們區(qū)分代表不同字母或符號(hào)的神經(jīng)放電模式的能力。算法對(duì)T5意圖寫的任何字母的解讀在大約「半秒的延遲」后出現(xiàn)在電腦屏幕上。
           
          T5還被要求復(fù)制書寫算法從未接觸過的句子。他最終能夠每分鐘寫出90個(gè)字符,大約18個(gè)單詞。之后,他被要求回答開放性的問題(需要一些停頓來思考),他每分鐘寫了73.8個(gè)字符(平均接近15個(gè)單詞),是2017年研究中自由書寫記錄速度的三倍。
           
          威利特等人的算法做到了準(zhǔn)確分類。復(fù)制書寫錯(cuò)誤率大約是每18或19個(gè)字符中有一個(gè)錯(cuò)誤;自由書寫錯(cuò)誤率約為每11或12個(gè)字符中有一個(gè)。
           
          當(dāng)研究人員通過包括預(yù)測(cè)語言模型(類似于智能手機(jī)上的自動(dòng)糾錯(cuò)功能)后,錯(cuò)誤率明顯較低:復(fù)制書寫的錯(cuò)誤率低于1%,自由書寫的錯(cuò)誤率略高于2%。
           
          「與其他腦機(jī)接口相比,這些錯(cuò)誤率相當(dāng)?shù)??!怪x諾伊說。
           

          訓(xùn)練數(shù)據(jù)集已公開

           
          接下來,該小組的目標(biāo)是與無法說話或患有諸如肌萎縮性側(cè)索硬化癥(ALS)之類的退化性神經(jīng)系統(tǒng)疾病的參與者合作,這種疾病會(huì)奪走患者的說話能力。
           
          威利特和同事的研究開始兌現(xiàn) BCI 技術(shù)的承諾。iBCIs 將需要提供巨大的性能和可用性收益,以證明將電極植入大腦的相關(guān)費(fèi)用和風(fēng)險(xiǎn)是合理的。
           
          重要的是,打字速度并不是決定是否采用這項(xiàng)技術(shù)的唯一因素,這種方法的壽命和魯棒性也需要分析。
           
          研究人員提供了有前景的證據(jù),證明他們的算法在有限的訓(xùn)練數(shù)據(jù)下仍能表現(xiàn)良好,但隨著神經(jīng)活動(dòng)模式的改變,可能還需要進(jìn)一步的研究,才能使設(shè)備在使用壽命期間保持運(yùn)轉(zhuǎn)。
           
          未來繼續(xù)進(jìn)行研究以測(cè)試該方法是否可以推廣到其他用戶以及實(shí)驗(yàn)室以外的場(chǎng)景也至關(guān)重要的。
           
          另一個(gè)問題是這種方法將如何擴(kuò)展和翻譯成其他語言。威利特和他的同事們的模擬研究突出表明,拉丁字母中的幾個(gè)字母書寫方式相似(例如 r, v和u) ,因此比其他字母更難分類。

          拉丁字母中的幾個(gè)字母書寫方式相似(例如 r, v和u) 

          另外,比如泰米爾語有247個(gè)字母,字母彼此之間密切相關(guān),所以可能很難分類。對(duì)于那些還沒有被機(jī)器學(xué)習(xí)的語言預(yù)測(cè)模型很好地表示出來的語言來說,翻譯問題尤其重要。
           
          雖然還有很多工作要做,但威利特和同事們的研究是一個(gè)里程碑,它拓寬了iBCI的應(yīng)用。

          由于它使用的機(jī)器學(xué)習(xí)方法正在迅速改進(jìn),插入最新的模型為未來的改進(jìn)提供了一條有前景的道路。研究小組還將其數(shù)據(jù)集公開,以加速研究進(jìn)展。



          參考資料:

          https://www.hhmi.org/news/brain-computer-interface-turns-mental-handwriting-into-text-on-screen
          https://www.nature.com/articles/d41586-021-00776-8




          AI家,新天地。西山新綠,新智元在等你!


          【新智元高薪誠聘】主筆、高級(jí)編輯、商務(wù)總監(jiān)、運(yùn)營經(jīng)理、實(shí)習(xí)生等崗位,歡迎投遞簡(jiǎn)歷至[email protected] (或微信: 13520015375)


          辦公地址:北京海淀中關(guān)村軟件園3號(hào)樓1100



          瀏覽 30
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  息子无码一区二区三区免费 | 天天日日夜夜成人黄色电影 | 成人做爰黄AA片免费看三区 | 九月色婷婷| 留学生苏琪和外国男友第二季 |