中文字幕无码人妻在线二区,农村人妻日本三级,日日干91,韩国精品无码,国产中文,清清草在线视频,免费观看黄色一级视频,天天操天天拍

新智元報(bào)道

來源：Nature

編輯：小勻、LQ

【新智元導(dǎo)讀】Nature封面重磅發(fā)布：可將腦中想象的「筆跡」轉(zhuǎn)為屏幕文本，準(zhǔn)確率超99%. 而且，受試者可以每分鐘輸入90個(gè)字符，這是此前使用腦機(jī)接口打字紀(jì)錄的兩倍多，接近同齡健全人每分鐘115個(gè)字符的智能手機(jī)打字速度。

無需植入，機(jī)器學(xué)習(xí)搞定「讀心術(shù)」。

長(zhǎng)期以來，人們都對(duì)「讀心」的概念著迷。

說話，這項(xiàng)看似毫不費(fèi)力的活動(dòng)，實(shí)際上卻是人類最復(fù)雜的動(dòng)作之一。

說話需要精確、動(dòng)態(tài)地協(xié)調(diào)聲道發(fā)音器官結(jié)構(gòu)中的肌肉——嘴唇、舌頭、喉部和下頜。

當(dāng)由于中風(fēng)、肌萎縮側(cè)索硬化癥（ALS）或其他神經(jīng)系統(tǒng)疾病而導(dǎo)致言語中斷時(shí)，喪失說話能力可能是毀滅性的。

本周Nature封面重磅發(fā)布一項(xiàng)「拯救性」研究：可將腦中「筆跡」轉(zhuǎn)為屏幕字句，速度創(chuàng)記錄，準(zhǔn)確率超99%。

這種方法的重要突破在于：其速度與健全的同齡人在智能手機(jī)上發(fā)短信的速度相媲美。

首次聚焦「手寫體」，接近同齡健全人智能手機(jī)打字速度

近年來，以馬斯克Neuralink為代表的許多腦機(jī)接口公司，都在致力于開發(fā)類似的大腦植入技術(shù)。

然而，沒有人研究過手寫體。

來自斯坦福大學(xué)霍華德?休斯醫(yī)學(xué)研究所（HHMI）研究員克里希納?謝諾伊教授（Krishna Shenoy）與科學(xué)家弗蘭克?威利特（Frank Willett）表示，此次研究的最大創(chuàng)新是首次破譯了與手寫筆記有關(guān)的大腦信號(hào)。斯坦福神經(jīng)外科醫(yī)生杰米?亨德森（Jaimie Henderson）也參與了這項(xiàng)研究。

斯坦福神經(jīng)外科醫(yī)生杰米?亨德森（Jaimie Henderson）和斯坦福HHMI研究員克里希納?謝諾伊教授（Krishna Shenoy）

此前，謝諾伊的團(tuán)隊(duì)對(duì)與語言相關(guān)的神經(jīng)活動(dòng)進(jìn)行了解碼，他們讓植入了神經(jīng)傳感器的受試者嘗試手臂運(yùn)動(dòng)來移動(dòng)屏幕上的光標(biāo)，以指向并單擊字母并拼出單詞和句子。

以這種方式指向和點(diǎn)擊字母讓人們每分鐘輸入大約40個(gè)字符，這是之前用腦機(jī)接口（BCI）打字的速度記錄。

而在最新實(shí)驗(yàn)中，一名受試者可以每分鐘輸入90個(gè)字符，這是此前使用腦機(jī)接口打字紀(jì)錄的兩倍多，接近同齡健全人每分鐘115個(gè)字符的智能手機(jī)打字速度。在線原始準(zhǔn)確率為94.1％，離線自動(dòng)校正的準(zhǔn)確率超過 99%.

「大腦-文本」BCI

該實(shí)驗(yàn)的受試者名為「T5」，他因14年前的脊髓損傷幾乎失去了頸部以下的活動(dòng)能力，僅能做手部抽搐和微動(dòng)。

受試者通過想象他拿著鋼筆在一張紙上嘗試寫句子，就好像他的手沒有癱瘓一樣。

書寫時(shí)，利用傳感器從各個(gè)神經(jīng)元收集信號(hào)，一個(gè)機(jī)器學(xué)習(xí)算法識(shí)別了他的大腦在每個(gè)字母上產(chǎn)生的模式。

有了這個(gè)系統(tǒng)，受試者復(fù)制書寫（按照所提供的句子再寫一次）句子和回答問題的速度與同齡人在智能手機(jī)上打字的速度相當(dāng)。

威利特說，這種所謂的「大腦到文本」的BCI之所以如此快速，是因?yàn)槊總€(gè)字母的書寫都會(huì)產(chǎn)生一種非常獨(dú)特的活動(dòng)模式，這使得算法相對(duì)容易區(qū)分一個(gè)字母和另一個(gè)字母。

亨德森博士在受試者的左腦上放置了兩個(gè)腦機(jī)接口芯片，每個(gè)芯片有100個(gè)電極，這些電極從運(yùn)動(dòng)皮層部分發(fā)射的神經(jīng)元中提取信號(hào)，從而控制手部的運(yùn)動(dòng)。

這些神經(jīng)信號(hào)通過電線發(fā)送到計(jì)算機(jī)，在計(jì)算機(jī)上人工智能算法對(duì)信號(hào)進(jìn)行解碼，并推測(cè)T5預(yù)期的手和手指運(yùn)動(dòng)。

用于打字的腦機(jī)接口

威利特等人開發(fā)出的腦機(jī)接口通過將想象中的手寫嘗試所產(chǎn)生的神經(jīng)活動(dòng)轉(zhuǎn)化為計(jì)算機(jī)屏幕上的文本，使癱瘓的人能夠打字。

簡(jiǎn)單描述就是植入大腦的電極在受試者想象書寫每個(gè)字母時(shí)測(cè)量許多神經(jīng)元的活動(dòng)(線表示每個(gè)神經(jīng)元激發(fā)的時(shí)間點(diǎn))。

一個(gè)叫做遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的深度學(xué)習(xí)模型學(xué)習(xí)每個(gè)字符產(chǎn)生的神經(jīng)活動(dòng)模式，并分析這些活動(dòng)模式如何跨越多個(gè)試驗(yàn)相關(guān)聯(lián)，生成聚類圖。

這個(gè)信息被一個(gè)算法用來預(yù)測(cè)參與者在當(dāng)前試驗(yàn)中想象的字母，然后這個(gè)預(yù)測(cè)被翻譯成一個(gè)排版輸出。

筆跡的神經(jīng)表征

高準(zhǔn)確率來自RNN模型

利用RNN需要大量的訓(xùn)練數(shù)據(jù)，但這些數(shù)據(jù)在神經(jīng)接口中是有限的，因?yàn)楹苌儆杏脩粼敢庀胂筮B續(xù)寫作數(shù)小時(shí)。這是該實(shí)驗(yàn)的一大難點(diǎn)。

研究團(tuán)隊(duì)用一種被稱為「數(shù)據(jù)增強(qiáng)」的方法解決了該問題。

在這種方法中，參與者先前產(chǎn)生的神經(jīng)活動(dòng)模式被用來產(chǎn)生句子，在這些句子上訓(xùn)練RNN。他們還通過在神經(jīng)活動(dòng)模式中引入人為的變化來擴(kuò)展他們的訓(xùn)練數(shù)據(jù)，以模仿人類大腦中自然發(fā)生的變化。

在這項(xiàng)研究中，T5需要把每個(gè)字母重復(fù)10次，讓軟件「學(xué)習(xí)」識(shí)別與他嘗試寫那個(gè)特定字母相關(guān)的神經(jīng)信號(hào)。

在接下來數(shù)小時(shí)的測(cè)試中，T5被展示了幾組句子，并被要求在大腦中嘗試「手寫」每一個(gè)句子，沒有使用大寫字母。這些句子比如，「i interrupted, unable to keep silent,」和「within thirty seconds the army had landed.」。

隨著時(shí)間的推移，這些算法提高了它們區(qū)分代表不同字母或符號(hào)的神經(jīng)放電模式的能力。算法對(duì)T5意圖寫的任何字母的解讀在大約「半秒的延遲」后出現(xiàn)在電腦屏幕上。

T5還被要求復(fù)制書寫算法從未接觸過的句子。他最終能夠每分鐘寫出90個(gè)字符，大約18個(gè)單詞。之后，他被要求回答開放性的問題(需要一些停頓來思考)，他每分鐘寫了73.8個(gè)字符（平均接近15個(gè)單詞），是2017年研究中自由書寫記錄速度的三倍。

威利特等人的算法做到了準(zhǔn)確分類。復(fù)制書寫錯(cuò)誤率大約是每18或19個(gè)字符中有一個(gè)錯(cuò)誤；自由書寫錯(cuò)誤率約為每11或12個(gè)字符中有一個(gè)。

當(dāng)研究人員通過包括預(yù)測(cè)語言模型(類似于智能手機(jī)上的自動(dòng)糾錯(cuò)功能)后，錯(cuò)誤率明顯較低：復(fù)制書寫的錯(cuò)誤率低于1%，自由書寫的錯(cuò)誤率略高于2%。

「與其他腦機(jī)接口相比，這些錯(cuò)誤率相當(dāng)?shù)??！怪x諾伊說。

訓(xùn)練數(shù)據(jù)集已公開

接下來，該小組的目標(biāo)是與無法說話或患有諸如肌萎縮性側(cè)索硬化癥（ALS）之類的退化性神經(jīng)系統(tǒng)疾病的參與者合作，這種疾病會(huì)奪走患者的說話能力。

威利特和同事的研究開始兌現(xiàn) BCI 技術(shù)的承諾。iBCIs 將需要提供巨大的性能和可用性收益，以證明將電極植入大腦的相關(guān)費(fèi)用和風(fēng)險(xiǎn)是合理的。

重要的是，打字速度并不是決定是否采用這項(xiàng)技術(shù)的唯一因素，這種方法的壽命和魯棒性也需要分析。

研究人員提供了有前景的證據(jù)，證明他們的算法在有限的訓(xùn)練數(shù)據(jù)下仍能表現(xiàn)良好，但隨著神經(jīng)活動(dòng)模式的改變，可能還需要進(jìn)一步的研究，才能使設(shè)備在使用壽命期間保持運(yùn)轉(zhuǎn)。

未來繼續(xù)進(jìn)行研究以測(cè)試該方法是否可以推廣到其他用戶以及實(shí)驗(yàn)室以外的場(chǎng)景也至關(guān)重要的。

另一個(gè)問題是這種方法將如何擴(kuò)展和翻譯成其他語言。威利特和他的同事們的模擬研究突出表明，拉丁字母中的幾個(gè)字母書寫方式相似(例如 r, v和u) ，因此比其他字母更難分類。

拉丁字母中的幾個(gè)字母書寫方式相似(例如 r, v和u)

另外，比如泰米爾語有247個(gè)字母，字母彼此之間密切相關(guān)，所以可能很難分類。對(duì)于那些還沒有被機(jī)器學(xué)習(xí)的語言預(yù)測(cè)模型很好地表示出來的語言來說，翻譯問題尤其重要。

雖然還有很多工作要做，但威利特和同事們的研究是一個(gè)里程碑，它拓寬了iBCI的應(yīng)用。

由于它使用的機(jī)器學(xué)習(xí)方法正在迅速改進(jìn)，插入最新的模型為未來的改進(jìn)提供了一條有前景的道路。研究小組還將其數(shù)據(jù)集公開，以加速研究進(jìn)展。

參考資料：

https://www.hhmi.org/news/brain-computer-interface-turns-mental-handwriting-into-text-on-screen

https://www.nature.com/articles/d41586-021-00776-8

AI家，新天地。西山新綠，新智元在等你！

【新智元高薪誠聘】主筆、高級(jí)編輯、商務(wù)總監(jiān)、運(yùn)營經(jīng)理、實(shí)習(xí)生等崗位，歡迎投遞簡(jiǎn)歷至[email protected] (或微信: 13520015375)

辦公地址：北京海淀中關(guān)村軟件園3號(hào)樓1100

Nature封面：斯坦福團(tuán)隊(duì)「意念手寫」腦機(jī)接口重磅發(fā)布，速度創(chuàng)記錄！

新智元報(bào)道