跨學(xué)科應(yīng)用！GAN論文登上Nature子刊
點擊上方“機器學(xué)習(xí)與生成對抗網(wǎng)絡(luò)”，關(guān)注星標
獲取有趣、好玩的前沿干貨！
來源 |?量子位（QbitAI）?作者?|?博雯 夢晨?編輯?|?凹非寺
GAN這回玩了票大的，把手伸向了“人腦思維”。
沒錯，直接就是一個“合成思維”——生成用來喂給腦機接口的那種大腦活動數(shù)據(jù)。
作者表示，這是AI首次在該領(lǐng)域被應(yīng)用。
并且這項技術(shù)一舉把訓(xùn)練腦機接口系統(tǒng)提取、分析大腦信號的時間，提高了整整20倍。
此項研究來自南加大華人博士溫士賢團隊。
論文已發(fā)表在Nature子刊上。
而在我們與作者溫士賢的深入交談中，他表示會繼續(xù)推進相關(guān)研究：
這項研究成果未來可以用于諸多神經(jīng)解碼問題上，自己也會繼續(xù)在失眠、自閉癥、多動癥、阿茲海默癥等疾病的個性化的干預(yù)和阻斷上進行研究。
首次用AI合成“思維”
可是問題就來了，為什么要用AI去“偽造”神經(jīng)活動數(shù)據(jù)呢？
直接用人類的不好嗎？
還真不一定好。
比如，今年5月份登上Nature封面的意念打字研究，這位代號T5，全身癱瘓的老爺子是唯一的受試者：
模型所需的訓(xùn)練數(shù)據(jù)，就是這位老爺子在腦中一筆一畫“寫”出來的字母：
在腦海中想象文字的軌跡和手動書寫本來就難度不同，而模型需要的還不僅是幾個字母，而是大量重復(fù)的書寫數(shù)據(jù)。
要讓一位殘疾人每天花幾個小時去做重復(fù)任務(wù)，不僅辛苦，數(shù)據(jù)收集的速度和數(shù)據(jù)集最終的大小自然都非常有限。
而在要讓算法解讀神經(jīng)活動信號的腦機接口，本身也是一個機器學(xué)習(xí)問題。
因此，算法效果當然會依賴于巨量訓(xùn)練數(shù)據(jù)的支撐，而在實際實驗中，真不一定弄得到那么多數(shù)據(jù)。
就算有充足的可用數(shù)據(jù)，不同受試對象的神經(jīng)元信號也存在差異。
一個人的數(shù)據(jù)訓(xùn)練出來的解碼算法要應(yīng)用到另一個人身上，就必須重頭再來。
除此之外，就算是同主體上的解碼算法的效果，也會隨著時間推移而變差，需要定期重新校準。
更何況，有些最需要腦機接口幫助的殘障人士，因神經(jīng)系統(tǒng)損壞已經(jīng)無法發(fā)送相應(yīng)的信號了。
那么，要如何解決或者改善上面這些問題呢？
溫士賢博士表示：
GAN就完事兒了。
讓猴子玩貪吃蛇
這次研究的被試者是兩只小猴子，它們需要完成的任務(wù)很簡單。
屏幕上會有物體在隨機位置出現(xiàn)，小猴子要用搖桿控制屏幕上的光標去接觸這個物體。
結(jié)合論文的配圖一看，大概類似于貪吃蛇？
小猴子手臂處植入的電極陣列會采集神經(jīng)的運動控制（Motor Control）信號。
初級運動皮層的神經(jīng)元會以1-2毫秒間隔釋放100毫伏左右的間歇性脈沖，神經(jīng)元每次激發(fā)就會產(chǎn)生一個峰值。
這種活動模式被叫做峰電位序列?（Spike Train）。
△真實神經(jīng)元的峰電位序列
研究人員先用雙向LSTM網(wǎng)絡(luò)設(shè)計了GAN中的生成器和鑒別器，用采集到的神經(jīng)數(shù)據(jù)加上隨機高斯噪聲來合成新的數(shù)據(jù)。
研究要解決的關(guān)鍵問題，是如何只用少量真實采集的數(shù)據(jù)來生產(chǎn)可用的合成數(shù)據(jù)。
△合成的峰電位序列
對于神經(jīng)信號來說，合成數(shù)據(jù)的可用性面臨兩個問題：
不同個體產(chǎn)生的信號有不同模式，就連同一個體在不同時間的神經(jīng)信號也會不同。
而之前的步驟就相當于預(yù)訓(xùn)練，下一步就是針對這些情況來微調(diào)。
結(jié)合另一只猴子或同一只猴子在不同時間采集的數(shù)據(jù)來作微調(diào)，最終產(chǎn)生大量可適用于不同情況的峰電位序列。
最后一步就是驗證用少量真實數(shù)據(jù)+大量合成的數(shù)據(jù)訓(xùn)練腦機接口解碼器，以驗證效果。
最終他們只用不到1分鐘的真實數(shù)據(jù)加上合成數(shù)據(jù)，就能當20分鐘的真實數(shù)據(jù)用。
論文最后提到，雖然這次研究只實驗了猴子的運動控制信號，不過研究所用的方法是純數(shù)據(jù)驅(qū)動的，不對運動控制問題有額外的設(shè)計。
換句話說，這篇論文提出的方法是通用的，如果用于其他神經(jīng)的編碼解碼問題，只需要做最小限度的修改即可。
論文第一作者溫士賢在與杜克大學(xué)腦機接口專家Miguel Nicolelis合作的另一項研究中還做了讓小猴子玩跑步機的實驗。
溫士賢表示，這是AI第一次用于合成思維或運動信號，能推進腦機接口技術(shù)的進一步應(yīng)用落地。
不過還有最后一個問題，以猴子為實驗對象做出來的方法能不能遷移到人類身上？
在與量子位的交流中，溫士賢認為僅從解碼算法的角度來看問題不大，研究中已經(jīng)考慮到了這一點。
更多的問題是腦機接口硬件和材料的設(shè)計問題，比如設(shè)備和人類生物細胞的兼容度，還有采集芯片怎么快速和安全的植入到正確的位置等。
“腦機接口的重點還是科學(xué)”
論文的一作溫士賢本科畢業(yè)于北京交通大學(xué)，現(xiàn)在是一名南加州大學(xué)維特比工程學(xué)院的博士生，就讀于計算機系，主要研究方向是AI和神經(jīng)科學(xué)。
而他的導(dǎo)師是南加州大學(xué)的計算機科學(xué)，心理學(xué)和神經(jīng)科學(xué)的副教授Laurent Itti。
Laurent Itti主要研究視覺注意、場景理解、眼球運動控制等領(lǐng)域，同時也是多個開源的神經(jīng)形態(tài)視覺軟件工具包的開發(fā)者。
腦機接口其實并不是導(dǎo)師Itti的主要研究方向，神經(jīng)科學(xué)一開始只是溫士賢自己的興趣。
在研究生期間，又一次他看到杜克大學(xué)腦機接口專家Miguel Nicolelis教授著名的TED演講，介紹了他們?nèi)绾斡媚X機接口幫助一個癱瘓青年用意念在巴西足球世界杯上開了第一球。
后來更是有機會到Nicolelis教授的實驗室實習(xí)，這一實驗室的研究成果中，有很多通過腦機接口技術(shù)幫助殘疾人的案例。
這算是我第一次和腦機接口“結(jié)緣”。
而這次的論文是溫士賢自己拉來日內(nèi)瓦大學(xué)和美國西北大學(xué)的研究者一起合作完成。
現(xiàn)在，溫士賢即將博士畢業(yè)，而他也選擇繼續(xù)在AI+神經(jīng)科學(xué)的方向從業(yè)。
目前他已經(jīng)面試了一些國內(nèi)的大學(xué)和研究機構(gòu)，以及當紅的腦機接口公司，已經(jīng)拿到一些不錯的Offer。
而關(guān)于腦機接口，神經(jīng)科學(xué)的行業(yè)現(xiàn)狀和趨勢，溫士賢表示：
腦科學(xué)的市場本身有巨大的需求，比如Neuralink的腦疾病治療、Apple的mental health評估、Meta的Ctrl lab在元宇宙中改善人機交互的硬件等等。
所以它的重點還是科學(xué)，而不是比誰的市場化做的更好。
因此，這種商業(yè)模式是最有利于我們這種科研人員創(chuàng)業(yè)的。
論文地址：
https://www.nature.com/articles/s41551-021-00811-z
參考鏈接：
[1]https://viterbischool.usc.edu/news/2021/11/deepfaking-the-mind-could-improve-brain-computer-interfaces-for-people-with-disabilities/
[2]https://www.stat.cmu.edu/~kass/papers/SpikeTrain.pdf
猜您喜歡：
等你著陸！【GAN生成對抗網(wǎng)絡(luò)】知識星球！
CVPR 2021 | GAN的說話人驅(qū)動、3D人臉論文匯總
CVPR 2021 | 圖像轉(zhuǎn)換 今如何？幾篇GAN論文
CVPR 2021生成對抗網(wǎng)絡(luò)GAN部分論文匯總
最新最全20篇！基于 StyleGAN 改進或應(yīng)用相關(guān)論文
附下載 | 經(jīng)典《Think Python》中文版
附下載 | 最新2020李沐《動手學(xué)深度學(xué)習(xí)》
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實戰(zhàn)》
附下載 | 超100篇！CVPR 2020最全GAN論文梳理匯總！
附下載 |《計算機視覺中的數(shù)學(xué)方法》分享