意念打字破新紀錄 心中想著“說話”詞就蹦躂出來 斯坦福團隊出品


意念打字新紀錄誕生!受試者通過植入設備,平均輸入速度能達每分鐘62個單詞,是團隊之前紀錄的3倍。同時準確率也有明顯提升,面向50個單詞詞匯表,識別準確率比先前紀錄提升2.7倍。據研究者稱,這已開始接近正常人溝通速度(每分鐘160個單詞)。

不信?那就看看現場實況。

受試者“按詞輸入”,點點頭就出個句子,還是蠻絲滑的:


相比下,此前研究按“字母”逐個輸入,顯得更費勁不少:


2021 年登 Nature 封面的成果展示

創造該紀錄的團隊來自斯坦福,前兩天,他們剛將相關論文預印本放上 bioRXiv,引來不小關註。


未參與項目的加州大學舊金山分校研究員 Philip Sabes,將之稱為“重大突破”。他認為,相關技術很快將走出實驗室,進入落地階段。

不少網友也對該成果也相當興奮,Reddit 點贊上萬,有人恨不能立馬給傢人整一套。


值得一提的是,論文發表同一天,共同主要作者之一的 Krishna Shenoy 因胰腺癌去世,不少學者與研究機構為此悼念。


所以這回,科學傢們如何創造出意念打字新紀錄?與之前方式有什麼不同?

繼續往下看。

識別開口說話的神經活動情況

意念打字過去一直是腦科學領域的熱門研究方向,也備受社會大眾關註,更早之前的實現方法是 —— 讓受試者在腦中手寫字母,或是在腦中讀出特定讀音,再靠系統識別。

此次,科學傢們用不同的信息識別辦法 —— 直接讓受試者“說”出來,哪怕隻在大腦裡。

具體來說,他們依靠一套語音腦機接口(BCI)系統,識別人類說話中相關的口腔、面部神經活動情況,通過解碼其動作控制信號,再去輸出受試者想表達的文本。


基於上述思路,科學傢們開展一系列實驗。

此番受試者是一位女性,時年 67 歲,她在 57 歲時被診斷出患有肌萎縮性側索硬化癥 (ALS),該病癥讓她在很長時間被吐字發音不清折磨,說話僅能發出幾個元音,輔音幾乎很難分辨。

為保護隱私,該受試者被團隊稱為 T12,2021 年的研究中,他們也用同樣方法,將另一位男性受試者稱為 T5。

2022 年 3 月,經當事人同意,科學傢為其在腦中植入四個微電極陣列,以檢測語言相關神經活動情況。


在植入後的實驗中,科學傢先讓受試者嘗試做不同動作,觀察相關區域的神經活動狀況。

比如,讓受試者睜眼、閉眼、眨眼以觀察控制眼皮相關神經元活動;再比如讓嘴唇張開、閉合、微笑,以檢測相關腦區活動。當然,實驗觀察部位還包括:額頭、下巴、喉部、舌頭等。

科研團隊發現,不同動作之間神經活動高度分離,在特定檢測頻率下,他們針對 34 個口部面部動作進行解碼,準確率為 92.7%,若面向 39 個音素,解碼準確率為 60%。這側面說明原計劃具備可操作性。


下一步是將說話的相關神經活動和文本關聯起來。

科研工作者預先準備一個 RNN 解碼器,以 80ms 為間隔,檢測識別神經活動信號,這當中,神經網絡會依靠最大概率判斷輸出單詞,錯誤的發音也將被糾正,最終輸出文本。

為訓練該網絡,受試者需要每天嘗試輸出 260-280 語句的數據。

百天之後的測試中,無論是否發出聲音,對單詞的識別速度均在每分鐘 50 詞以上,該表現大約是該團隊此前 2021 年紀錄的 3 倍。

且無論面向 50 個單詞,還是 12500 個單詞,解碼效率差異不大。


識別錯誤率也有大幅改善。

針對 50 個單詞的表達,識別錯誤率在 9.1%,即便受試者進行不發聲表達,錯誤率也僅 11.2%。

針對 12500 單詞庫時,表達識別的錯誤率為 23.8%,不發聲輸出錯誤率為 24.7%,該錯誤率與之前研究面向 50 詞的測試情況正誤情況基本持平,能看出該方法準確度大幅上升。


上述測試之外,科學傢還探究哪些方向能進一步優化該系統。

他們考慮三個維度 —— 語言模型詞匯量、植入腦部電極數量、訓練數據集大小。

結果顯示,隨著單詞數量提高,錯誤率的確會升高,但在 1000 詞量級趨於平緩(下方左圖),團隊由此認為,日後研究通過壓縮單詞數不一定有效。

但對於植入電極數量來說,更多的通道數(精度)的確會帶來錯誤率降低。如下方右圖,從 500 提升到 1000,錯誤率從 4%,降低到 1.9%。


另值得一提的是,即便未經訓練,面向新數據,系統單詞錯誤率也隻有 30%。且通過訓練,錯誤率會不斷下降。


對於後續研究,團隊指出該成果目前還不是完整的、臨床上可落地的系統。此外,24% 錯誤率在日常生活中也還不夠低,後續研究將在各方面努力。

意念打字一直熱度不減

本文一作是 Francis Willett,來自斯坦福霍華德休斯醫學研究所,主要研究領域為腦機接口、運動神經科學,他也對人工神經網絡模型有所涉獵。

2021 年登上 Nature 封面的意念打字研究中,他也是一作。跟上次一樣,此番他表示 —— 將會公佈研究的代碼和數據。


另一位主要作者是 Erin Kunz,來自斯坦福電氣工程系在讀博士,此前,她還曾在通用擔任自動駕駛工程師。


前文提及剛剛過世的 Krishna Shenoy 也是本文主要作者。

2021 年登 Nature 的論文,他亦是貢獻者之一,此前研究中,他破譯與手寫筆記相關的大腦信號,讓截癱患者快速準確地打字。

該項工作十分關鍵,因為當時他們使用的方法是 —— 讓受試者在腦中“寫出”字母


除該團隊,在“意念打字”這件事上,還有更多科學傢在努力。

比如 2022 年 11 月,加利福尼亞大學舊金山分校(UCSF)提出的一種不同方法。他們通過植入 128 通道皮質電圖(ECoG)陣列,外加一個經皮連接器,用來連接植入設備和外部系統。

在識別方式上,他們所想到的是 —— 讓受試者在腦中默念字母 NATO 代碼(比如 α 代替 a,β 代替 b),完成逐個字母輸入,平均 2 秒可鍵入一個字母,最終平均字符錯誤率僅 6.13%。


之前,量子位智庫對該趨勢也有所展望,認為“意念打字”乃至背後的腦機接口技術已在商業化發展上初具雛形。

清華李路明團隊、瑞金醫院、浙江大學及浙大二院神經外科等團隊或機構,均有所積累。


另值得一提的是,去年末馬斯克及 Neuralink 還讓猴子搞一回“意念打字”,雖說是用訓練猴子意念點擊屏幕中的黃色按鈕,但也算“蹭”一波。

當時,馬斯克還說,他和 Neuralink 已向 FDA 遞交諸多文件,預計 6 個月後(預計今年六月)開啟人體試驗。

但能不能等到,還真不一定……

畢竟同樣的話,他在 2022 年 4 月已說過一次。(狗頭)

參考鏈接:

[1]https://www.technologyreview.com/2023/01/24/1067226/an-als-patient-set-a-record-for-communicating-via-a-brain-implant-62-words-per-minute/

[2]https://www.freethink.com/hard-tech/speech-bcis

[3]https://www.biorxiv.org/content/biorxiv/early/2023/01/21/2023.01.21.524489.full.pdf


相關推薦

2024-02-03

快科技2月3日消息,長征二號丙運載火箭今天從西昌衛星發射中心西昌發射場點火升空,成功將吉利星座02組衛星送入預定軌道。這是西昌發射場執行的第200次發射任務。據央視新聞消息,自1984年執行首次發射以來,西昌發射場

2024-02-25

著腦機接口技術的不斷發展,讓失語者開口說話”,通過意念”指揮機械,頻頻出現在大傢視野中。據北京天壇醫院”公眾號介紹,日前,首都醫科大學附屬北京天壇醫院神經外科賈旺教授團隊聯合清華大學洪波教授團隊,利用

2024-02-21

首個植入Neuralink大腦芯片的人類已經完全康復,患者僅用意念,就可以控制鼠標。Neuralink開創的腦機接口時代,終於來!馬斯克離自己的星辰大海,又近一步。就在剛剛,馬斯克宣佈,第一個植入Neuralink的人類患者,已經可以通

2022-10-12

2016年,瑞士公司Grimsel以1.513秒創造電動汽車0-100公裡/小時最快加速的吉尼斯世界紀錄。現在,來自斯圖加特大學的GreenTeam通過打破1.5秒大關將紀錄帶回德國。在2010年年初至年中的大部分時間裡,0-100公裡/小時的電動汽車加速紀

2022-12-26

日前,華為和Orange在法國西南部的Orange網絡上成功實現120公裡光纖157Tbit/s傳輸原型測試的新世界紀錄。今年6月,華為發佈業界首個超寬帶Super C+Super L解決方案,能夠通過使用C波段(C為常規波長)和L波段(L為長波)的光纖提供12THz的

2023-04-16

色調上花心思。場景可能是陰天室內的一張餐桌、一臺放打字機的辦公桌、湧著海浪的沙灘上……場景裡的人們,在沙灘上抱著椰子散步、閉眼吹風,在室內柔軟的床上蹦躂,坐在復古風格的腳踏車上,或者光腳踩在地毯上準備

2022-10-22

,介紹他們通過單個光子芯片/光纖線纜創下的數據傳輸新紀錄。報道指出,丹麥技術大學(DTU)的一支研究團隊,在矽光子學領域取得新的突破——達成前所未有的1.84PB/s數據傳輸速率。新研究使用單根光纖線纜作為傳輸通道這

2023-12-02

( 文字生成視頻 )。選擇模式之後,就跟用 ChatGPT 一樣,打字或者輸入圖片講需求就行。雖然這個 Pika 不像 Runway 有專門的參數調節欄,但想要調節參數它也是可以的,直接加後綴就行。並且這個 Pika 能調節的參數也不少,這次

2024-03-22

更新首位腦植入患者的情況,這位四肢癱瘓患者能夠通過意念下棋。患者本人介紹,他自己會嘗試移動自己右手,向左、向右、向前、向後,然後從那裡開始想象光標在移動,之後光標就能跟隨自己想法移動。據悉,Neuralink成立

2023-03-28

例如,關於前段時間鬧得沸沸揚揚的GPT-4越獄問題。一名斯坦福教授僅僅用30分鐘,就誘導GPT-4制定出越獄計劃,並全部展示出來。對此奧特曼表示,就如同當年iPhone也面臨被“黑”或者說越獄的問題(如當年免費的越獄版App Store

2024-09-25

就以0.979秒的驚人成績打破此前的紀錄,成為這一項目的新紀錄保持者。華容道,這款歷史悠久的中國益智遊戲,與七巧板、九連環等遊戲齊名,被譽為“中國難題”。遊戲的目標是通過移動棋子,以最少的步數幫助曹操從棋盤

2023-10-15

3塊田平均畝產1251.5公斤,創造雜交水稻單季畝產的世界新紀錄。據解,該示范田面積為110畝,種植品種為粒兩優8022”,這一品種穗大粒多,結實率高,高產潛力大,並表現出較強的抗倒伏性。在測產驗收現場,專傢組按照農業

2022-08-17

天見”,並且,周六、日最高氣溫還可能達到45℃的近期新紀錄。

2022-09-03

名的國傢公園在星期四又創造地球上九月份單日最熱氣溫新紀錄,局部地區氣溫達到127華氏度(52.77攝氏度)。雖然炎熱的天氣可能會讓人們到比如說洛杉磯地區的高爾夫球場尋求陰涼,但事實上死亡谷還是成功吸引到希望獵奇的