脑机系统将瘫痪男子想法转换为文字准确率高达94%

一名在2007年因脊髓受伤导致颈部以下瘫痪男子已经能够通过脑植入系统将其想法转化为文本来进行交流。

该脑机接口(BCI)设备属于名为大脑之门(BrainGate)的长期合作研究项目的一部分,旨在通过人工智能(AI)来解释手写过程相关神经活动信号。

这名男子在65岁时便参与了该研究,代号T5,由于四肢瘫痪导致基本的书写能力也已经丧失。

据《自然》杂志在今年早些时候报道,在研究中,该男子集中注意力想象通过纸和笔尝试进行书写。

当他这样做时,植入他运动皮层的电极记录了他的大脑活动信号,然后将信号传输给外部计算机上运行的算法来解释这些信号,对T5的想象中的书写轨迹进行解码,尝试对字母表的26个字母和一些基本的标点符号进行还原。

斯坦福大学神经假肢研究员弗兰克·威莱特(Frank Willett)说:“这个新系统同时同时内皮层电极记录到的丰富神经活动以及强有力的语言模型,将神经信号解码为字母,能够快速而准确的创建文本。”

大脑之门(BrainGate)研究中的部分类似系统多年前已经具备将神经活动转录为文本的能力,但之前的这些系统接口专注于控制大脑选择字符——例如使用大脑控制计算机光标进行打字。

殊不知,直接通过解析手写神经信号,可以做到更加灵巧与快捷。当时更不知道可以借助脑机接口(BCI)做到更好。

在这里,T5向我们展示了虚拟手写系统对于失去独立肢体行动能力者的深刻意义。

在测试中,该男子能够达到每分钟90个字符(约18个单词)的书写速度,准确率约为94%(启用自动更正后,准确率高达99%)。

研究人员表示,这不仅比之前的BCI实验(使用虚拟键盘等)快得多,而且几乎与该男子同龄对照组智能手机用户的打字速度相当——大约为每分钟115个字符或23个单词。

威莱特说:“我们了解到,即便是在身体失去运动能力十年以后,大脑仍然具备这样的能力。”

“我们同时了解到,与我们使用的人工智能算法相比,特别是与以恒定速度在直线上移动光标这样的简单运动相比较,手写这样不定速的、曲线轨迹的复杂运动可以做到更快捷。”

研究人员表示,本质上说,因为字母在形状上存在显著的不同,所以与其他不同方式进行输入的BCI系统相比,人工智能算法能够更快地解码用户的书写意图。

尽管这项首创技术具备潜力,但研究人员强调,到目前为止,系统只是概念性初步验证了与一名参与者的合作,因此它还算不上是一个完整、临床上可行的产品。

研究的后续步骤可能包括培训其他人使用接口,扩展字符集来包括更多字符(如大写字母),完善系统的灵敏度,并为用户添加更复杂的编辑工具。

虽然还有很多工作要做,但我们仍然能够在这里看到令人兴奋的每一项进步,让失去交流能力的人们重新获得这项能力。

“我们的成果为BCI开辟了新方法,而且证明了在瘫痪多年后准确解码、快速灵巧运动的可行性。” 研究人员写到。

“我们相信内皮层BCI的未来是光明的。”

详细研究报告可以在《自然》杂志查看:High-performance brain-to-text communication via handwriting | Nature