最近,上海岩思类脑人工智能研究院与复旦大学附属华山医院合作,在脑机接口领域取得突破。10例受试者的大脑植入电极后,经过短时间训练,通过解码其大脑神经电活动,与脑部电极相连的电脑就会实时显示出他们想说的中文语句。这一进入临床试验阶段的科研成果,将为渐冻症、脑卒中等失语患者带来福音。
脑机接口是实现大脑与外部设备信息交互的交叉前沿技术,在医疗、康养、教育等领域有广阔的应用前景。近年来,上海在全国率先开展脑机接口关键技术的系统性布局,培育产学研医深度融合的创新生态,已涌现出一批国内领先的科研成果。

侵入式脑机接口中文解码示意图
通过解码大脑神经活动实现“意念说话”这一突破,就源自产学研医深度融合的创新生态。华山医院院长毛颖介绍,在市科委支持下,华山医院利用多年积累的临床资源,建立了一个高质量颅内脑电数据库。同时,华山医院与国内多家神经外科头部医院组建了iBrain脑电数据联盟。岩思类脑等加入联盟的成员单位可获得高质量颅内脑电数据集,用于脑机接口技术和产品研发。
“在这个全球最大的人类颅内脑电数据库支持下,我们团队已研发出脑电大模型,它类似于ChatGPT的底层预训练模型,能精准读取脑电信号的意图。”岩思类脑首席科学家李孟教授说。
解读语言方面的脑电信号,是脑电大模型的一项重要功能。据介绍,解读中文的脑电信号比英文难得多,因为英文的音素只有近50个,而中文的声母、韵母、四声的排列组合,使音素多达400个以上。凭借先进的多脑区立体脑电协同解码技术,以及高质量颅内脑电数据集的支撑,岩思类脑应用其自研的脑电大模型破解了这个复杂语言系统难题。目前,脑电大模型对中文声母的识别准确率超83%,韵母识别准确率超84%,达到行业领先水平。

脑电大模型对中文声母、韵母的识别准确率达到行业领先水平。
参加临床试验的癫痫受试者此前已植入多根sEEG(立体定向脑电图)电极,在模型训练阶段,他们仅耗时100分钟,朗读了54个汉字。在训练过程中,电极采集了受试者不同脑区、不同深度的脑电信号,将它们输入脑电大模型。这是一个模型微调过程,脑电大模型将受试者读出的54个汉字拆分成声母和韵母,精准识别它们对应的脑电信号,进而利用“声母/韵母—音节—单字—语句”四级解码架构,为每一名受试者构建了个性化的脑电大模型。
临床试验显示,脑电大模型可在54个汉字训练集基础上,解读出1951个常用汉字,外推率高达1∶36,具有很强的泛化性。半秒钟内,大模型就能解读出一个完整的中文语句,且语句字数没有限制,理论上可达到很高的输出率。
李孟认为,这一脑机接口技术突破意味着能把人的想法准确、高效地转化成文字。今后,它不仅能让失语患者重获语言表达能力,还能利用大脑神经活动解码生成的文字获得其他能力,如用意念操控物理智能设备、与元宇宙进行交互,或利用多模态大模型绘画,把脑海中的语言转化为表达梦想的画作。