Meta AI介绍了Brain2QWerty:一种新的深度学习模型,用于用EEG或MEG从大脑活动中解码句子,而参与者在QWERTY键盘上短暂地记住了句子
作者:Asif Razzaq
近年来,脑部计算机界面(BCIS)取得了重大进展,为有言语或运动障碍的人提供了通信解决方案。但是,最有效的BCIS依赖于侵入性方法,例如植入的电极,这些方法构成了医疗风险,包括感染和长期维护问题。已经探索了非侵入性替代方案,特别是基于脑电图(EEG)的替代方法,但由于信号分辨率较差而导致的精度较低。该领域的主要挑战是提高非侵入性方法的可靠性。Meta ai对Brain2QWerty的研究提出了解决这一挑战的一步。
元AI介绍brain2qwerty,一种神经网络,旨在解码使用大脑活动的句子脑电图或磁脑电图(MEG)。该研究的参与者在记录其大脑活动时在Qwerty键盘上键入了记忆的句子。与以前的方法不同的方法需要用户专注于外部刺激或想象中的运动,Brain2QWerty利用与打字相关的自然运动过程,提供了一种可能更直观的解释大脑活动的方式。
模型架构及其潜在利益
Brain2Qwerty是一个三阶段神经网络旨在处理大脑信号并推断键入文本。该体系结构包括:
- 卷积模块:从EEG/MEG信号中提取时间和空间特征。
- 变压器模块:处理序列以完善表示并改善上下文理解。
- 语言模型模块:审慎的角色级语言模型纠正并完善了预测。
通过整合这三个组件,Brain2Qwerty比以前的模型可以提高精度,从而改善了解码性能并减少脑对文本翻译的错误。
评估绩效和关键发现
该研究测量了Brain2QWerty的有效性字符错误率(CER):
- 基于脑电图的解码导致a67%CER,表示错误率很高。
- 基于MEG的解码用32%CER。
- 最准确的参与者19%CER,证明模型在最佳条件下的潜力。
这些结果突出了脑电图对准确的文本解码的局限性,同时显示了MEG对非侵入性脑对文本应用的潜力。该研究还发现,Brain2Qwerty可以纠正参与者犯的印刷错误,这表明它捕获了与打字相关的运动和认知模式。
考虑和未来的方向
Brain2Qwerty代表了非侵入性BCIS的进展,但仍有一些挑战:
- 实时实现:该模型当前处理完整的句子,而不是实时处理单个击键。
- MEG技术的可访问性:虽然MEG胜过EEG,但它需要尚未便携式或广泛使用的专门设备。
- 适用于有障碍的人:该研究是与健康参与者进行的。需要进一步的研究来确定其对运动或语音障碍患者的普遍性。
查看 。 纸。这项研究的所有功劳都归该项目的研究人员。另外,不要忘记跟随我们 叽叽喳喳加入我们的 电报频道和 LinkedIn GrOUP。不要忘记加入我们的 75K+ ml子雷迪特。
