科学家对使用的“大脑解码器”做出了新的改进人工智能(AI)将思想转换为文本。
该团队在一项新研究中报道说,他们的新转换器算法可以迅速训练对他人大脑的现有解码器。科学家说,这些发现可能有一天可以支持失语症,这种脑部疾病会影响一个人的交流能力。
大脑解码器使用机器学习将人的思想转化为文本,这是基于他们对他们所听的故事的回答。然而,过去的迭代要求参与者在MRI机器中听故事数小时,而这些解码器仅为他们接受过培训的个人工作。
研究共同作者说:“失语症的人通常在理解语言和制作语言的情况下有些困难。”亚历山大·赫斯(Alexander Huth),德克萨斯大学奥斯汀分校(Austin)的计算神经科学家。“因此,如果是这样,那么我们可能无法通过观察他们的大脑对他们听的故事的反应来为他们的大脑建立模型。”
在2月6日发表的新研究中当前的生物学,Huth和合着者杰里·唐,UT Austin的一名研究生调查了他们如何克服这一限制。“在这项研究中,我们问,我们可以做不同的事情吗?”他说。“我们可以将我们为一个人的大脑建造的解码器转移到另一个人的大脑吗?”
研究人员首先通过收集功能性MRI数据来培训了一些参考参与者,而参与者听了10个小时的广播故事。
然后,他们在参考参与者和另一组“目标”参与者上培训了两种转换器算法:一个在参与者花了70分钟的时候使用收集的数据,而另一个则在听广播故事,而另一个则花了70分钟的时间观看Silent Pixar短片与广播故事无关。
该团队使用称为功能对齐的技术,绘制了参考和目标参与者的大脑如何响应相同的音频或电影故事。他们使用该信息来训练解码器与目标参与者的大脑合作,而无需收集多个小时的培训数据。
接下来,团队使用一个参与者以前从未听说过的短篇小说对解码器进行了测试。尽管对于原始参考参与者而言,解码器的预测比使用转换器的参与者的预测更准确,但它从每个参与者的脑部扫描中预测的单词仍然与测试故事中使用的单词相关。
例如,测试故事的一部分包括有人在讨论他们不喜欢的工作,说我是冰淇淋店的女服务员。所以,嗯,那不是我不知道我想去哪里,但我知道不是那样。我当时在工作,以为很无聊。我不得不接受订单,我不喜欢它们,所以我每天都在努力。想法是相关的。
Huth告诉Live Science:“令人惊讶和酷的事情是,即使我们不使用语言数据,我们也可以做到这一点。”“因此,我们可以在某人观看无声视频时收集的数据,然后我们可以用它来为他们的大脑构建这种语言解码器。”
研究人员说,使用基于视频的转换器将现有解码器转移给失语症的人可能有助于他们表达自己的想法。它还揭示了人类代表语言思想和大脑视觉叙事的思想之间的一些重叠。
“这项研究表明,有一些语义表示不在乎它的形式。”Yukiyasu Kamitani京都大学的一名计算神经科学家,没有参与研究,他告诉Live Science。换句话说,它有助于揭示大脑如何以相同的方式代表某些概念,即使它们以不同的格式,,。
霍斯说,团队的下一步是通过失语症测试参与者的转换器,并“建立一个界面,可以帮助他们产生想要生成的语言。”