研究发现，多模式LLM和人脑以类似的方式创建对象表示
作者：by Ingrid Fadelli, Phys.org
更好地理解人的大脑如何代表自然界中存在的物体，例如岩石，植物，动物等，可能对包括心理学，神经科学和计算机科学在内的各个领域的研究具有有趣的影响。具体而言，它可以帮助人们了解人类如何解释感官信息并完成不同的现实世界任务，这也可以为密切模仿生物学和心理过程的人工智能（AI）技术的发展提供信息。
多模式的大型语言模型（LLM），例如基于流行的对话平台Chatgpt功能的最新模型，它们是用于分析和生成各种人类语言，图像甚至简短视频的文本的高效计算技术。
由于这些模型产生的文本和图像通常非常令人信服，以至于它们似乎是人为创建的内容，因此多模式LLM可能是研究对象表示基础的有趣实验工具。
中国科学院的研究人员最近进行了一项研究，旨在更好地了解多模式LLM如何代表对象，同时还试图确定这些模型中出现的对象表示是否类似于人类观察到的对象。他们的发现是出版在自然机器智能。
“了解人类如何概念化和分类自然物体对感知和认知的批判性见解，” Kaicheng Fu及其同事Changde Du在论文中写道。“随着大语言模型（LLM）的出现，出现了一个关键问题：这些模型是否可以从语言和多模式数据中开发类似人类的对象表示？
“我们结合了行为和神经影像学分析，以探索LLM中对象概念表示与人类认知之间的关系。”
作为研究的一部分，研究人员专门研究了由Open AI创建的LLM Chatgpt-3.5中出现的对象表示，以及在Google DeepMind开发的多模式LLM Geminipro Vision 1.0中。他们要求这些模型完成称为三重判断的简单任务。对于这些任务中的每一个，都会呈现三个对象，并要求选择两个相互相似的两个对象。
DU，FU及其同事写道：“我们从LLM和多模式LLMS收集了470万个三重态判断，以得出低维嵌入，以捕获1,854个自然物体的相似性结构。”“由此产生的66维嵌入是稳定的，预测的，并且表现出类似于人类心理表示的语义聚类。值得注意的是，这些嵌入的层面是可以解释的，这表明LLMS和多模式LLM会形成对象的类似人类概念代表。”
研究人员使用他们收集的大量三重判断数据集，计算出低维嵌入。这些是数学表示，概述了各个维度上对象之间的相似性，将相似的对象彼此靠在抽象空间中。
值得注意的是，研究人员观察到，他们可靠地将对象分为有意义的类别，例如“动物”，“植物”等，等等。因此，他们得出的结论是，LLM和多模式LLM自然地组织物体与人类思维中的代表和分类类似。
“进一步的分析表明，模型嵌入与神经活动模式之间的紧密对准大脑区域小组写道：“例如施工外的身体区域，para-Hampocampal地方区域，复古的皮层和梭形面部面积。这提供了令人信服的证据，表明LLMS中的对象表示与人类的对象表示不同，但具有反映人类概念知识的关键方面的基本相似之处。”
总体而言，DU，FU及其同事收集的结果表明，在对大量数据进行培训后，在LLM和多模式LLMS中可以固有地出现类似人类的天然对象表示。将来，这项研究可能会激发其他研究团队探索LLM如何代表对象，同时也有可能进一步发展受到脑启发的AI系统的进步。
我们作者为您写的Ingrid Fadelli，，，，编辑丽莎锁并对事实进行了检查和审查罗伯特·埃根（Robert Egan）本文是仔细人类工作的结果。我们依靠像您这样的读者来使独立科学新闻业保持活力。如果此报告对您很重要，请考虑捐款（尤其是每月）。你会得到一个无广告表示感谢。
更多信息：Changde du等人，类似人类的对象概念表示自然出现在多模式大语模型中，自然机器智能（2025）。doi：10.1038/s42256-025-01049-Z
©2025科学X网络
引用：研究发现，多模式LLM和人脑以相似的方式创建对象表示（2025年，6月25日）检索2025年6月26日摘自https://techxplore.com/news/2025-06-multimodal-llms-human-brain-merpresentations.html
该文档具有版权。除了为私人研究或研究目的的任何公平交易外，没有未经书面许可，可以复制部分。内容仅用于信息目的。
关于《研究发现，多模式LLM和人脑以类似的方式创建对象表示》的评论
暂无评论