一个新的变压器架构模仿想象力和高级人类精神状态
作者：by Ingrid Fadelli, Phys.org
人工智能（AI）的进步以及对神经生物学过程的研究紧密相互联系，因为对前者的深入了解可以产生对另一个人的宝贵见解，反之亦然。最近的神经科学研究发现，精神状态过渡，例如从觉醒到慢波睡眠，然后再到眼睛快速运动（REM）睡眠的过渡，调节了一类称为5层锥体两点神经元（TPN）的神经元中的临时相互作用，使它们与人的心理状态保持一致。
这些是源自外部世界的信息之间的相互作用，通常称为“接受”领域（RF1），以及从内部状态出现的输入，称为上下文字段（CF2）。过去的发现表明，RF1和CF2输入分别在神经元内的两个不同位点（分别称为基部位点和顶端位点）处理。
当前使用注意机制（例如变压器，感知者和火烈鸟模型）的当前AI算法受到人脑能力的启发。但是，以目前的形式，他们并没有可靠地模仿人类经历的高级知觉处理和富有想象力的状态。
斯特林大学的副教授阿桑·阿德尔（Ahsan Adeel）最近进行了一项研究，探讨了开发可以重现这些较高精神状态的AI模型的可能性，这反过来又可以加快他们的学习和减少计算负担。
他的论文，出版在arxiv预印式服务器，介绍CO4，一种由脑启发的合作上下文敏感的认知计算机制专门设计的，旨在复制人类新皮层第5层中的金字塔TPN中发现的双输入状态依赖机制。
Adeel在他的论文中写道：“关注相关的内容对哺乳动物的大脑和现代机器学习模型（例如变形金刚）都是基础的。”
“然而，确定相关性仍然是一个核心挑战，传统上是学习算法（例如返回传播）的核心挑战。灵感来自最近的细胞神经生物学证据锥体细胞对于不同的精神状态，这项工作表明了模型（例如变形金刚）如何模仿高级感知处理和清醒思想（想象力）状态，以预选相关信息，然后再应用注意力。”
作为他最近研究的一部分，Adeel开发了一种新的变压器模型，该模型可以模仿人类的感知推理和富有想象力的状态。该模型可以通过预选相关信息并识别其最突出的部分，然后将其全部关注。
该模型按照特定的推理模式连接思想，该模式的重点是问题（即问什么）；线索（即，可以帮助回答问题的信息）；以及价值观或假设（即，对问题的可能答案）。这种推理“循环”模仿了人类试图解决问题的方式，随着时间的推移调整思维过程。
“问题（q），线索（键，k）和假设（值，v）之间的三合会神经元水平调节循环，使各种，深层，平行的推理链在表示水平上，并允许从初始偏见迅速转移到精致的理解，” Adeel写道。
“这会导致更快地学习量的命令，其计算需求大大减少（例如，头部，层和令牌更少），以O（n）的成本大致成本，其中n是输入令牌的数量。结果涵盖了增强性学习的结果（例如，在高度的视觉效果设置中进行携带），计算机视觉构想，自然视觉和自然视觉回答。”
Adeel在一系列学习，计算机视觉和语言处理任务中评估了他改编的变压器体系结构。这些测试的结果非常有前途，强调了他新开发的机制的承诺，以提高AI模型的推理技能，从而使它们更接近人类观察到的人。
“这里提供的最初证据是众多理由相信，从高级感知处理到深层，故意的想象力推理，将模拟较高精神状态的细胞基础可能是迈出认知有意义的机器智能的一步，” Adeel总结说。
“这种方法不仅为实施大量轻巧，推理有效的AI模块打开了大门，而且还将这些系统从仅仅将信息处理朝向上下文推理，从原始效率转移到真正的理解。”
更多信息：Ahsan Adeel，不关注：朝着具有内在较高精神状态的机器，arxiv（2025）。doi：10.48550/arxiv.2505.06257
期刊信息： arxiv
©2025科学X网络
引用：一个新的变压器结构模仿了想象力和高级人类精神状态（2025年，5月29日）检索2025年5月29日摘自https://techxplore.com/news/2025-05-Architecture-emulates-emulates-higher-human-mental.html
该文档具有版权。除了为私人研究或研究目的的任何公平交易外，没有未经书面许可，可以复制部分。内容仅用于信息目的。
关于《一个新的变压器架构模仿想象力和高级人类精神状态》的评论
暂无评论