英语轻松读发新版了,欢迎下载、更新

一个新的变压器架构模仿想象力和高级人类精神状态

2025-05-29 11:10:02 英文原文

作者:by Ingrid Fadelli, Phys.org

A new transformer architecture that emulates imagination and higher level human mental states
CO4体系结构:n表示输入令牌的数量,每个令牌的嵌入尺寸E. Q1,Q2,...,QL表示对关联Q-TPN的潜在查询令牌输入。K1,K2,...,KN表示关联的K-TPN的关键令牌输入。V1,V2,...,VN表示相关V-TPN的值令牌输入。此配置构成了“看到”状态的一部分(即感觉处理)。在“视为”状态(即感知状态和解释性状态)中,问题(q)之间的三元模拟循环,线索(键,k)和假设(值,v)是通过远端(d)和通用(d)和通用(u)上下文执行的。近端(p)上下文表示通过来自相同种群中相邻神经元的信息,包括来自同一神经元的先前信息。假定与Q,K和V相关的TPN类似于锥体神经元的三个亚型,尽管它们与神经生物学上区分的亚型的确切对应仍在研究中。通过不同的心理状态,高级感知处理和清醒思想,启用了多样化的平行推理链。该机制会产生O(n - L)的计算成本,其中L是输入长度的一小部分,使总成本大约O(n)。基于元素操作的三元调制循环增加了lâ·n·e的名义成本,该成本明显低于标准变压器块中使用的前馈残差网络的成本,组件CO4不需要。CO4可以看作是一种平行的,表示级别的,沉默但深层的思想链(COT)推理[56](一种安静的思想),实现了多观点的推理,而无需顺序令牌级别的产生,就像大脑的皮质皮质丘脑丘脑 - 腹膜 - 腹膜 - 腹部腹部的调制一样。图片来源:Ahsan Adeel。

人工智能(AI)的进步以及对神经生物学过程的研究紧密相互联系,因为对前者的深入了解可以产生对另一个人的宝贵见解,反之亦然。最近的神经科学研究发现,精神状态过渡,例如从觉醒到慢波睡眠,然后再到眼睛快速运动(REM)睡眠的过渡,调节了一类称为5层锥体两点神经元(TPN)的神经元中的临时相互作用,使它们与人的心理状态保持一致。

这些是源自外部世界的信息之间的相互作用,通常称为“接受”领域(RF1),以及从内部状态出现的输入,称为上下文字段(CF2)。过去的发现表明,RF1和CF2输入分别在神经元内的两个不同位点(分别称为基部位点和顶端位点)处理。

当前使用注意机制(例如变压器,感知者和火烈鸟模型)的当前AI算法受到人脑能力的启发。但是,以目前的形式,他们并没有可靠地模仿人类经历的高级知觉处理和富有想象力的状态。

斯特林大学的副教授阿桑·阿德尔(Ahsan Adeel)最近进行了一项研究,探讨了开发可以重现这些较高精神状态的AI模型的可能性,这反过来又可以加快他们的学习和减少计算负担。

他的论文,出版arxiv预印式服务器,介绍CO4,一种由脑启发的合作上下文敏感的认知计算机制专门设计的,旨在复制人类新皮层第5层中的金字塔TPN中发现的双输入状态依赖机制。

Adeel在他的论文中写道:“关注相关的内容对哺乳动物的大脑和现代机器学习模型(例如变形金刚)都是基础的。”

“然而,确定相关性仍然是一个核心挑战,传统上是学习算法(例如返回传播)的核心挑战。灵感来自最近的细胞神经生物学证据对于不同的精神状态,这项工作表明了模型(例如变形金刚)如何模仿高级感知处理和清醒思想(想象力)状态,以预选相关信息,然后再应用注意力。”

作为他最近研究的一部分,Adeel开发了一种新的变压器模型,该模型可以模仿人类的感知推理和富有想象力的状态。该模型可以通过预选相关信息并识别其最突出的部分,然后将其全部关注。

该模型按照特定的推理模式连接思想,该模式的重点是问题(即问什么);线索(即,可以帮助回答问题的信息);以及价值观或假设(即,对问题的可能答案)。这种推理“循环”模仿了人类试图解决问题的方式,随着时间的推移调整思维过程。

“问题(q),线索(键,k)和假设(值,v)之间的三合会神经元水平调节循环,使各种,深层,平行的推理链在表示水平上,并允许从初始偏见迅速转移到精致的理解,” Adeel写道。

“这会导致更快地学习量的命令,其计算需求大大减少(例如,头部,层和令牌更少),以O(n)的成本大致成本,其中n是输入令牌的数量。结果涵盖了增强性学习的结果(例如,在高度的视觉效果设置中进行携带),计算机视觉构想,自然视觉和自然视觉回答。”

Adeel在一系列学习,计算机视觉和语言处理任务中评估了他改编的变压器体系结构。这些测试的结果非常有前途,强调了他新开发的机制的承诺,以提高AI模型的推理技能,从而使它们更接近人类观察到的人。

“这里提供的最初证据是众多理由相信,从高级感知处理到深层,故意的想象力推理,将模拟较高精神状态的细胞基础可能是迈出认知有意义的机器智能的一步,” Adeel总结说。

“这种方法不仅为实施大量轻巧,推理有效的AI模块打开了大门,而且还将这些系统从仅仅将信息处理朝向上下文推理,从原始效率转移到真正的理解。”

更多信息:Ahsan Adeel,不关注:朝着具有内在较高精神状态的机器,arxiv(2025)。doi:10.48550/arxiv.2505.06257

期刊信息: arxiv

©2025科学X网络

引用:一个新的变压器结构模仿了想象力和高级人类精神状态(2025年,5月29日)检索2025年5月29日摘自https://techxplore.com/news/2025-05-Architecture-emulates-emulates-higher-human-mental.html

该文档具有版权。除了为私人研究或研究目的的任何公平交易外,没有未经书面许可,可以复制部分。内容仅用于信息目的。

关于《一个新的变压器架构模仿想象力和高级人类精神状态》的评论


暂无评论

发表评论

摘要

CO4体系结构是一种受脑启发的AI模型,旨在模仿人类中的高级感知处理和富有想象力的状态,从而可以通过降低的计算成本来更快地学习。与标准变压器相比,它通过问题,线索和假设之间的三元调制循环运行,从而达到O(n)的复杂性。由斯特林大学的Ahsan Adeel开发,CO4在强化学习,计算机视觉和自然语言处理任务方面表现出希望。