在纸Polymath John von Neumann于1945年撰写，概述了现代数字计算机的建筑。49页的报告中唯一的引用是计算神经科学领域的基础论文：神经活动中的思想的逻辑演算冯·诺伊曼（Von Neumann）非常了解他帮助开发的大脑和计算机之间的差异，但大脑也是灵感的来源。确实，他认为神经系统的功能是Prima Facie Digital但是，尽管有一些早期的相似之处，但计算机科学和神经科学领域也迅速分歧，因此人工智能和神经科学领域也会。
从一开始，人工智能和神经科学一直是姊妹领域，自然情报是人工智能的模板，而神经科学原理则是AI方法的灵感。首先，在这些原理中，AI中的许多方法都基于神经科学的基础宗旨：该信息存储在神经元之间的连接权重中。AI中使用的人工神经网络（ANN）中工作中的其他神经科学启发的原则包括卷积神经网络（视觉皮层），正则化（稳态可塑性），最大合并（侧向抑制），辍学（突触失败）和增强学习。
但是，许多促成AI爆炸性成功的最新发展与神经科学作为计算原理的来源有所不同。十年前，受到大脑的启发，复发性神经网络（RNN）似乎是前进的道路，因为AI解决了时间依赖的问题，例如语音识别和自然语言处理。但是，该方向在2017年随着具有里程碑意义的变压器纸的迅速变化：注意就是您所需要的……
t
他引入了变压器体系结构，标志着AI史上一个重要的拐点。变形金刚在其令人惊讶的力量和非脑子的象征方面都很明显。他们缺乏RNN的复发连接，并且在不连续的时间内进行操作，即通过离散的时间步骤，而没有任何状态从上一个时间步骤开始。它们还没有任何形式的工作记忆；他们通过迭代增加每次迭代的输入长度来巧妙地外部化工作记忆。也许最值得注意的是，变形金刚缺乏任何内部动力或能够分辨时间的能力。例如，Chatgpt无法对提示做出适当的响应。等待10秒钟，然后告诉我加拿大的首都（至少不是不援引Python编译器）。这
大脑编码时间以及RNN内部动力学的最新感觉信息以及其他机制，例如短期突触可塑性。相比之下，变形金刚通过标记代表每个单词或代币的向量，使用位置信息（第一，第二等）编码时间（更准确地说是法令）位置编码。这种差异使变压器可以解决爆炸或消失的梯度的挑战，其中在序列结束时生成的误差信号由于将其反向传播到该序列的早期时间步长而降低。
根据设计，从某种意义上说，变形金刚是永恒的。要使用与时间哲学的术语相比，变形金刚在过去，现在和未来（在双向变压器的情况下）的街区宇宙中运作。相比之下，RNN在只有当前输入的介绍性宇宙中运行，并且计算在连续的时间内展开。
变形金刚所谓的注意机制听起来很生物学，但并不是真正指大多数认知神经科学家会考虑注意的东西。它从本质上为句子中所有单词对之间关系的强度分配了一个值，而不是根据期望或自愿控制选择性调节信息处理。此外，注意机制的实施也缺乏生物学上的合理性。神经网络中的大多数操作都对应于活性矩阵的乘法，但是注意机制依赖于通常被认为是两个活性向量的乘法。也就是说，充其量是用神经元实现的尴尬数学操作。
尽管取得了成功，但变压器仍有自己的局限性，包括无法满足的能源消耗。由于这个和其他原因，AI字段是重新审查类似RNN的方法。但是，机器学习中的新型和旧的RNN型体系结构都以长期记忆（LSTMS），封闭式复发单元（GRUS）和Mamba等名称的名称，也不一定在神经科学中具有相似之处。他们通常缺乏神经回路的生物学现实主义，部分原因是AI程序通常是在常规数字计算机上实施的，这些计算机很容易允许与生物神经网络相比，LSTMS的门控操作更丰富。确实，只要AIS继续在数字计算机上实施，Moore的法律将节奏AI领域，而神经科学将继续缓慢向前漂移。t
硬件的重要性也是对常规计算机上实施的AIS是否能够具有感知力的更深入的哲学问题的基础。
数字计算机在离散时间（以计算机的时钟速度为节奏）运行，并且与大脑不同，大脑可以轻松暂停或更改时钟速度。现在，假设我们正在运行一个新颖的ANN模拟，有人声称是有意识的。如果我们将时钟速度放慢到每年一个周期，将会发生什么？AI会在主观状态下冻结一年吗？
大多数意识理论，例如全球工作空间和高阶理论，似乎隐含地假设意识与连续的大脑动力学有关。在这些理论中，意识就像音乐：它仅在时间流动时才存在。并取决于ANN在CPU，GPU还是TPU上运行（以及核心的数量），在ANN的一个时间步骤中所有状态都不会实时同时更新，这意味着任何有意识的状态都将取决于即使输入输出关系是相同的，即使硬件的详细信息也是如此。
意识依赖大脑动态的观点的一个例外是有争议的和Panpsychist综合信息理论（IIT）。IIT不是一种神经科学理论，而是一种基本物理学理论，尽管它是从其他物理定律中掌握的。粗略地说，IIT量化了与随机配置相比，系统的当前状态约束过去和将来的状态。IIT继续声称此数量直接等同于意识。
正如已经指出的那样，IIT仅针对离散系统定义，这意味着IIT是为大多数传统物理系统定义的，当尝试将IIT应用于我们唯一知道的意识是有意识的事物时，这可能会不断地改变一个特别严重的问题。因此，当前的意识理论与大脑是一个动态系统的事实兼容，似乎排除了在离散的von Neumann架构上运行的AIS中的感知可能性。
毫无疑问，AI和神经科学将继续具有协同的相互作用。随着神经科学的出现，AI将继续从神经科学中借用见解。但是，向前看，AI可能有更多的神经科学，而不是相反。迄今为止，神经科学家一直很慢，可以完全消化AI的一些早期课程。这样的一课是人工或生物神经网络的完整连接的有限价值。众所周知，Chatgpt的每一个联系，重量和偏见。但是，访问这些知识尚未转化为对其工作原理的任何直接或深刻的了解，这并不是说它没有用。潜在的教训可能是神经科学家需要重新审查这意味着什么理解像大脑一样复杂且高度分布的事物的新兴特性。计算机科学独立于神经科学发展，因为大脑对如何处理信息没有专有权。
人工智能和神经科学将继续分歧，因为大脑对如何创造情报没有专有权。