如果你在观看最新的人工智能生成的视频时惊掉了下巴，或者你的银行账户因为欺诈检测系统而免受犯罪分子的侵害，又或者因为你能够在行进中口述短信而让一天变得稍微轻松一些，你应该感谢许多科学家、数学家和工程师。
但是有两个名字因为对使这些体验成为可能的深度学习技术做出了基础性的贡献而格外突出：普林斯顿大学的物理学家约翰·霍普菲尔德和多伦多大学计算机科学家杰弗里·辛顿.
两位研究人员获得诺贝尔奖在内的奖项物理学2024年10月8日，因为他们在此领域人工神经网络的开创性工作。尽管人工神经网络是基于生物神经网络建立的，但两位研究人员的工作借鉴了统计物理学的知识，因此该奖项颁发给了物理领域的贡献者。
（Atila Altuntaş/安塔拉通讯社viaGetty Images） 诺贝尔委员会宣布2024年物理学奖。
神经元如何计算
人工神经网络起源于对活脑中生物神经元的研究。1943年，神经生理学家沃伦·麦卡洛克（Warren McCulloch）和逻辑学家沃尔特·皮茨（Walter Pitts）提出了一个模型。一个神经元的工作原理的简单模型在麦卡洛克-皮茨模型中，一个神经元与其相邻的神经元相连，并能从它们接收信号。然后它能够将这些信号组合起来向其他神经元发送信号。
但是有一个转折：它可以以不同的权重来衡量来自不同邻居的信号。想象一下，你正在决定是否购买一款新的畅销手机。你会和你的朋友们交谈并询问他们的推荐意见。一个简单的策略是收集所有朋友的意见，并遵循大多数人的建议来做决定。例如，你问了三位朋友：艾丽丝、鲍勃和查理，他们分别回答赞成、赞成和反对。这导致你决定购买这款手机，因为你有两个赞成票和一票反对。
然而，你可能更信任一些朋友，因为他们对技术设备有深入了解。因此，你可能会决定更加重视他们的建议。例如，如果查理非常博学，你可能会将他的反对意见计为三次，并且现在你的决定是不买这部手机——两个赞成票和三个反对票。如果你不幸有一个在技术设备方面完全不信任的朋友，你甚至可能赋予他们一个负权重。因此，他们的赞成票会被视为反对票，而他们的反对票则被视为赞成票。
一旦你对自己是否应该选择这部新手机做出了决定，其他朋友可以来询问你的建议。同样，在人工和生物神经网络中，神经元可以从其邻居处收集信号并向其他神经元发送信号。这种能力导致了一个关键的区别：网络中是否存在循环？例如，如果今天我问了艾丽丝、鲍勃和查理，而明天艾丽丝又来找我要推荐意见，那么就存在一个循环：从艾丽丝到我，再从我回到艾丽丝。
如果神经元之间的连接没有循环，则计算机科学家称之为前馈神经网络。前馈网络中的神经元可以分层排列。第一层由输入组成。第二层从第一层接收信号，以此类推。最后一层代表网络的输出。
然而，如果网络中存在循环，计算机科学家称之为递归神经网络，其神经元的排列可以比前馈神经网络更复杂。
在循环神经网络中，神经元是双向通信的，而不仅仅是单向的。Zawersh/Wikimedia, CC BY-SA
霍普菲尔德网络
人工神经网络的最初灵感来源于生物学，但很快其他学科也开始影响其发展。这些学科包括逻辑学、数学和物理学。物理学家约翰·霍普菲尔德利用物理学中的概念来研究一种特定类型的模型。循环神经网络的类型现称为霍普菲尔德网络。特别是，他研究了它们的动力学：随着时间的推移，网络会发生什么？
这样的动态在网络社交平台上传播信息时也很重要。每个人都知道梗图走红和回声室效应在在线社交网络中形成。这些都是集体现象，最终源于网络中人与人之间简单的信息交换。
霍普费尔德是先驱之一使用物理学中的模型，特别是那些用于研究磁性的模型，来理解递归神经网络的动力学。他还展示了它们的动力学可以给这样的神经网络一种形式的记忆能力.
玻尔兹曼机与反向传播
在20世纪80年代，杰弗里·辛顿、计算神经生物学家特伦斯·塞诺斯基等人扩展了霍普菲尔德的思想，创建了一类新的模型叫做玻尔兹曼机以19世纪物理学家的名字命名的路德维希·玻尔兹曼正如其名所示，这些模型的设计基于玻尔兹曼开创的统计物理学。与霍普菲尔德网络能够存储模式并像拼写检查器一样纠正模式中的错误不同，玻尔兹曼机可以生成新的模式，从而为现代生成式人工智能革命播下了种子。
如果你想让人工神经网络完成有趣的任务，你就必须以某种方式选择合适的权重来连接人工神经元。反向传播是一种关键算法，使得可以根据网络在训练数据集上的表现来选择权重。反向传播是首先在控制理论领域开发出来并且是保罗·韦伯斯应用于神经网络的1974年。在20世纪80年代，Hinton和他的同事们展示了反向传播算法可以帮助神经网络的中间层学习输入中的重要特征。例如，一个学会在图像中检测眼睛的神经元已经学到了一个对于面部检测很有用的重要特征。
然而，训练具有许多层的人工神经网络仍然颇具挑战性。在21世纪初，Hinton和他的同事们巧妙地使用玻尔兹曼机训练多层网络通过逐层预训练网络，然后在预训练的网络之上使用另一种微调算法进一步调整权重。多层网络被重新命名为深度网络，深度学习革命由此开始。
一名计算机科学家分别向一个孩子、一名高中生、一名大学生、一名研究生以及一位同行专家解释机器学习。
AI反哺物理学
诺贝尔物理学奖展示了物理学思想如何促进了深度学习的兴起。现在，深度学习已经开始通过实现从分子和材料到整个地球气候的精确而快速的模拟，来回报物理学科。
通过将诺贝尔物理学奖颁发给霍普费尔德和辛顿，评奖委员会表达了对人类利用这些成就促进人类福祉和建设可持续世界的期望。
这篇文章已经被更新以澄清汉顿帮助推动了反向传播的发展但并未发明反向传播。