今天,美国理论物理学家、诺贝尔奖获得者弗兰克·威尔切克推出专门为《南华早报》撰写的一系列月度专栏中的第一篇。在这里,他反思了今年诺贝尔物理学奖的意义及其对未来人工神经网络工作的影响。
2024 年诺贝尔物理学奖是授予表彰约翰·霍普菲尔德 (John Hopfield) 和杰弗里·辛顿 (Geoffrey Hinton) “通过人工神经网络实现机器学习的基础发现和发明”。由于神经网络超出了物理学的传统界限,该奖项在物理学界引起了网上和网下的一些抱怨。但我认为这是一个合适的——事实上,一个受启发的——选择。
历史根源人造的神经网络的历史可以追溯到 20 世纪 40 年代初,当时大脑的现代概念刚刚确立不久。也就是说,人类和其他动物的大脑是由单个细胞、神经元构成的,它们通过电脉冲相互通信。
生物神经元有很多种,而且极其复杂,但沃伦·麦卡洛克和沃尔特·皮茨试图了解它们如何赋予思维能力的本质,并用数学上方便的属性“彻底”定义了理想化的漫画神经元。他们的模型“神经元”对由一个或多个“脉冲”组成的输入做出响应,这些输入可能来自多个源,当总输入足够大时,它们会输出自己的脉冲。这些神经元可以连接在一起形成功能网络。这些网络可以将输入脉冲流转换为输出脉冲流,并由中间神经元进行处理。
麦卡洛克和皮茨表明,他们的人工神经网络可以完成通用计算所需的逻辑处理的所有基本操作。
麦卡洛克和皮茨的工作吸引了几位现代计算伟大先驱的关注和钦佩,包括艾伦·图灵、克劳德·香农和约翰·冯·诺依曼。但主流的实用计算却走向了不同的方向。其中,基本逻辑运算直接在简单的晶体管电路中进行,并使用显式指令(即程序)进行编排。当然,这种方法非常成功。它给我们带来了今天生活的美丽的新网络世界。
但人工神经网络并没有完全被遗忘。尽管此类网络提供了不必要的复杂和笨拙的逻辑处理方式,但它们比标准晶体管电路具有巨大的潜在优势。也就是说,它们可以优雅地改变。具体来说,我们可以通过调整相对重要性来改变神经元的输入输出规则——从技术上讲,“权重”——我们分配给来自不同通道的输入。