研究人员发现人工智能学习能力的关键——一种内置的、特殊的奥卡姆剃刀
作者：by University of Oxford
牛津大学的一项研究揭示了为什么支持现代人工智能的深度神经网络 (DNN) 在从数据中学习方面如此有效。
研究结果表明，DNN 具有内置的“奥卡姆剃刀”，这意味着当出现多种适合的解决方案时训练数据，他们倾向于青睐那些更简单的。这个版本的奥卡姆剃刀的特别之处在于，偏差完全抵消了复杂性可能解决方案数量的指数增长。
该研究发表于 1 月 14 日自然通讯。
为了对新的、未见过的数据做出良好的预测（即使参数比训练数据点多数百万甚至数十亿），研究人员假设 DNN 需要一种“内置指导”来帮助它们选择关注正确的模式。
“虽然我们知道 DNN 的有效性依赖于某种形式的对简单性的归纳偏向——一种奥卡姆剃刀——但该剃刀有很多版本。DNN 使用的剃刀的精确性质仍然难以捉摸，”理论上说。领导这项研究的是物理学家阿德·路易斯教授（牛津大学物理系）。
为了揭示 DNN 的指导原则，作者研究了这些神经网络如何学习布尔函数——计算中的基本规则，其中结果只能有两个可能值之一：真或假。
他们发现，尽管 DNN 在技术上可以将任何函数拟合到数据，但它们对更容易描述的更简单函数有一种内在的偏好。这意味着 DNN 自然偏向于简单规则而不是复杂规则。
此外，作者发现这种固有的奥卡姆剃刀有一个独特的属性：它恰好抵消了随着系统规模的增长而出现的复杂函数数量的指数增长。这使得 DNN 能够识别泛化良好的罕见、简单函数（对训练数据和未见数据进行准确预测），同时避免绝大多数适合训练数据但在未见数据上表现不佳的复杂函数。
当数据遵循简单模式时，这一新兴原则有助于 DNN 表现良好。然而，当数据更加复杂且不适合简单模式时，DNN 的表现就不佳，有时并不比随机猜测更好。
幸运的是，现实世界的数据通常相当简单且结构化，这符合 DNN 对简单性的偏好。这有助于 DNN 在处理简单的真实数据时避免过度拟合（模型对训练数据过于“调整”）。
为了更深入地研究这种剃须刀的本质，该团队研究了当它被使用时网络的性能如何变化。学习过程通过改变某些决定神经元是否应该“放电”的数学函数来改变。
他们发现，尽管这些修改后的 DNN 仍然倾向于简单的解决方案，但即使对这种偏好进行轻微调整，也会显着降低它们对简单布尔函数进行概括（或做出准确预测）的能力。这个问题也出现在其他学习任务中，这表明拥有正确的奥卡姆剃刀形式对于网络有效学习至关重要。
新发现有助于“打开 DNN 如何得出某些结论的黑匣子”，目前这使得解释或挑战人工智能系统做出的决策变得困难。然而，虽然这些发现一般适用于 DNN，但它们并没有完全解释为什么某些特定的 DNN 模型在某些类型的数据上比其他模型效果更好。
该研究的共同主要作者克里斯托弗·明加德（牛津大学物理系）表示：“这表明我们需要超越简单性来识别导致这些性能差异的其他归纳偏差。”
研究人员表示，研究结果表明人工智能与自然的基本原理之间存在很强的相似性。事实上，DNN 在广泛的科学问题上取得的显着成功表明，这种指数归纳偏差必定反映了自然世界结构的深层内容。
“我们的发现开启了令人兴奋的可能性，”路易斯教授说。“我们在 DNN 中观察到的偏差与进化系统中的简单性偏差具有相同的功能形式，这有助于解释，例如，蛋白质复合物中普遍存在对称性。这表明学习和进化之间存在着有趣的联系，这种联系已经成熟，值得进一步探索。”
更多信息：深度神经网络有一个内置的奥卡姆剃刀，自然通讯（2025）。DOI：10.1038/s41467-024-54813-x
引文:研究人员发现人工智能学习能力的关键——一种内置的、特殊的奥卡姆剃刀（2025 年，1 月 14 日）检索日期：2025 年 1 月 15 日来自 https://techxplore.com/news/2025-01-key-ai-power-inbuilt-special.html
本文档受版权保护。除了出于私人学习或研究目的的任何公平交易外，不得未经书面许可，不得复制部分内容。所提供的内容仅供参考。
关于《研究人员发现人工智能学习能力的关键——一种内置的、特殊的奥卡姆剃刀》的评论
暂无评论