中国的百度在 OpenAI 之前发现了缩放定律吗？一场争论重新燃起
2024-12-30 02:00:13
英文原文
最近的社区讨论重新引发了关于中国科技巨头是否百度可能在美国的 OpenAI 之前就已经为大规模人工智能 (AI) 模型奠定了关键的理论基础。
大型模型，或“基础模型”，处于最前沿人工智能开发，其快速迭代推动了尖端应用程序。虽然美国通常被视为领先的先进人工智能模型创新，但一些人认为中国可能更早开始探索这些概念。
大型模型开发的核心是“缩放法则”，这一原则主张训练数据和模型参数越大，模型的智能就越强。这一想法被广泛归功于 OpenAI 2020 年的论文“神经语言模型的扩展定律”，此后它已成为人工智能研究的基石。
这开放人工智能论文表明，增加模型参数、训练数据和计算资源可以按照幂律关系提高性能。这一见解指导了后续大规模人工智能模型的开发。
然而，OpenAI 论文的合著者、该公司前研究副总裁达里奥·阿莫迪 (Dario Amodei) 在 11 月的播客中分享说，他早在 2014 年在百度任职期间就观察到了类似的现象。
– 2014 年底，当我与 [前百度首席科学家] 吴恩达 (Andrew Ng) 在百度工作时，我们做的第一件事是语音识别系统，”阿莫代说。– 我注意到，当你为模型提供更多数据、使其更大、训练时间更长时，模型就会得到改进。
关于《中国的百度在 OpenAI 之前发现了缩放定律吗？一场争论重新燃起》的评论
暂无评论
发表评论
摘要
社区讨论重新引发了一场争论，认为百度可能在 OpenAI 之前就已经开发出了大规模人工智能模型的基础理论。“缩放定律”对于大型模型开发至关重要，它认为更大的训练数据集和模型参数可以增强智能。OpenAI 合著者 Dario Amodei 在 11 月的播客中提到，虽然这归功于 OpenAI 2020 论文，但他在吴恩达的指导下观察到 2014 年百度也取得了类似的改进。