人工智能行业对扩展的痴迷正走向悬崖
作者：Will Knight
一项新研究 来自麻省理工学院这表明，与较小的模型相比，最大且计算最密集的人工智能模型可能很快就会提供递减的回报。通过将缩放法则与模型效率的持续改进进行映射，研究人员发现，从巨型模型中获得性能飞跃可能会变得更加困难，而效率的提高可能会使在更普通的硬件上运行的模型在未来十年内变得越来越强大。
“在未来五到十年内，情况很可能会开始缩小，”参与这项研究的计算机科学家兼麻省理工学院教授尼尔·汤普森说。
效率飞跃，就像看到的那样DeepSeek 的成本极其低廉的模型一月份的研究已经成为对习惯于消耗大量计算的人工智能行业的现实检验。
就目前情况而言，OpenAI 这样的公司的前沿模型目前比使用学术实验室的一小部分计算训练的模型要好得多。虽然麻省理工学院团队的预测可能不会成立，例如强化学习等新的训练方法会产生令人惊讶的新结果，但他们认为大型人工智能公司未来的优势将减弱。
领导这项分析的麻省理工学院研究科学家汉斯·冈拉克 (Hans Gundlach) 对这个问题产生了兴趣，因为运行尖端模型的笨重性质。他与汤普森和麻省理工学院的另一位研究科学家杰森·林奇（Jayson Lynch）一起绘制了前沿模型与使用更适度的计算手段构建的模型相比的未来性能。冈拉克表示，预测的趋势对于现在流行的推理模型尤其明显，这些模型在推理过程中更多地依赖于额外的计算。
汤普森表示，结果显示了改进算法以及扩大计算规模的价值。“如果你花了很多钱来训练这些模型，那么你绝对应该花一些钱来尝试开发更高效的算法，因为这非常重要，”他补充道。
考虑到当今人工智能基础设施的繁荣（或者我们应该说“泡沫”？），这项研究特别有趣，而且几乎没有放缓的迹象。
OpenAI 和其他美国科技公司签署千亿美元交易在美国建设人工智能基础设施。“世界需要更多的计算”，OpenAI 总裁 Greg Brockman，本周宣布他宣布 OpenAI 与 Broadcom 就定制 AI 芯片建立合作伙伴关系。
越来越多的专家质疑这些交易的合理性。大致60%构建数据中心的成本的一部分用于 GPU，而 GPU 往往会很快贬值。主要参与者之间的合作关系也出现了圆形且不透明。
关于《人工智能行业对扩展的痴迷正走向悬崖》的评论
暂无评论