作者:Kyle Wiggers
非营利性人工智能研究所Epoch AI提出,AI行业可能无法从推理AI模型中获得巨大的性能提高。根据报告的调查结果,一年之内,推理模型的进展就会减慢。推理模型,例如Openai的
O3近几个月来,AI基准有了很大的提高,尤其是测量数学和编程技能的基准。这些模型可以将更多的计算应用程序应用于可以提高其性能的问题,而缺点是它们比传统模型更长的时间来完成任务。
推理模型是通过先培训大量数据的常规模型来开发的,然后应用了一种称为强化学习的技术,该技术有效地为模型提供了对困难问题的解决方案的反馈。
据Epoch称,到目前为止,像Openai Have这样的Frontier AI实验室在推理模型培训的强化学习阶段应用了大量的计算能力。
那是在变化。Openai表示,它应用于训练O3的计算大约要比其前身O1和时代训练O3多,并推测大多数计算都致力于加强学习。Openai研究员Dan Roberts最近透露,该公司的未来计划要求优先考虑加强学习要使用更多的计算能力,甚至比初始模型培训更多。
但是,每个时期仍可以将多少计算用于增强学习。
Epoch的分析师Josh You也是该分析的作者,他解释说,标准AI模型培训的绩效培训目前每年都在提高二次,而增强型学习的绩效每3-5个月都会增加十倍。推理培训的进展可能会在2026年与整体边界汇聚在一起。
时代的分析做出了许多假设,并部分借鉴了AI公司高管的公开评论。但这也使得缩放推理模型可能被证明是有挑战性的,除了计算之外,还包括高间接费用的研究成本。
您写道,如果研究所需的持续的间接费用,那么推理模型可能不会根据预期进行扩展。”快速计算缩放可能是推理模型进度的非常重要的成分,因此值得对此进行仔细跟踪。
任何表明推理模型在不久的将来可能达到某种限制的任何迹象都可能使AI行业感到担忧,AI行业投入了大量资源开发这些类型的模型。研究已经表明,推理模型可以是运行非常昂贵,有严重的缺陷,就像倾向幻觉更多比某些传统模型。
Kyle Wiggers是TechCrunch的AI编辑。他的写作出现在VentureBeat和数字趋势中,以及一系列小工具博客,包括Android警察,Android Authority,Droid-Life和XDA-Developers。他与他的伴侣,音乐治疗师一起住在曼哈顿。