OpenAI 的下一个大型语言模型可能不会像许多人希望的那样强大。
代号为 Orion 的 AI 模型在幕后表现严重不佳,彭博社报告,相比其前身,GPT-4 相对于 GPT-3 的改进要少一些。类似的报告来自信息本周表示,一些 OpenAI 研究人员认为,在编码等某些领域,根本没有任何改进。
并根据彭博社OpenAI 并不是唯一一家面临收益递减问题的人工智能公司。谷歌下一代 Gemini 模型也没有达到内部预期,而 Anthropic 发布大肆宣传的 Claude 3.5 Opus 的时间表也悬而未决。
这些全行业的斗争可能表明,当前通过所谓的“扩展”来改进人工智能模型的范式正在变得越来越重要。撞上砖墙, 预示着未来潜在的经济困境如果人工智能模型的开发成本仍然很高,而在构建通用人工智能方面却没有实现显着的性能飞跃。
人工智能初创公司 Hugging Face 的首席道德科学家玛格丽特·米切尔 (Margaret Mitchell) 表示:“AGI 泡沫正在一点点破裂。”彭博社,并补充说,可能需要“不同的训练方法”才能达到人类智力和多功能性的水平。
迄今为止,在生成式人工智能领域取得成果的精神一直在扩展:为了使生成式人工智能模型更强大,实现这一目标的主要方法是让它们变得更大。这意味着增加更多的处理能力(例如 Nvidia 的人工智能芯片)并注入更多的训练数据,这些数据大部分是从网络上以很少的成本获取的。
但随着这些模型变得越来越大、越来越强大,它们也变得越来越饥饿。所有这些能源并不便宜——微软正在寻求重启整个核电站支持其人工智能数据中心,例如 – 和免费培训数据正在干涸。为了为其人工智能获取新的大脑食物,科技公司正在使用计算机生成的合成数据。然而,他们仍然“在没有人类指导的情况下努力获得独特的、高质量的数据集,尤其是在语言方面,”New Enterprise Associates 的人工智能战略主管 Lila Tretikov 表示。彭博社。
因此,为了了解所有这些费用:在由彭博社Anthropic 首席执行官 Dario Amodei 表示,目前构建一个尖端人工智能模型的成本约为 1 亿美元,预计到 2027 年,每个模型的成本可能远远超过 100 亿美元。
今年,Anthropic 更新了其克劳德模型,但值得注意的是 Opus 受到了冷落,同时其网站上提及的近期发布日期已被删除。与 OpenAI 一样,据报道,考虑到 Opus 的规模以及构建和运行成本,该公司的研究人员仅观察到了微小的改进。彭博社来源。
同样,谷歌的双子座软件未达到其目标彭博社,同时该公司对其大型语言模型发布了一些重大改进。
需要明确的是,这些并不是无法克服的挑战。但越来越多的声音表明,人工智能行业可能不会像过去十年那样取得同样的进步速度。
马萨诸塞州本特利大学数学副教授诺亚·詹西拉库萨 (Noah Giansiracusa) 表示:“我们对短暂的快速进展感到非常兴奋。” 彭博社。“那是不可持续的。”
有关人工智能的更多信息:人工智能专家警告称,人工智能改进遇到瓶颈,崩溃迫在眉睫