Meta 的下一个 Llama AI 模型正在“比任何东西都大”的 GPU 集群上进行训练

2024-10-31 00:00:22 英文原文

作者:Paresh Dave

管理如此庞大的芯片阵列来开发 Llama 4 可能会带来独特的工程挑战,并且需要大量的能源。Meta 高管周三回避了分析师提出的问题能源获取限制在美国部分地区,这些问题阻碍了企业开发更强大的人工智能的努力。

根据一个估计,一个由 100,000 个 H100 芯片组成的集群将需要 150 兆瓦的电力。美国最大的国家实验室超级计算机,埃尔卡皮坦,相比之下需要 30 兆瓦的电力。Meta 预计今年将花费高达 400 亿美元的资本来提供数据中心和其他基础设施,比 2023 年增加 42% 以上。该公司预计明年的支出增长将更加迅猛。

今年,Meta 的总运营成本增长了约 9%。但总体销售额(主要来自广告)飙升了 22% 以上,这使得该公司在 Llama 投入了数十亿美元的同时,仍拥有更高的利润和更高的利润。

与此同时,OpenAI 被认为是目前开发尖端人工智能领域的领导者,尽管向开发人员收取其模型的使用费,但它仍在烧钱。什么目前仍然是一个非营利性企业表示正在训练 GPT-5,它是目前为 ChatGPT 提供支持的模型的后继者。OpenAI 表示 GPT-5 将比其前身更大,但没有透露任何有关用于训练的计算机集群的信息。OpenAI 还表示,除了规模之外,GPT-5 将融合其他创新,包括最近开发的推理方法

首席执行官萨姆·奥尔特曼已经说过与前身相比,GPT-5 将是“一次重大飞跃”。上周,Altman 回应了一篇新闻报道,称 OpenAI 的下一个前沿模型将于 12 月发布通过写作在 X 上,“假新闻失控。”

周二,谷歌首席执行官桑达尔·皮查伊 (Sundar Pichai) 表示,该公司的最新版本Gemini 系列生成式 AI 模型正在开发中。

Meta 的人工智能开放方法有时会引起争议。一些人工智能专家担心,免费提供更强大的人工智能模型可能是危险的,因为它可能帮助犯罪分子发动网络攻击或自动化化学或生物武器的设计。尽管 Llama 在发布之前进行了微调以限制不当行为,但删除这些限制相对来说是微不足道的。

尽管谷歌和 OpenAI 都在推动专有系统,但扎克伯格仍然看好开源战略。“在我看来,开源将是开发人员可用的最具成本效益、可定制、值得信赖、高性能且最易于使用的选项,”他周三表示。“我很自豪 Llama 在这方面处于领先地位。”

扎克伯格补充说,Llama 4 的新功能应该能够为跨元服务的更广泛的功能。如今,基于 Llama 模型的标志性产品是类似于 ChatGPT 的聊天机器人,称为 Meta AI,可在 Facebook、Instagram、WhatsApp 和其他应用程序中使用。

扎克伯格表示,每月有超过 5 亿人使用 Meta AI。随着时间的推移,Meta 预计将通过该功能中的广告产生收入。Meta 首席财务官 Susan Li 在周三的电话会议上表示,“人们会使用它来进行更广泛的查询,随着时间的推移,货币化机会将会存在。”凭借广告收入的潜力,Meta 或许能够为其他所有人提供 Llama 补贴。

关于《Meta 的下一个 Llama AI 模型正在“比任何东西都大”的 GPU 集群上进行训练》的评论


暂无评论

发表评论

摘要

Meta 在开发 Llama 4 时面临着重大的工程和能源挑战,预计 100,000 个 H100 芯片集群的功率需求为 150 兆瓦。该公司计划今年在基础设施方面的支出高达400亿美元,较上一年出现大幅增长。尽管成本不断增加,但由于广告销售激增,Meta 的营业利润和利润仍然增长。与此同时,OpenAI 在开发 GPT-5(ChatGPT 的更大继承者)时也面临着财务限制,但没有透露有关其训练过程或集群规模的具体信息。首席执行官萨姆·奥尔特曼 (Sam Altman) 驳斥了最近有关即将发布车型的消息,称其为假消息。尽管担心安全性和滥用问题,Meta 的首席执行官马克·扎克伯格仍然对人工智能开发的开源战略持乐观态度。每月有超过 5 亿人在各种平台上使用 Meta 的人工智能聊天机器人,并计划未来通过广告获利。