Meta 的下一个 Llama AI 模型正在“比任何东西都大”的 GPU 集群上进行训练
作者：Paresh Dave
管理如此庞大的芯片阵列来开发 Llama 4 可能会带来独特的工程挑战，并且需要大量的能源。Meta 高管周三回避了分析师提出的问题能源获取限制在美国部分地区，这些问题阻碍了企业开发更强大的人工智能的努力。
根据一个估计，一个由 100,000 个 H100 芯片组成的集群将需要 150 兆瓦的电力。美国最大的国家实验室超级计算机，埃尔卡皮坦，相比之下需要 30 兆瓦的电力。Meta 预计今年将花费高达 400 亿美元的资本来提供数据中心和其他基础设施，比 2023 年增加 42% 以上。该公司预计明年的支出增长将更加迅猛。
今年，Meta 的总运营成本增长了约 9%。但总体销售额（主要来自广告）飙升了 22% 以上，这使得该公司在 Llama 投入了数十亿美元的同时，仍拥有更高的利润和更高的利润。
与此同时，OpenAI 被认为是目前开发尖端人工智能领域的领导者，尽管向开发人员收取其模型的使用费，但它仍在烧钱。什么目前仍然是一个非营利性企业表示正在训练 GPT-5，它是目前为 ChatGPT 提供支持的模型的后继者。OpenAI 表示 GPT-5 将比其前身更大，但没有透露任何有关用于训练的计算机集群的信息。OpenAI 还表示，除了规模之外，GPT-5 将融合其他创新，包括最近开发的推理方法。
首席执行官萨姆·奥尔特曼已经说过与前身相比，GPT-5 将是“一次重大飞跃”。上周，Altman 回应了一篇新闻报道，称 OpenAI 的下一个前沿模型将于 12 月发布通过写作在 X 上，“假新闻失控。”
周二，谷歌首席执行官桑达尔·皮查伊 (Sundar Pichai) 表示，该公司的最新版本Gemini 系列生成式 AI 模型正在开发中。
Meta 的人工智能开放方法有时会引起争议。一些人工智能专家担心，免费提供更强大的人工智能模型可能是危险的，因为它可能帮助犯罪分子发动网络攻击或自动化化学或生物武器的设计。尽管 Llama 在发布之前进行了微调以限制不当行为，但删除这些限制相对来说是微不足道的。
尽管谷歌和 OpenAI 都在推动专有系统，但扎克伯格仍然看好开源战略。“在我看来，开源将是开发人员可用的最具成本效益、可定制、值得信赖、高性能且最易于使用的选项，”他周三表示。“我很自豪 Llama 在这方面处于领先地位。”
扎克伯格补充说，Llama 4 的新功能应该能够为跨元服务的更广泛的功能。如今，基于 Llama 模型的标志性产品是类似于 ChatGPT 的聊天机器人，称为 Meta AI，可在 Facebook、Instagram、WhatsApp 和其他应用程序中使用。
扎克伯格表示，每月有超过 5 亿人使用 Meta AI。随着时间的推移，Meta 预计将通过该功能中的广告产生收入。Meta 首席财务官 Susan Li 在周三的电话会议上表示，“人们会使用它来进行更广泛的查询，随着时间的推移，货币化机会将会存在。”凭借广告收入的潜力，Meta 或许能够为其他所有人提供 Llama 补贴。
关于《Meta 的下一个 Llama AI 模型正在“比任何东西都大”的 GPU 集群上进行训练》的评论
暂无评论
发表评论
摘要
相关新闻
- Meta 正在使用超过 100,000 个 Nvidia H100 AI GPU 来训练 Llama-4——马克·扎克伯格表示 Llama 4 正在一个“比我见过的任何东西都大”的集群上进行训练
- Cerebras 视频显示 AI 编写代码的速度比世界上最快的 AI GPU 云快 75 倍——世界上最大的芯片在正面对比中击败了 AWS 最快的芯片
- AWS 首席执行官估计未来 AI 模型训练任务的大城市规模功耗——“单个模型可能需要 1 到 5GW 的电力”
- Meta 的 Llama 3.3 70B 击败竞争对手、Nvidia 的液冷突破、xAI 筹集 6B 美元：本周人工智能 - Meta Platforms (NASDAQ:META)、Amazon.com (NASDAQ:AMZN)
- 独家：马克·扎克伯格公开赞扬 Meta 的 Llama AI，但也使用竞争对手 GPT-4 来改进内部 AI 编码工具