马克·扎克伯格在本周早些时候的 Meta 财报电话会议上表示，该公司正在训练 Llama 4 模型——在一个超过 100,000 个集群上H100AI GPU，或者比我所见过的其他人正在做的事情报道的任何东西都要大。虽然 Facebook 创始人没有提供有关 Llama 4 功能的任何细节，有线扎克伯格引用扎克伯格的话说，Llama 4 具有“新的模式”、“更强的推理能力”和“速度更快”。在 Meta 与其他科技巨头（如微软,谷歌和马斯克的 xAI 共同开发下一代人工智能法学硕士。
Meta 并不是第一家拥有配备 100,000 个 Nvidia H100 GPU 的 AI 训练集群的公司。埃隆·马斯克激发了一个类似大小的集群七月下旬，称其为“计算超级工厂™并计划其大小的两倍至 200,000 个 AI GPU。然而，Meta 今年早些时候表示，预计超过 50 万个相当于 H100 的 AI GPU到 2024 年底，因此可能已经有大量 AI GPU 正在运行用于训练 Llama 4。
Meta 的 Llama 4 采用独特的方法来开发人工智能，它完全免费发布其 Llama 模型，允许其他研究人员、公司和组织在此基础上进行构建。这与 OpenAI 的 GPT-4o 和 Google 的 Gemini 等其他模型不同，后者只能通过 API 访问。然而，该公司仍然对 Llama 的许可证施加限制，例如限制其商业用途，并且不提供任何有关其训练方式的信息。尽管如此，它的“开源”性质可以帮助它主宰人工智能的未来——我们已经在基于开源代码构建的中国人工智能模型中看到了这一点，这些模型可以在基准测试中匹配 GPT-4o 和 Llama-3。
功耗问题
所有这些计算能力都会导致巨大的电力需求，特别是当单个现代 AI GPU 可以每年使用高达 3.7MWh 的电力。这意味着 100,000 个 AI GPU 集群每年将使用至少 370GWh，足以为超过 3400 万个美国普通家庭供电。这引发了人们对这些公司如何找到如此大量供应的担忧，特别是因为引入新电源需要时间。毕竟，就连扎克伯格本人也说过功率限制将限制人工智能的发展。
例如，埃隆·马斯克使用了几台大型移动发电机为他在孟菲斯的 100,000 台强大的计算提供动力。谷歌一直落后于其碳目标，增加温室气体排放自 2019 年以来增长了 48%。就连谷歌前首席执行官也建议我们应该放弃我们的气候目标，让AI公司全力倾斜，然后用我们开发的AI技术来解决气候危机。
然而，当分析师询问 Meta 高管该公司如何能够为如此庞大的计算集群提供动力时，他们回避了这个问题。另一方面，Meta 的人工智能竞争对手，如微软、谷歌、甲骨文和亚马逊，正在加入核潮流。他们要么投资小型模块化反应堆，要么重新启动旧核电站，以确保有足够的电力为未来的发展提供动力。
虽然这些技术的开发和部署需要时间，但为人工智能数据中心配备小型核电站将有助于减轻这些耗电集群对国家电网的负担。