埃隆·马斯克 (Elon Musk) 的人工智能公司 xAI 最近推出了一款名为 Colossus 的超级计算机。正如其名称所暗示的,它很大。
马斯克表示,该计算机是一个人工智能训练系统,运行在多达 100,000 个 Nvidia H100 芯片上,这些强大的图形处理单元对人工智能竞赛至关重要。
从这个角度来看,Meta 的 Llama 3 大型语言模型是使用 16,000 个 H100 芯片进行训练的。Meta 在 3 月份表示,将通过增加两个 24,000 芯片集群来继续投资其人工智能基础设施。
也就是说,马斯克的巨像很强大。这可以帮助他赶上人工智能行业的领跑者。
但一些著名的技术领导者并不那么确定。
LinkedIn 联合创始人 Reid Hoffman 告诉科技出版物《The Information》,xAI 超级计算机只是生成式 AI 竞争领域的“赌注”。
据 The Information 报道,Hoffman 的意思是 Colossus 只允许 xAI 赶上其他更先进的人工智能公司,例如 OpenAI 和 Anthropic。
Modular AI 首席执行官 Chris Lattner 在上周 The Information 人工智能峰会的小组讨论中表示,马斯克对 Nvidia 昂贵且有限芯片的严重依赖也与这位亿万富翁打造自己的 GPU(名为 Dojo)的努力不一致。Meta、微软、Alphabet 和亚马逊都在开发自己的人工智能芯片,尽管他们仍在继续储备 Nvidia GPU。
“不同之处在于,Elon 多年来一直致力于 Dojo,”Lattner 在一封电子邮件中告诉 Business Insider。
马斯克对收购更多 Nvidia 备受追捧的芯片所面临的挑战表示担忧,并表示他的 Dojo 项目将有助于减少公司对这家芯片制造商的依赖。
“我们确实看到了通过 Dojo 与 Nvidia 竞争的途径,”马斯克在 7 月份的特斯拉财报电话会议上表示。“我们别无选择。”
本月在 X 上谈论 Colossus 时,马斯克表示,他的目标是在几个月内将超级计算机的芯片数量增加一倍,达到 20 万个。
据《The Information》报道,他表示该集群仅用了 122 天就建成了,这是一项令人印象深刻的壮举,没有其他公司可以匹敌。
目前尚不清楚 Colossus 是否同时运行 100,000 个 GPU,这需要复杂的网络技术和大量能源。
“马斯克此前表示,拥有 100,000 个芯片的集群已于 6 月底启动并运行,”The Information 报道。“但当时,当地一家电力公司公开表示,xAI只能从当地电网获得几兆瓦的电力。”
上个月,CNBC 报道称,一个环境倡导组织表示,xAI 在未经授权的情况下运行燃气轮机为其数据中心生产更多电力。
该媒体报道称,南方环境法中心在给当地卫生部门的一封信中表示,xAI 已安装并正在运行至少 18 台未经许可的涡轮机,“还有更多可能”,以补充其巨大的能源需求。
当地公用事业公司 Memphis Light、Gas and Water 告诉 CNBC,自 8 月初以来,它已向 xAI 提供了 50 兆瓦的电力,但该设施还需要额外 100 兆瓦的电力才能运行。
数据集群开发人员告诉 The Information,这只能为几千个 GPU 提供动力。马斯克的公司需要另一个变电站来获得足够的电力来运行 100,000 个芯片。
霍夫曼和马斯克没有立即回应 BI 的置评请求。