亚马逊Web Services 首席执行官马特·加曼 (Matt Garman) 估计，从现在起两到三代人的大型语言模型 (LLM) 训练将需要与大城市一样多的电力。根据文字记录的引言Garman 在 X（以前称为 Twitter）上发布了《华尔街日报》的采访，他认为一种模型可能需要 1 到 5 吉瓦才能完成训练，而 AWS 正在投资电力项目来满足这些不断增长的需求。
$AMZN AWS 首席执行官谈人工智能与能源：“如果你考虑一下这些生成式人工智能模型……估计表明，在两到三个模型的时间内，单个模型可能需要 1 到 5GW 的电力，这相当于为中小城市，甚至大城市” pic.twitter.com/RXF4arZNZn2024 年 10 月 25 日
如果我们回顾一下 Meta’s Llama LLM 的历史，作为比较，它于 2023 年 2 月推出了第一款车型，随后于 7 月推出了 Llama 2。该公司随后于今年 4 月中旬推出了 Llama 3。如果其他法学硕士遵循这个培训计划，我们平均每七个月就能看到新模型。另一方面，LLM先驱OpenAI于2020年6月推出了GPT-3，随后于2023年3月推出了GPT-4。虽然它也在2022年推出了GPT-3.5，但它更多的是GPT-3的改进，而不是GPT-3的改进。新的一代。因此OpenAI公司花了近三年的时间才推出了下一代模型。
有了这些信息，我们可以说，在当前的硬件水平上，典型的新一代法学硕士大约需要一两年的时间来进行培训。虽然人工智能公司正在使用更多的人工智能 GPU 来训练他们的模型，但这些 Llama-4 等 LLM 也更加复杂，需要以下集群：使用超过 100,000 个 Nvidia H100 GPU。OpenAI 也是将其 ChatGPT-5 模型推迟到 2025 年由于可用计算能力的限制。有了这些信息，我们可以假设我们将在大约五年内达到 5 吉瓦的电力要求。
这将使 OpenAI 等科技巨头微软， 亚马逊，谷歌，甚至甲骨文也需要一段时间来提高能源产量。Garman 表示，AWS 正在“资助 500 多个项目，通过可再生能源为电网带来新的电力。”这对于数据中心至关重要，特别是因为部署可再生能源需要时间，这与传统能源不同，例如煤炭和天然气排放大量温室气体。这是争夺人工智能霸主地位的竞争中的一个主要问题，谷歌甚至落后于其气候目标——其排放量增加 48%从 2019 年起 – 由于数据中心能源需求。谷歌前首席执行官甚至建议完全放弃气候目标让人工智能全力运转，解决未来的气候危机。
尽管如此，这些人工智能巨头认识到能源供应网络（或缺乏能源供应网络）所面临的威胁。这就是为什么除了中期投资可再生能源外，其中一些国家还投资发展核电。微软已经签署了一项协议重启三哩岛反应堆以满足其数据中心的需求，而谷歌和甲骨文都计划建造自己的小型核反应堆。就连传统核电站行业的老牌企业西屋电气也在致力于构建易于部署的微反应器为下一代人工智能数据中心提供动力。
电力限制现在已成为人工智能发展的限制因素，尤其是部署这些人工智能数据中心所需的新基础设施（发电厂、输电线路、变压器等）需要花费大量时间。虽然人工智能公司可以使用便携式发电机，比如马斯克在孟菲斯超星系团中的应用和其他不可再生能源来获取所需的电力，从长远来看这是不可持续的。因此，我们对人工智能持续发展的唯一希望是这些替代性可再生能源早日上线。