“让混乱来临”：AI推理成本即将暴跌

• 各种初创公司正纷纷涌入人工智能推理市场。
• 推理市场的竞争可能降低人工智能的价格，这对建设者有利，但对云服务提供商构成挑战。
• 并非所有初创公司都能熬过即将到来的“混乱”时期。

贾里德·昆西·戴维斯和他的人工智能计算初创公司Foundry出售推理他们不制造芯片或建造大规模语言模型Foundry 有一种独特的提高云计算效率的方法。与其将技术卖给云服务提供商，Foundry 团队决定自己成为一家云服务提供商，并利用其技术运营更高效的云服务。

一旦公司训练好了他们的模型，并且知道这些模型能够正常工作，他们就在生成输出时寻求简便、快速和高性价比。像Foundry这样的推理即服务提供商，力求简化生成那些输出的过程。

Foundry也提供训练和微调服务，就像许多云提供商一样，但如今，似乎任何拥有增强AI计算技术的公司都在试图通过销售推理——更具体地说，是令牌（AI数据的基本单位）来获利。

Cerebras也提供推理服务。该公司的核心专长是设计用于训练和推理的芯片，但最近开始将后者作为服务销售。Groq也是如此，这是一家由两位前谷歌员工创立的芯片公司，他们很早就认识到推理将在计算中占据更大的份额。桑巴诺瓦系统公司另一个硬件平台也提供推理作为服务。

像Lambda、CoreWeave、Together AI和Crusoe这样的公司，它们都是Nvidia的密切合作伙伴，运营着专门针对AI工作负载的数据中心，并提供推理服务。还有像AWS和微软Azure这样的超大规模云服务商。

有这么多 专注于推理的公司越来越多，人们开始怀疑推理的成本即将暴跌。

戴维斯告诉《商业内幕》：“部分原因是推理在某种程度上是可以商品化的，因为客户最终还是为 token 付费。”

戴维斯说，当前的推理市场有点像电力市场。如果你实际去寻找的话，有很多小众的资源可以利用，但不是每个人都会这么做。大多数人都只想按下开关，让灯亮起来。

但是愿意深入了解的人会发现其中有很多细微差别。对于一些客户来说，速度至关重要速度也有区别，比如第一个令牌的时间和每秒令牌数。还有整个任务的完成时间，并且有不同的推理工作负载适合不同的计算设置。

底层硬件和网络的能效是成本的一个重要因素。在推理计算中的成本比训练更重要，Groq 的联合创始人 Jonathan Ross 最近告诉 Business Insider。训练是一项间接成本，而推理是一项运营成本。

从所有复杂的细节中退一步来看，推理正在成为人工智能时代的商品。

Lambda的云部门负责人Mitesh Agrawal告诉BI：“有些公司只关注产出，不在乎基础设施。”

将AI商品化

Lambda 正处于推理即服务的早期阶段，但 Agrawal 表示该公司正在谨慎地开展这项业务，专注于提供全面的计算服务，而不仅仅是 token。

阿格拉瓦尔表示，推理利润 margin 可能会有很大差异。在通用计算中——客户租用固定容量的情况下——利润率更容易管理。当你根据模型的使用量或输入输出收费时，回报就不那么可预测了。

组织多个用户在有限数量的服务器上需要技巧。Agrawal解释说，运营硬件的成本是否能够得到覆盖并有盈利空间取决于这种组织方式的效果。

那么为什么新云（_neoclouds_可能是原文中的专有名词，保持不变）会提供风险更大的服务？

阿格拉瓦尔表示，这关乎吸引潜在客户进门。推理即服务的客户可能会转变为传统的计算客户，而随着竞争对手的增多，关系和历史的重要性也会增加。

Lambda的财务模型假设随着更多参与者进入推理市场和芯片效率提高，价格削减将很快到来。

一场恶性竞争？

需求的增长速度存在争议，但在最近的公开声明中，Nvidia首席执行官黄仁勋多次表示，新的模型（如OpenAI的o1）需要更多的计算能力来生成相同数量的响应，因为它们运行多个模型以检查自己的工作或“推理”。结果是，准确性要求更高的计算资源。

推理负载即将增长，但服务提供商仍然预计新玩家的涌入会导致价格下降。戴维斯却不担心。

他想起了杰文斯悖论——一个经济学原理，即价格下降或效率提高会导致总消费增加，就像拓宽高速公路后交通反而变得更糟一样。

戴维斯说：“如果我将某物的价格降低到原来的十分之一，人们不会减少十倍的支出，甚至也不会保持原有的预算不变。他们会增加开支。”“这说得通，因为当你把某物的价格降到原来的十分之一时，你是在提高投资回报率。”

换句话说，“事实证明，当你让推理变得更便宜时，人们决定做更多的推理，”戴维斯说。

虽然前方可能会遇到“坎坷”，并非所有玩家都可能熬过供需不匹配的时刻。

“正如我以前在英特尔的老老板安迪·格罗夫常说的那样，‘让混沌肆虐，然后驾驭这种混乱’，”Celesta Capital 的创始管理合伙人兼 SambaNova Systems 的投资者 Sriram Viswanathan 说道。

他同意 接下来的几年里，推理服务提供商之间的竞争将非常激烈，但他认为赢家将会凭实力决定。

"核心创新不能体现在市场策略上，而应在于底层架构的性能和强大功能上，"维斯瓦纳坦说。

许多销售代币以进入AI市场的公司抱有更大的野心。芯片设计者最终希望向超大规模云服务提供商出售芯片，而不仅仅是向AI初创企业出售推理服务。 Foundry技术的最终版本也更大。

戴维斯说：“如果我们做好我们的工作，我们就将成为每一块GPU运行的核心部分。”看来所有的发展路径都通向推理。

休·兰格利贡献了报道。

有小技巧或见解想要分享吗？ 联系资深记者艾玛·科斯格罗夫ecosgrove@businessinsider.com或者使用安全消息应用Signal：443-333-9088