加入企业领导人信任的活动近二十年。VB变换汇集了建立真正的企业AI战略的人们。 了解更多
手套在周二在VB变换2025``作为替代性芯片制造商直接挑战了NVIDIA在推理的统治叙事,暴露了基本矛盾:如何推断AI推论 商品化的工厂和指挥70%的毛利率?
乔纳森·罗斯(Jonathan Ross)谷,在讨论Nvidia精心制作的消息传递时,没有刻薄的话。罗斯在小组中说:``AI工厂只是一种使AI听起来不那么恐怖的营销方式。肖恩·谎言,首席执行官脑,竞争对手同样是直接的:我不认为Nvidia的想法让所有服务提供商都在坐在那里的每一分钱时都与70点坐在那里。”
数百亿美元的基础设施投资和企业AI的未来架构受到威胁。对于目前与OpenAI和其他提供商的每周谈判的CISO和AI领导人,该小组对为什么他们的AI计划不断遇到障碍。
容量危机没有人谈论
``实际上是这些Gen Gen Gen Models的重要用户的任何人都知道您可以去Openai,或者无论如何,他们实际上无法为您提供足够的代币。”半分析。一些最大的AI用户及其模型提供商之间每周举行会议,以说服他们分配更多的容量。然后,这些模特提供商与其硬件提供商之间每周举行会议。
小组参与者还指出,令牌短缺是在工厂类比中揭示了一个基本缺陷。传统制造业通过增加容量来响应需求信号。但是,当企业需要提高推理能力的10倍时,他们发现供应链可以弯曲。GPU需要两年的交货时间。数据中心需要许可和权力协议。基础架构不用于指数缩放,迫使提供商通过API限制进行评估访问。
根据帕特尔的说法人类在短短六个月内,从20亿美元跃升至30亿美元。光标从本质上零到5亿美元。Openai跨越了100亿美元。然而,企业仍然可以得到所需的代币。
为什么工厂思维破坏AI经济学
詹森黄(Jensen Huang)人工智能工厂概念意味着降低成本的标准化,商品化和效率提高。但是小组揭示了这种隐喻分解的三种基本方法:
首先,推断是不统一的。帕特尔指出,即使在今天,对于DeepSeek的推断,沿着它们提供的速度的曲线,许多提供商都以什么成本提供的速度。”DeepSeek以最低的成本提供自己的模型,但每秒只能提供20个令牌。没有人愿意在20个令牌时使用模型。我说的速度比20个令牌更快。
其次,质量差异很大。罗斯(Ross)绘制了与标准石油相似的历史相似之处:当标准石油启动时,石油的质量各不相同。您可以从一家供应商那里购买石油,它可能会使您的房屋着火。如今,AI推断市场面临着类似的质量变化,提供商使用各种技术来降低成本,而成本无意中损害了产出质量。
第三,而且最关键的是,经济学是倒置的。罗斯解释说:``AI不寻常的一件事是,您可以花更多的钱来获得更好的结果。”``您可以拥有一个软件应用程序,例如,我要花费两倍的托管我的软件,并且应用程序可以变得更好。
当罗斯提到马克·扎克伯格(Mark Zuckerberg)赞扬Groq是唯一以全部质量推出的人时,他无意中揭示了该行业的质量危机。这不仅是认可。这是对所有其他提供商割伤的起诉。
罗斯阐明了这种机制:``很多人都在做很多技巧来降低质量,而不是故意的,而是为了降低成本,提高速度。技术听起来很技术性,但是影响很简单。量化降低了精度。修剪删除参数。每个优化在生产失败之前可能无法检测到企业的模型性能降低模型性能。
标准的油平行罗斯绘制了赌注。今天的推理市场面临着相同的质量差异问题。提供者押注企业会注意到95%至100%的准确性之间的差异是针对像元公司这样的公司,这些公司具有衡量降解的精致。
这为企业买家创造了直接的必要性。
- 在选择提供商之前建立质量基准。
- 审核未公开优化的现有推理合作伙伴。
- 接受全面模型保真度的高级定价现在已成为永久性市场功能。当扎克伯格召集差异时,假设推理提供者的功能等效性的时代结束了。
100万美元的令牌悖论
当小组讨论定价时,最启发性的时刻是。谎言强调了该行业的一个不舒服的真理:如果这些百万个令牌像我们相信的那样有价值,对吗?这不是关于移动单词的。您不收取1美元的移动单词。我每小时向律师支付$ 800的$ 800来撰写两页备忘录。
这种观察削减了AI价格发现问题的核心。该行业正在努力将代币的成本低于每百万美元以下,同时声称这些令牌将改变业务的各个方面。小组暗中彼此同意数学的同意。
罗斯透露,几乎每个人都在花钱,就像所有这些快速增长的初创公司一样,他们在代币上花费的金额几乎与他们的收入一对一相匹配。”AI代币与收入的1:1支出比代表了一个不可持续的商业模式,小组参与者认为工厂叙事方便地忽略了工厂叙事。
性能改变了一切
小脑和谷歌只是在价格上竞争;他们也在竞争性能。他们从根本上改变了推理速度的可能性。lie说:``通过我们建造的晶圆量表技术,我们启用了10次,有时甚至是50倍,性能比今天最快的GPU更快。”
这不是增量的改进。它可以实现全新的用例。'说明,我们的客户拥有可能需要40分钟的代理工作流程,他们希望这些事情实时运行。”即使您愿意支付最高美元,这些事情甚至可能是可能的。
速度差异会产生一个违反工厂标准化的分叉市场。需要实时推断针对客户的应用程序的企业可以使用与运行过夜批处理过程的基础架构相同的基础架构。
真正的瓶颈:功率和数据中心
当每个人都专注于芯片供应时,小组揭示了实际的约束节流AI部署。数据中心容量是一个大问题。帕特尔说,您真的可以找到美国的数据中心空间。权力是一个大问题。
基础设施挑战超出了基本资源限制的范围。正如帕特尔(Patel)所解释的那样,台湾的TSMC能够制造价值超过2亿美元的筹码,对吗?甚至不是他们扩大规模的速度是荒谬的。
但是,如果没有基础设施,芯片生产就无济于事。帕特尔透露,我们看到这些大中东交易的原因,部分原因是为什么这两家公司在中东都有大型阶段。”帕特尔透露。”全球竞争的争夺使企业遍及世界各地,无论存在数据中心的能力,无论有电工都可以建造这些电气系统。”
Google的成功灾难成为每个人的现实
罗斯(Ross)分享了Google历史上的一个轶事:在2015年在Google上非常流行,称为“成功灾难”。一些团队构建了AI应用程序,该应用程序首次开始比人类更好,并且对计算的需求如此之高,他们将需要迅速将全球数据中心的足迹加倍或三倍。”
现在,此模式在每个企业AI部署中都重复。应用程序要么无法获得吸引力,要么体验曲棍球棒的生长,即立即达到基础设施限制。没有中间立场,没有工厂经济学预测的平滑缩放曲线。
这对企业AI策略意味着什么
对于CIO,CISO和AI领导者,小组的启示需要战略重新校准:
容量计划需要新的模型。传统IT预测假设线性增长。AI工作负载打破了这一假设。当成功的应用程序每月增加30%的消费量时,年度产能计划就会在季度内过时。企业必须从静态采购周期转变为动态容量管理。通过爆发规定建立合同。每周监视使用量,而不是季度。接受AI缩放模式类似于病毒采用曲线的模式,而不是传统的企业软件推广。
速度保费是永久的。推理将商品化以统一定价的想法忽略了提供者之间的巨大性能差距。企业需要在重要的速度上预算预算。
体系结构击败优化。GROQ和CEREBRAS AREN -T赢得了GPU的胜利。他们通过重新思考AI计算的基本建筑来赢得胜利。押注基于GPU的基础架构上所有内容的企业可能会发现自己陷入了慢速车道。
电力基础设施是战略性的。约束不是芯片或软件,而是千瓦和冷却。智能企业已经锁定了2026年及以后的功率容量和数据中心空间。
基础设施现实企业可以忽略
小组揭示了一个基本的事实:AI工厂的隐喻不仅仅是错误,但也不危险。围绕商品推断定价和标准化交付的企业制定策略正在为不存在的市场计划。
真正的市场以三种残酷的现实运作。
- 容量稀缺创造了电力反演,供应商决定术语和企业进行分配。
- 质量差异(95%至100%精度之间的差异)决定了您的AI应用程序是成功还是灾难性失败。
- 基础架构约束,而不是技术,为AI转换设定了绑定限制。
CISO和AI领导者的前进道路要求完全放弃工厂思考。现在锁定功率。审核推理提供商隐藏质量退化。建立基于建筑优势的供应商关系,而不是节省边际成本。最重要的是,接受可靠,高质量推断的支付70%的利润可能是您最聪明的投资。
转型的替代芯片制造商并没有挑战Nvidia的叙述。他们透露,企业面临选择:支付质量和绩效,或加入每周的谈判会议。小组的共识很明确:成功要求将特定的工作负载与适当的基础架构匹配,而不是追求一定程度的全部解决方案。