NVIDIA 推出 Vera,适用于代理的 CPU
比 x86 处理器快 1.8 倍,可驱动跨行业的多样化工作负载,产生更多数据中心代币收入
新闻摘要:
- NVIDIA 推出高性能、高能效 NVIDIA Vera CPU,以驱动跨行业的多样化工作负载,包括代理 AI、强化学习和数据处理。
- Vera 用作独立 Vera 服务器、NVIDIA Vera Rubin 系统和 Vera BlueField-4 STX AI 存储平台的 CPU。
- 计划采用 Vera 改造其人工智能工厂的全球人工智能实验室包括 Anthropic、OpenAI 和 SpaceXAI,以及超大规模企业 ByteDance、CoreWeave 和 Oracle Cloud Infrastructure。
- 大规模构建独立 Vera CPU 系统的制造商包括戴尔科技、HPE、联想和 Supermicro,以及华硕、仁宝、富士康、技嘉、和硕、广达云科技 (QCT)、纬创资通和纬颖科技。
�
NVIDIA GTC 台北ØNVIDIA 今天宣布全球技术领导者正计划采用 英伟达维拉,第一个为 AI 代理构建的 CPU。
NVIDIA Vera 是一款新型处理器,现已全面投入生产,与 x86 CPU 相比,任务完成速度提高了 1.8 倍,可驱动跨行业的多样化工作负载(包括代理 AI、强化学习和数据处理),从而产生更多数据中心代币收入。
迄今为止,NVIDIA Grace™ CPU 的出货量已接近 250 万颗,Vera 在其成功的基础上,将 CPU 性能和能效提升到了新的水平,以应对现代数据中心中最苛刻的 AI 工作负载,在数据中心中,代理从回答基本问题转向采取行动、运行代码、使用工具和评估结果。
探索 Vera CPU 的客户包括金融巨头 NYSE、全球人工智能实验室 Anthropic、OpenAI 和 SpaceXAI,以及超大规模企业 ByteDance、CoreWeave、Lambda、Nebius、Nscale 和 Oracle Cloud Infrastructure (OCI)。Vera 还被戴尔、HPE、联想和 Supermicro 等世界领先的系统制造商以及台湾系统制造商集成到人工智能基础设施中。
“人工智能代理将成为最大的计算用户,”NVIDIA 创始人兼首席执行官黄仁勋表示。– Vera 是首款专为未来而设计的 CPU – 专为超大规模运行代理 AI 而打造,具有非凡的性能、效率和可编程性。 –
“在 NYSE,我们的重点是优化支持我们无与伦比的基础设施的系统的延迟、吞吐量和可靠性,”NYSE 集团总裁 Lynn Martin 说道。“纽约证券交易所每天处理超过 1.1 万亿条消息,通过与 Redpanda 和 HPE 合作,使用 NVIDIA Vera CPU,我们将扩展容量,同时进一步优化延迟,为高性能、弹性和 AI 就绪的市场基础设施提供支持。”
Anthropic 是 Claude 背后的人工智能创新者,正在评估添加 Vera 来扩展 CPU 密集型代理工作负载。
“扩展计算是模型发展的重要促进剂,”Anthropic 计算主管 James Bradbury 说。– 我们很高兴看到 Vera 在解决代理工作负载时成为生态系统中一个有前途的部分。 –
由 NVIDIA Vera 提供支持的 OCI Supercluster 代表了超大规模 AI 超级计算的下一个前沿。
“Oracle 云基础设施正在快速扩展人工智能基础设施,以满足对培训、推理和代理人工智能不断增长的需求,”Oracle 云基础设施执行副总裁 Mahesh Thiagarajan 表示。– 通过部署 NVIDIA Vera CPU,OCI 将支持下一代 AI 环境中的高吞吐量推理和数据处理工作负载。 –
Phoronix 提供全面的开源基准测试套件,NVIDIA Vera已交付代理工作负载(包括代码编译、Python、Java 和数据库处理)中最快的整体性能。这些工作负载位于现代人工智能工厂的关键路径上,包括代理工具的使用和沙箱执行,其中更快的 CPU 性能可提供更高的代理吞吐量和交互性。
代理时代的定制 CPU
AI 工厂的经济正在从每美元核心数转向每美元代币,要求 CPU 能够更快、更高效地完成代理、数据处理和编排工作。
Vera 由 Olympus 提供支持,这是一个定制的 NVIDIA CPU 核心,专为这种转变背后的 CPU 工作而设计,从 Python 运行时和沙盒代码执行到编排逻辑和分析管道。
Vera 旨在处理更多指令、预测应用程序行为以及在大量并发环境、查询和数据处理任务中移动数据 - 具有 88 个 Olympus 内核、空间多线程和可提供高达 1.2TB/s 带宽的 LPDDR5X 内存子系统。这有助于代理花费更少的时间等待 CPU 密集的步骤,并让 AI 工厂保持加速器运行。
Vera CPU 还可以部署在整个人工智能工厂中——从独立的 CPU 基础设施到紧密耦合的加速系统。Vera 帮助人工智能工厂为用户提供更高的端到端吞吐量和更快的解决方案时间,从而提高训练、推理和代理执行的响应能力和效率。
Vera 通过第二代 NVIDIA NVLink™-C2C 互连技术充当 NVIDIA Vera Rubin 平台的主机 CPU,可在 CPU 和 GPU 之间提供高达 1.8TB/s 的一致带宽。它以机架规模扩展 NVIDIA 机密计算,保护代理工作负载。
的NVIDIA Vera BlueField-4 STX该处理器将 Vera 与高性能网络、存储加速和芯片内安全性相集成,以创建设计安全的 AI 原生数据平台。
广泛的生态系统支持
Vera CPU 可用于大规模代理 AI 和强化学习环境的密集液冷机架,以及适用于企业、云、数据处理和 AI 工厂部署的灵活的两路风冷系统。
提供基于 Vera CPU 的系统的领先基础设施提供商包括 Aivres、ASRock Rack、华硕、仁宝、戴尔、富士康、技嘉、HPE、Hyve Solutions、英业达、联想、神达电脑、微星指数、和硕、广达云科技 (QCT)、超微、纬创资通和纬颖科技。主要原始设备制造商(戴尔、HPE、联想和 Supermicro)将在独立 CPU 服务器配置中提供 Vera,这是 x86 之外的第一个标准 CPU 选项。
计划部署 Vera CPU 的领先云服务提供商包括 Akamai、ByteDance、Cloudflare、CoreWeave、Crusoe、Lambda、Nebius、Nscale、Oracle Cloud Infrastructure、Redpanda、Starburst、Together AI 和 Vultr。
可用性
从今年秋季开始,系统构建商和云合作伙伴将提供 Vera 系统。
观看黄氏主题演讲并了解更多信息NVIDIA GTC 台北。