- 微软支持的初创公司推出了无需 GPU 的生成式 AI 替代方案
- DIMC架构提供150TB/s的超高内存带宽
- Corsair 支持变形金刚、代理 AI 和交互式视频生成
总部位于加利福尼亚州圣克拉拉的硬件初创公司 d-Matrix Inc. 推出了首款人工智能处理器 Corsair，旨在增强人工智能推理能力。
支持者微软Corsair 利用尖端技术，避开了传统 GPU 和昂贵的高带宽内存 (HBM)，提供了显着的性能和成本优势。
Corsair 目前可供抢先体验的客户使用，计划于 2025 年第二季度提供更广泛的可用性。
Corsair 的性能重新定义了 AI 推理
Corsair 处理器专为处理要求苛刻的人工智能推理任务而设计，特别是生成式推理任务人工智能模型。例如，它以每个令牌 1 毫秒的速度实现每秒 60,000 个令牌 在单个服务器中运行 Llama3 8B 时。
在资源更加密集的场景中，例如 Llama3 70B 型号，Corsair 在单个机架中以每个令牌 2 毫秒的速度每秒交付 30,000 个令牌，与传统方式相比，可大幅节省能源和运营成本图形处理器基于的解决方案。
该处理器基于 Nighthawk 和 Jayhawk II 模块构建，采用 6 纳米制造工艺。每个 Nighthawk 模块都集成了四个神经核心和一个 RISC-V CPU，专门用于支持具有数字内存计算 (DIMC) 和多功能数据类型处理（包括块浮点 (BFP)）的大型模型推理。
Corsair 采用小芯片封装，将内存和计算集成在一起，以最大限度地提高效率。它符合行业标准 PCIe Gen5 全高全长卡外形尺寸，可与 DMX 桥卡搭配使用以实现可扩展的性能。每张卡均配备 2400 TFLOPs 8 位峰值计算能力，以及 2GB 集成性能内存和高达 256GB 的片外内存容量。
值得注意的是，美光科技是英伟达，也正在与 d-Matrix 合作。
d-Matrix 最初定于 2023 年底推出，为了响应生成式 AI 不断增长的需求，重新配置了其架构。这一转变使得 Corsair 能够整合针对 Transformer 模型和新兴应用（例如代理 AI 和交互式视频生成）量身定制的增强功能。
d-Matrix 联合创始人兼首席执行官 Sid Sheth 表示：“我们看到了 Transformer 和生成式 AI 的到来，并创立了 d-Matrix 来解决围绕我们这个时代最大的计算机会的推理挑战。”
“同类首创的 Corsair 计算平台为具有多个用户的高交互性应用程序带来了极快的代币生成速度，使 Gen AI 具有商业可行性，”Sheth 补充道。
通过电子新闻