微软支持了一家小型硬件初创公司,该公司刚刚推出了首款人工智能处理器,无需 GPU 或昂贵的 HBM 内存即可进行推理,Nvidia 的一个重要合作伙伴正在与其合作
2024-12-28 13:28:00
d-Matrix Inc. 是一家由微软支持的加州初创公司,推出了 Corsair,这是其首款人工智能处理器,专为高效人工智能推理而设计,无需使用 GPU 或昂贵的高带宽内存 (HBM)。Corsair 提供 150 TB/s 的超高内存带宽,并支持 Transformer、代理 AI 和交互式视频生成。使用 Llama3 8B 型号,它可在 1 毫秒延迟下每秒处理多达 60,000 个令牌;在 Llama3 70B 型号上,可在 2 毫秒延迟下每秒处理 30,000 个令牌,与传统 GPU 解决方案相比,显着降低了能源和运营成本。Corsair 采用 6nm 工艺打造,具有数字内存计算 (DIMC) 功能,现已向早期客户开放,并计划于 2025 年第二季度提供更广泛的可用性。