那它的锐龙 AI 300(代号 Strix Point)产品可以轻松击败英特尔的最新产品 核心超200V(代号 Lunar Lake)消费者 LLM 工作负载中的 CPU。Team Red 展示了几张图表,比较了两个系列处理器的性能,其中 AMD 领先 27% 以上。
自人工智能热潮以来,硬件和软件领域的科技巨头纷纷展开军备竞赛,以求在人工智能领域超越彼此。虽然这很大程度上纯粹是为了“人工智能炒作”,但主流客户的好处已经开始显现。微软任何系统都需要至少 40 TOPS 才能被视为“Copilot+ PC”。现在,几乎每个 CPU 制造商都为神经处理单元 (NPU) 预留了宝贵的硅空间。
在这一点上,AMD 表示,在本地运行 LLM 时,其 Strix Point APU 的性能似乎优于英特尔的 Lunar Lake。LM Studio的典型消费者LLM是基于llama.cpp框架运行的。Ryzen AI 9 HX 375 在 CPU 部分领先 Core Ultra 7 258V 高达 27%。延迟时间基准对于英特尔来说,这绝对是一场大屠杀——据报道,AMD 的延迟降低了 3.5 倍。米斯特拉尔尼莫 2407 12b 指导模型。当切换到集成显卡解决方案时,Ryzen AI 9 HX 375 的 Radeon 890M iGPU 最多比英特尔的 Arc 140V 快 23%。
第 1 张图片(共 3 张)
有趣的是,虽然 HX 375 是最快的 Strix Point APU,但 Core Ultra 7 258V 却不是。旗舰产品Core Ultra 9 288V提供了30W的TDP,这与Strix Point相对更好,因为后者可以配置高达54W。
除此之外,AMD 随后在英特尔自己的和第一方 AI Playground 中测试了这两款笔记本电脑 - 我们发现 AMD 使用米斯特拉尔 7b 指令 v0.3模型。Microsoft Phi 3.1 Mini Instruct 测试稍显不那么令人兴奋,领先优势降至 8.7%。
总而言之,您并不是每天都会打开笔记本电脑来运行本地法学硕士,但谁知道未来会怎样呢?如果看到主销 Core Ultra 9 288V 运行起来会更令人兴奋,但不要指望会有截然不同的结果。AMD 表示,它正在积极努力使目前受到许多技术障碍限制的法学硕士课程更容易为每个人所接受,这凸显了 LM Studio 等项目的重要性。