AMD Ryzen AI 9 HX 375 在 LLM 性能方面优于英特尔 Core Ultra 7 258V — Team Red 提供的基准测试显示在 LM Studio 中领先高达 27%

2024-11-01 15:31:50 英文原文

作者:Hassam NasirSocial Links NavigationContributing Writer

那它的锐龙 AI 300(代号 Strix Point)产品可以轻松击败英特尔的最新产品 核心超200V(代号 Lunar Lake)消费者 LLM 工作负载中的 CPU。Team Red 展示了几张图表,比较了两个系列处理器的性能,其中 AMD 领先 27% 以上。

自人工智能热潮以来,硬件和软件领域的科技巨头纷纷展开军备竞赛,以求在人工智能领域超越彼此。虽然这很大程度上纯粹是为了“人工智能炒作”,但主流客户的好处已经开始显现。微软任何系统都需要至少 40 TOPS 才能被视为“Copilot+ PC”。现在,几乎每个 CPU 制造商都为神经处理单元 (NPU) 预留了宝贵的硅空间。

在这一点上,AMD 表示,在本地运行 LLM 时,其 Strix Point APU 的性能似乎优于英特尔的 Lunar Lake。LM Studio的典型消费者LLM是基于llama.cpp框架运行的。Ryzen AI 9 HX 375 在 CPU 部分领先 Core Ultra 7 258V 高达 27%。延迟时间基准对于英特尔来说,这绝对是一场大屠杀——据报道,AMD 的延迟降低了 3.5 倍。米斯特拉尔尼莫 2407 12b 指导模型。当切换到集成显卡解决方案时,Ryzen AI 9 HX 375 的 Radeon 890M iGPU 最多比英特尔的 Arc 140V 快 23%。

第 1 张图片(共 3 张)

AMD LM Studio CPU vs CPU performance Tk/s
(图片来源:AMD

有趣的是,虽然 HX 375 是最快的 Strix Point APU,但 Core Ultra 7 258V 却不是。旗舰产品Core Ultra 9 288V提供了30W的TDP,这与Strix Point相对更好,因为后者可以配置高达54W。

除此之外,AMD 随后在英特尔自己的和第一方 AI Playground 中测试了这两款笔记本电脑 - 我们发现 AMD 使用米斯特拉尔 7b 指令 v0.3模型。Microsoft Phi 3.1 Mini Instruct 测试稍显不那么令人兴奋,领先优势降至 8.7%。

AMD Intel Playground iGPU vs iGPU performance

(图片来源:AMD

总而言之,您并不是每天都会打开笔记本电脑来运行本地法学硕士,但谁知道未来会怎样呢?如果看到主销 Core Ultra 9 288V 运行起来会更令人兴奋,但不要指望会有截然不同的结果。AMD 表示,它正在积极努力使目前受到许多技术障碍限制的法学硕士课程更容易为每个人所接受,这凸显了 LM Studio 等项目的重要性。

将 Tom's Hardware 的最佳新闻和深入评论直接发送到您的收件箱。

关于《AMD Ryzen AI 9 HX 375 在 LLM 性能方面优于英特尔 Core Ultra 7 258V — Team Red 提供的基准测试显示在 LM Studio 中领先高达 27%》的评论


暂无评论

发表评论

摘要

AMD 声称其 Ryzen AI 300 (Strix Point) CPU 在消费者 LLM 工作负载中的性能比英特尔 Core Ultra 200V (Lunar Lake) 高出 27%。AMD 的图表展示了 CPU 和延迟基准方面的卓越性能,其 APU 的延迟比英特尔低 3.5 倍。虽然 Ryzen AI 9 HX 375 在 CPU 速度和集成显卡方面领先,但比较是与非旗舰英特尔型号进行的。微软 AI Playground 的测试也有利于 AMD 约 10-13%。AMD 声称

相关讨论