根据 AMD 最近的内部测试，AMD 的 Ryzen AI 300 系列移动处理器在本地大语言模型 (LLM) 性能方面轻松击败了英特尔的移动竞争对手。一个新的博客文章该公司的社区博客概述了 AMD 在 AI 性能方面击败 Team Blue 所进行的测试，以及如何为任何感兴趣的用户充分利用流行的 LLM 程序 LM Studio。
AMD 的大部分测试都是在 LM Studio 中进行的，LM Studio 是一款用于在本地下载和托管 LLM 的桌面应用程序。该软件基于 llama.cpp 代码库构建，允许 CPU 和/或 GPU 加速为法学硕士提供动力，并提供对模型功能的其他控制。
使用 Meta 的 Llama 3.2 的 1b 和 3b 变体，微软Phi 3.1 4k 迷你指令 3b，谷歌AMD 的 Gemma 2 9b 和 Mistral 的 Nemo 2407 12b 型号，AMD 测试的笔记本电脑均采用 AMD 旗舰产品锐龙 AI 9 HX 375对抗英特尔中端酷睿超7 258V。这对笔记本电脑进行了相互测试，测量每秒令牌的速度和生成第一个令牌所需时间的加速度，这大致与每秒打印在屏幕上的文字以及提交提示和提交提示之间的缓冲时间相匹配。当LLM开始输出时。
第 1 张图片（共 2 张）
如上图所示，在所有五个测试的 LLM 中，Ryzen AI 9 HX 375 在速度和开始输出文本的时间方面都表现出了比 Core Ultra 7 258V 更好的性能。在最占主导地位的情况下，AMD 芯片的速度比英特尔芯片快 27%。目前尚不清楚上述测试使用的是哪些笔记本电脑，但 AMD 很快提到，测试的 AMD 笔记本电脑运行的 RAM 速度比 Intel 机器慢（7500 MT/s vs. 8533 MT/s），而更快的 RAM 通常对应以获得更好的LLM表现。
值得注意的是，英特尔的 Ultra 7 258V 处理器与 HX 375 的竞争并不完全公平；258V 位于英特尔 200 系列 SKU 的中间位置，最大睿频速度为 4.8 GHz，而 HX 375 为 5.1 GHz。AMD 选择将其旗舰 Strix Point 芯片与英特尔的中等规格芯片进行比较，这听起来有点不公平，因此请记住这一点，并考虑到 27% 的改进说法。
AMD 还在 HX 375 的测试中展示了 LM Studio 的 GPU 加速功能。虽然 Ryzen AI 300 系列笔记本电脑中的专用 NPU 旨在成为 AI 任务的驱动力，但按需程序级 AI 任务更倾向于使用 iGPU。AMD 使用 LM Studio 中的 Vulkan API 进行的 GPU 加速测试非常青睐 HX 375，以至于 AMD 没有包含启用 GPU 加速时英特尔的性能数据。启用 GPU 加速后，Ryzen AI 9 HX 375 的 tk/s 速度比未启用 GPU 加速时运行任务时的速度提高了 20%。
当前围绕人工智能性能的计算机的媒体报道如此之多，供应商迫切希望证明人工智能对最终用户很重要。LM Studio 或英特尔的 AI Playground 等应用程序尽最大努力提供一种用户友好且万无一失的方式来利用最新的超过 10 亿次迭代的 LLM 供个人使用。对于大多数用户来说，大型语言模型和充分利用计算机进行法学硕士的使用是否重要则是另一回事了。