AMD 推出首款小语言模型 AMD-135M 通过推测解码增强 AI 性能

通用模型和编码优化模型发布。

AMD 展示实力在AI游戏中，AMD不仅推出了新硬件，还押注于软件，试图打入Nvidia尚未主导的新细分市场。

于是，AMD推出了首款小语言模型AMD-135M，属于Llama家族，针对私人商业部署。目前尚不清楚新模式是否与该公司最近收购 Silo AI 有任何关系（因为该交易必须最终确定并得到各个当局的批准，所以可能不会），但这是朝着解决该问题方向迈出的明确一步。通过 AMD 完成的预训练模型来满足特定客户的需求 - 使用 AMD 硬件进行推理。

AMD 模型速度快的主要原因是因为它们使用所谓的推测性解码。推测性解码引入了一个较小的“草稿模型”，该模型在一次前向传递中生成多个候选标记。然后，令牌被传递到一个更大、更准确的“目标模型”，以验证或纠正它们。一方面，这种方法允许同时生成多个代币，但另一方面，由于数据交易增加，这会带来电力成本。

AMD 的新版本有两个版本：AMD-Llama-135M 和 AMD-Llama-135M 代码，每个代码都旨在通过使用推测解码技术加速推理性能来优化特定任务，这对于基于小语言模型的 AI 服务来说是合乎逻辑的。不知何故，两者在 AMD 进行的性能测试中都占了上风。

• 基本模型 AMD-Llama-135M 是在 6700 亿个通用数据的基础上从头开始训练的。这个过程花了六天时间，使用了四个基于 AMD Instinct MI250 的 8 路节点（在 AMD 的术语中，这些节点只是“四个 AMD MI250 节点”）。
• 此外，AMD-Llama-135M 代码也很好。- 使用额外的 200 亿个专门用于编码的代币进行调整，使用相同的硬件在四天内完成此任务。

AMD 相信进一步的优化可以带来更好的性能。然而，由于该公司分享了其上一代 GPU 的基准数据，我们只能想象其当前一代 (MI300X) 和下一代 (MI325X) 的性能。

保持领先地位：获取 Tom's Hardware 时事通讯

将 Tom's Hardware 的最佳新闻和深入评论直接发送到您的收件箱。

Anton Shilov 是 Toms Hardware 的特约撰稿人。在过去的几十年里，他涵盖了从 CPU 和 GPU 到超级计算机，从现代工艺技术和最新的制造工具到高科技行业趋势的所有内容。

• hotaru251
  我知道这是企业的“ai”LLM时尚（大多数客户不会给出两个，但我真的希望他们花时间