通用模型和编码优化模型发布。
AMD 展示实力在AI游戏中，AMD不仅推出了新硬件，还押注于软件，试图打入Nvidia尚未主导的新细分市场。
于是，AMD推出了首款小语言模型AMD-135M，属于Llama家族，针对私人商业部署。目前尚不清楚新模式是否与该公司最近收购 Silo AI 有任何关系（因为该交易必须最终确定并得到各个当局的批准，所以可能不会），但这是朝着解决该问题方向迈出的明确一步。通过 AMD 完成的预训练模型来满足特定客户的需求 - 使用 AMD 硬件进行推理。
AMD 模型速度快的主要原因是因为它们使用所谓的推测性解码。推测性解码引入了一个较小的“草稿模型”，该模型在一次前向传递中生成多个候选标记。然后，令牌被传递到一个更大、更准确的“目标模型”，以验证或纠正它们。一方面，这种方法允许同时生成多个代币，但另一方面，由于数据交易增加，这会带来电力成本。
AMD 的新版本有两个版本：AMD-Llama-135M 和 AMD-Llama-135M 代码，每个代码都旨在通过使用推测解码技术加速推理性能来优化特定任务，这对于基于小语言模型的 AI 服务来说是合乎逻辑的。不知何故，两者在 AMD 进行的性能测试中都占了上风。
AMD 相信进一步的优化可以带来更好的性能。然而，由于该公司分享了其上一代 GPU 的基准数据，我们只能想象其当前一代 (MI300X) 和下一代 (MI325X) 的性能。
将 Tom's Hardware 的最佳新闻和深入评论直接发送到您的收件箱。
Anton Shilov 是 Toms Hardware 的特约撰稿人。在过去的几十年里，他涵盖了从 CPU 和 GPU 到超级计算机，从现代工艺技术和最新的制造工具到高科技行业趋势的所有内容。