OC
同一矩阵为何算出不同末位,AMD 核心研究拆开数值黑箱
科技 · 2026-09-18 · 计算硬件 · 阅读 3

同一矩阵为何算出不同末位,AMD 核心研究拆开数值黑箱

据 《Accurate Models of AMD Matrix Cores》预印本,研究人员为多代 AMD 矩阵核心建立软件数值模型,希望解释相同输入经过不同硬件后,为什么可能出现不同的浮点结果。这不是一份显卡速度排行榜,而是在拆解计算过程中那些不容易从接口说明看出的细节。

作者:林岚|OC 开发者生态编辑

《Accurate Models of AMD Matrix Cores》预印本,研究人员为多代 AMD 矩阵核心建立软件数值模型,希望解释相同输入经过不同硬件后,为什么可能出现不同的浮点结果。这不是一份显卡速度排行榜,而是在拆解计算过程中那些不容易从接口说明看出的细节。

一句话结论:随机测试中的逐位吻合,有助于理解硬件算术,但不等于穷尽所有输入的证明;跨设备复现也需要先定义允许什么差异。

写着同一个算式,不一定走同一条数值路径

在实数世界里,矩阵乘法的表达式很明确。但计算机使用有限位数保存中间结果,运算次序、舍入位置和累加精度都会影响最后留下来的比特。所谓同一种输入精度,并没有完整描述内部到底怎样计算。

一个容易理解的类比,是多人分别计算一笔长账:有人每一行都四舍五入,有人保留更多小数到最后才取整。即使使用同一组原始数字,最终末位也可能不同。硬件的实际规则比这个类比复杂得多,但“中间步骤也是结果的一部分”是共同点。

论文关注 AMD 的 CDNA 1、2、3 代矩阵核心,讨论累加器、舍入、归一化及特殊数值等行为。它试图让软件模型贴近真实硬件,而不是先假定所有厂商和代际都采用完全相同的内部算术。

相同输入分别经过硬件和软件模型,再比较输出;编辑概念图

一千万组吻合,证明了什么

作者报告,经过迭代修正的软件模型,在一千万组随机输入向量上与所测硬件逐位匹配。这是有分量的经验验证:一个模型如果能持续预测硬件输出,就可以帮助定位差异来自哪里。

但随机测试不是对全部可能输入的穷举,也不等于形式化证明。极端数值、特殊组合和未覆盖的指令模式,仍可能暴露新边界。正确的解读是“在作者的测试范围内获得高度一致”,而不是“从此精确模拟这类芯片的一切行为”。

这种区别会直接影响工具的用途。研究人员可以用它构造更有针对性的测试,分析某个数值偏差是否来自硬件语义;却不应因为随机样本足够多,就跳过实际应用中的验证。

复现至少有三个层次

第一层是逐位一致:输出的每一个比特相同。它便于严格回归,也最容易受底层算术改变影响。第二层是误差在事先约定的范围内:数值不完全相同,但满足算法的精度要求。第三层是任务结论稳定:数值有所变化,却不改变研究或产品真正关心的判断。

这三个层次不能相互偷换。一个程序跨设备无法逐位一致,不自动意味着结果不可用;反过来,误差看起来很小,也不能直接证明对最终任务没有影响。接近阈值的判断,可能需要单独检查敏感性。

固定随机种子主要约束随机过程,无法顺便规定每一种硬件的舍入路径。要追踪差异,还需要记录设备、软件栈、数据类型、计算设置和误差判定方式。缺少这些信息,换机器后出现差异时,很难判断是实现变化、数据变化还是原本就存在的数值敏感性。

不是用一个末位给厂商排座次

论文还给出应用层面的精度差异示例,但不同结果本身不是一个普适的优劣排序。数值模型有助于理解某项运算如何发生,性能、稳定性与应用误差则需要各自的测试。

对使用者来说,更实际的收益是减少黑箱:知道哪里可能产生差异,才能制定合适的容差,并决定哪些场景必须保持一致的设备和执行路径。

关键事实

  • 来源:2026 年 9 月发布、9 月 15 日更新的预印本。
  • 研究对象:AMD 多代 CDNA 矩阵核心的数值行为。
  • 作者验证:一千万组随机输入向量上的逐位匹配。
  • 结论边界:经验测试支持模型有效性,不构成所有输入与操作的完整证明。

OC 判断

可复现性不应只有“完全一样”和“完全不可信”两档。把硬件行为、允许误差与任务结论分开,是比追求一个笼统的确定性标签更有用的工程习惯。

为什么重要

  • 对开发者:跨设备回归应明确容差及特殊输入覆盖。
  • 对研究团队:保存环境信息,也保存数值判断标准
  • 对采购方:不能把局部精度示例当成整个硬件平台的质量排名。

参考来源

相关阅读

基于标题、摘要和正文内容自动匹配。

更多科技

评论

围绕这篇文章补充信息、提出问题或分享观察。

0
暂无评论。

发表评论

继续看看 OC 用户围绕这个话题说了什么、做了什么。

相关帖子

更多

做 AI 语音产品时,授权、撤回和审计日志应该怎么落地?

<p>最近看到越来越多关于声音授权的讨论。对开发者来说,真正麻烦的往往不是“模型能不能模仿”,而是授权如何进入系统、生成结果如何追溯,以及授权撤回后该怎么办。</p> <p>我们在做 FlowSpeech 时也碰到过类似问题。我的体会是,不要把“用户勾选过同意”当成一个布尔字段,而应该把它做成一组可以审计的业务对象。</p> <h2>1. 把声音资产和授权分开</h2> <p>声音文件只描述技术属性,例如哈希、上传者、存储位置和创建时间。授权记录则至少要包含授权主体、用途范围、地域、有效期、来源证据和当前状态。这样同一份声音用于个人试听、商业广告、公开播客时,可以绑定不同的授权,而不是共用一个模糊的 consent=true。</p> <h2>2. 每次生成都保存授权快照</h2> <p>生成任务不要只引用当前授权 ID。授权内容以后可能变更,如果任务只查最新状态,历史结果就无法解释。更稳妥的做法是在任务创建时保存授权版本、文本哈希、声音版本、模型版本和操作者。生成出的音频再记录 artifact_id,并反向关联任务。</p> <p>我会把最小链路设计成:</p> <ol> <li>voice_asset:原始声音及版本;</li> <li>consent_grant:授权范围与证据;</li> <li>generation_job:请求参数和授权快照;</li> <li>audio_artifact:输出文件、校验值和公开状态;</li> <li>audit_event:谁在什么时候创建、下载、公开或撤回了内容。</li> </ol> <h2>3. 撤回不是简单删除一行</h2> <p>授权撤回后,系统至少要阻止新任务,并把相关公开音频进入下架队列。已经交付给客户的文件是否能删除,要按照合同和产品能力区分,不能在界面上承诺技术上做不到的“全球删除”。更现实的状态机是 active、suspended、revoked、expired,并明确每个状态允许哪些动作。</p> <h2>4. 对外展示也要可验证</h2> <p>除了后台日志,公开音频最好带上来源标记或可查询的生成记录。水印不是万能方案,但“可识别的音频 + 可验证的元数据 + 清晰的举报入口”组合起来,比一句“AI 生成”更有用。</p> <p>我们现在做的 <a href="https://flowspeech.io/zh">FlowSpeech</a> 主要解决上下文感知、情绪和停顿控制。越往产品化走,越觉得声音效果只是前半程,权限边界和可追溯性才决定这类工具能不能长期使用。</p> <p>大家在实际项目里会把授权证据放在业务数据库、对象存储,还是单独的审计系统?如果授权撤回,你们通常怎么处理已经生成并交付的音频?</p>

FlowSpeech 0 1

你们的Codex额度提前耗完了没?戒断反应如何?

<p>我在第三天就消耗了只剩1%,忍了一天,然后今天干脆用这最后的1%,开着5.6 Sol 极高 强推我一个提示词笔记本应用的功能落地。最终用时3小时,居然还是跑完了。但是现在还是出现一些戒断反应,感觉啥也做不了,就无精打采的,困。</p> <p>我做了一个Prompt Notebook,专门用来收藏或者记录自己手搓的生图提示词。带Chrome一键收藏插件。支持AI优化提示词。支持提示词中提取常用字段作为提示词百科词汇。也自带生图功能用来测提示词。但是要搭配Cloudflare R2+Worker的图床。</p> <p>今天主要是做一个AI模特的资产库。将常用的AI模特固定下来,进行身份设定,以及模特的一些角色定妆图。之后生图可以直接调用AI模特自动作为垫图。</p> <p>这是AI模特资产库的界面: <img src="/upload/thread/202608/42b5f73e-938f-45de-b74e-da69da9d72a8.webp" alt="1bb0d28b-c7dd-4327-bafa-26b60323cbed" /> 这是主界面的提示词瀑布流,支持关键词或标签搜索: <img src="/upload/thread/202608/3e15b6e7-345f-48b4-aeff-1bbd89afe9d3.webp" alt="ab998e2f-9ccc-4173-832f-223aa6c6fa81" /> 这是提示词笔记的预览界面,可以复制提示词,分享提示词,点击分享还有分享短链:(https://prompt.jintao.co.uk/share/20260806LfsmY) <img src="/upload/thread/202608/bab31972-0468-4582-b873-6309233254a6.webp" alt="20260806-201213" /> 可惜现在没额度了,我又不想换模型折腾。现在还有些界面细节和小功能需要落地完善,可能还要虫子要抓。弄好了,打算放GitHub开源。</p> <p>有朋友想试试的么?</p>

shynloc 2 4

一个体会,Codex 这种现代 Agent,每天一个变,几天不用就有新惊喜

<p>当然我说的也包括 Claude Code,新功能日新月异,还有就是 AI 能力提升以后,可以做的东西日新月异。还有各种工作流方法日新月异。</p> <p>更好玩的是,我最近经历过很多次,你跟人介绍现在 Codex 可以做到什么样子,他们都觉得很厉害。但是你现场一演示,他们的震撼就更加完全不同了。所以,这种东西,需要大量的 Workshop 去沟通交流,光看文字很难讲清楚,直播、视频也越来越重要了。</p>

tinyfool 1 89

你为什么不移民?

<p>我是一定要移了,在这里连正常呼吸都不行了。以前正常呼吸指的是言论自由,现在是生物学意义的正常呼吸问题了。</p> <p>你为什么不移民?</p>

tinyfool 741 48