Kimi Delta Attention：线性注意力如何学会按通道遗忘
作者：林岚｜OC 开发者生态编辑
林岚
据 Doubleword 的技术解析 和 Kimi K3 论文，Kimi Delta Attention（KDA）把线性注意力、DeltaNet 的误差写入与可学习遗忘机制组合起来，让模型在固定大小状态中处理长序列，并能按不同键通道决定保留多少旧信息。
一句话结论：KDA 的关键不是简单把注意力“做成线性”，而是让有限记忆在写入新内容前，知道哪些旧关联该覆盖、哪些仍要保留。
标准 softmax 注意力会让每个新 token 与大量历史 token 比较，序列越长，计算与缓存成本越高。线性注意力把过去压缩成一个固定大小的状态，生成时不必反复扫描完整历史，复杂度因此更适合长上下文。
朴素线性注意力的问题是只会累加。相似的键不断写进同一个状态，旧信息和新信息相互干扰，就像一本只能往同一页叠字、不能擦除的笔记。DeltaNet 的改进是先读取当前预测，再把“目标与预测之间的误差”写回，接近给特定键赋新值。
Gated DeltaNet 又加入一个标量遗忘门，允许整个状态在每一步衰减。KDA 继续把门做细：不是所有通道一起忘，而是对键的不同维度使用对角形式的保留系数。某些信息可以快速被新内容覆盖，另一些关系继续保留。论文把这种状态转移写成对角加低秩结构，并用分块 Triton 内核提高训练和推理效率。
这并不意味着 KDA 全面取代 softmax 注意力。压缩状态会丢失部分精确历史，内核实现也决定理论复杂度能否变成实际速度。Kimi K3 采用的是工程组合，评价它应看长上下文质量、吞吐、显存和硬件兼容性，而不是只看一个漂亮公式。
关键事实
- 来源：Doubleword 技术文章、Kimi K3 论文与仓库
- 涉及项目：Kimi K3、Kimi Delta Attention
- 核心技术：线性注意力、DeltaNet、遗忘门、DPLR 状态转移、Triton 内核
- 模型规模：Kimi K3 共 2.8 万亿参数，每个 token 激活约 1042 亿参数
OC 判断
KDA 解决的是有限状态如何避免被历史写满，而不仅是复杂度符号从平方变线性。它的价值要靠端到端基准验证：相同质量下是否真的降低 KV cache 和延迟，训练稳定性是否可控，短上下文是否付出代价。这才是开发者真正会撞上的地方。
为什么重要
- 对模型开发者：提供了在固定状态内管理长期记忆的具体结构。
- 对推理平台：更小的历史缓存有机会降低长对话服务成本。
- 对用户：更长上下文不等于逐字记忆，压缩机制仍可能忘掉关键细节。
评论
围绕这篇文章补充信息、提出问题或分享观察。