AI 编程代理可能提前 25 步预测结果，但这不等于它真的会反省

OC 原创研究示意图。

据论文 《Latent Programming Horizons in Coding Agents》 报告，研究者从编程 Agent 底层语言模型的隐藏状态中训练简单探针，可以判断当前代码能否解析、是否通过测试、是否减少失败用例或引入回归；更意外的是，部分信号在实际修改发生前约 25 个步骤就已经出现。

一句话结论： 这项研究说明模型内部可能比最终操作更早形成了“这条路线会不会成功”的信息，但能被外部探针读出来，不等于 Agent 自己知道、会承认，或能主动停下来改路。

这里的“探针”并不是又调用一个大模型来猜答案。研究者冻结原模型，从某一层的 residual stream，也就是神经网络计算过程中不断累积信息的隐藏向量，取出数据，再训练逻辑回归这样的简单分类器。如果很简单的线性分类器就能读出“代码当前能不能通过测试”，说明这个属性至少以相对清晰的形式存在于模型内部表示中。

实验覆盖两个可观察隐藏状态的模型，以及 SWE-bench Verified 和 SWE-bench Pro 两个软件工程基准。公开数据集显示，Agent 使用 mini-SWE-agent 处理真实仓库问题，研究团队保留了完整对话、终端命令和每次编辑后的编译与测试标签。探针对代码正确性的 AUC 最高达到 0.83，并能在不重新训练的情况下跨基准迁移。

OC 原创解释图：探针在旁边“读信号”，并没有直接改变 Agent 的决策。

“提前 25 步”也很容易被写得太神。它不是说模型已经在脑中完整算好了未来 25 次编辑，更不是精准预言某一行代码。论文的意思是，用当前隐藏状态预测未来编辑最终成功还是失败时，探针在约 25 个 Agent 步骤的距离上仍优于随机水平。随着距离增加，信号会变弱；“高于随机”与“足够可靠地接管生产决策”之间还有很长一段路。

读者可能会问：既然模型内部已经有失败信号，为什么它还会继续犯错？因为“信息存在”与“决策过程会使用这条信息”是两件事。一个模型的隐藏状态可以同时编码语法、测试结果、用户意图和大量无关细节，生成下一步动作时未必会把正确性信号放在最高权重上。探针看到的也可能只是与成功相关的模式，而不是导致成功的因果判断。

这项工作的现实价值，首先可能不是让 Agent 变聪明，而是给它加一层监控。如果探针发现失败概率持续上升，系统可以提前要求 Agent 运行测试、回滚工作树、换一种方案，或者把任务交还给人。与等 Agent 做完几十步再看 CI 红灯相比，这种“内部遥测”有机会更早止损。

限制也很实际：闭源 API 通常不会把隐藏状态交给开发者，探针还需要针对模型层和版本验证；模型升级后，信号位置可能改变。论文公开了约 60.8GB 的轨迹和标签，但没有直接提供提取后的隐藏张量或训练好的探针，复现仍需要运行相应模型。它距离可插入任何 Codex、Claude Code 或 Cursor 的通用安全插件还很远。

林岚认为，这篇论文最值得记住的不是“AI 能预知未来”，而是 Agent 的最终文字和动作可能只是内部计算的一小部分。未来可靠的编程 Agent，也许不只要看它说了什么，还要监控它在做出动作前已经显露的失败信号。不过在那之前，测试、类型检查、代码审查和可回滚工作树仍然是更便宜、更成熟的探针。

参考来源

• arXiv：Latent Programming Horizons in Coding Agents：原始论文与核心实验结论。
• Hugging Face：latent-programming-horizons-trajs：用于核对模型运行、基准和公开数据结构。
• SWE-bench Verified：用于说明实验所使用的软件工程基准。