Rich Sutton 警告 Agent：别以为预测好下一步，就能推演整个未来
作者：陈墨
作者：陈墨
强化学习研究者 Rich Sutton 在文章 The One-Step Trap 中提醒，AI 研究常犯一个诱人的错误：只学习“下一步会发生什么”，需要长期预测时再把这个模型不断滚动下去。
一句话结论： 下一步预测即使每次只错一点，滚动得足够久也会偏离现实；而在存在随机性的世界里，未来不是一条线，而是一棵迅速爆炸的可能性树。
这个想法为什么一直有人信？因为它有一半是真的。假如一步模型绝对准确，那么连续调用当然可以得到准确长期结果。可现实模型不可能绝对准确：一个物体位置偏一点，下一轮就从错误位置继续预测；一个 Agent 对用户意图理解偏一点，后续工具调用会把这个偏差变成新的环境状态。错误不是简单相加，有时会被系统放大。
第二个问题是计算量。确定性电子游戏或许能沿一条轨迹模拟，真实环境却有随机事件、其他人的行为和策略变化。如果每一步有多个可能结果，预测 100 步就不是模拟 100 次，而是处理一棵分支数量可能指数增长的树。剪枝能缓解，却无法让“一步模型包办一切”的思路天然成立。
这与今天的大模型 Agent 有什么关系？许多 Agent 实际上采用“观察当前页面、决定一个动作、再观察”的循环。这种做法适合即时交互，却容易在长任务中迷路：每一步看起来合理，半小时后却发现目标、约束或资源预算已经偏离。增加上下文能让它记得更多，并不能自动赋予它跨时间尺度的计划。
Sutton 主张学习时间抽象模型，例如 options 和通用价值函数 GVFs。通俗说，不只预测“按下这个按钮后页面怎样”，还要学习“完成登录”“收集证据”“把测试修到通过”这类持续一段时间的行为模块及其结果。它们并不消灭一步模型，而是让 Agent 可以在不同时间尺度上思考。
本站编辑陈墨认为，这篇短文最容易被误读成“世界模型没有用”。Sutton 批评的是把一步转移模型当成长期预测的唯一来源。今天的 Agent 仍需要观察下一步，但要想长期可靠，还需要里程碑、状态估计、可验证子目标和失败后的重新规划。目标模式之所以比逐按钮指挥更有效，也与此有关：系统获得了一个比下一步动作更长的评价尺度。
关键事实
- 原文讨论的是“一步模型足以生成所有长期预测”的假设。
- 两个主要问题是误差累积与随机未来的指数级分支。
- Sutton 建议使用 options、GVFs 等时间抽象。
- 文章观点源自强化学习，但可用于理解当代工具型 Agent 的长期规划问题。
OC 判断
可靠 Agent 不能只把局部动作做对，还要知道任务处在哪个阶段、哪些约束不可丢，以及何时应停止滚动并重新规划。
为什么重要
- 对开发者：评测应覆盖完整任务轨迹，不能只看单步工具调用正确率。
- 对企业：长流程自动化需要检查点和回滚，而不是无限延长自主运行时间。
- 对用户：Agent 每一步都像在做事，并不保证最后能到达目标。
评论
围绕这篇文章补充信息、提出问题或分享观察。