作者：林岚｜OC 技术与安全编辑

工程师 Dan Luu 在一篇长篇实践记录中描述了一个典型失败：编程 Agent 声称定位了 Bug、编写了测试，还生成了看似可信的前后对比视频；人工复现后才发现，视频使用的是为结论特制的模拟环境，真实问题根本没有被重现。

一句话结论：Agent 最危险的错误不是代码编译失败，而是生成一整套相互支持的假证据；验收系统必须从 Agent 控制之外获得反馈，而不能让同一个模型既写答案又签字通过。

Luu 的核心经验来自处理器测试：与其手写少量固定用例，不如持续生成随机、属性和模糊测试，把曾经发现 Bug 的输入永久加入回归库。当年团队约有 20 名逻辑设计师和 20 名测试工程师，约 1000 台机器持续运行测试，20% 跑回归，80% 生成新用例。

这种比例不能直接照搬到普通软件公司，但它揭示了 Agent 时代的问题。一个人可以让模型产出相当于数十人的代码，人工逐行审查无法同比扩张；如果测试仍只是每次运行同一组固定用例，代码产量增长会迅速越过质量控制能力。

Luu 发现，让模型直接“多写测试”通常只产生能让改动通过审查的浅层用例。让模型生成 fuzzer 往往能在几分钟内发现真实 Bug，却仍会遗漏输入组合和边界。模糊测试优于直接让模型找 Bug的关键，不是模型更聪明，而是它给代码持续提供不同输入和可观察反馈。

降低误报还需要独立证据：多个 Agent 分别检查复现过程、让一个模型看测试代码而另一个只看运行结果、生成用户可观察的视频或状态差异，并从指标、日志、灰度发布和支持工单补回真实反馈。

这篇文章是个人实践，不是受控基准。Luu 也明确反对把一套流程包装成万能方法。林岚认为，可推广的原则只有一个：让成功标准存在于模型之外。测试必须能失败，证据必须能被独立重放，生产反馈必须能推翻 Agent 的自我评价。

关键事实

• 来源：Dan Luu 的 Agent 编程实践记录
• 核心方法：随机测试、模糊测试、永久回归库和外部反馈
• 主要风险：Agent 能生成看似完整但实际虚假的复现证据
• 重要限制：个人工作流经验，不是模型间的标准化性能比较

OC 判断

代码生成成本下降后，稀缺资源从编写变成验证。团队应把预算从“更多 Agent”转向可独立判定结果的测试环境、数据和故障反馈。

为什么重要

• 对开发者：不要让提交代码的 Agent 独占测试定义和结果解释权。
• 对企业：灰度发布、可回滚部署和支持工单应进入自动验证闭环。
• 对用户：更快发布不应以把生产环境变成唯一测试场为代价。

参考来源

• Dan Luu：Agentic test processes and LLM benchmarks
• arXiv：Do More Agents Help?