AI Agent 也需要性能分析器：Token 浪费终于开始进入 CI
作者：林岚｜OC 开发者生态编辑
林岚
开源工具 Wattage 把自己称为 AI Agent 的 Kill-A-Watt 电表：读取 OpenTelemetry JSON 轨迹，统计模型调用成本，识别重复上下文、缓存缺失、无效循环和过度推理，并允许在成本回归时让 CI 失败。
一句话结论：Agent 成本优化正在从月底看总账，变成可以定位到某次循环、某段提示词并纳入代码评审的工程指标。
传统监控能看到一次请求花了多少钱，却不一定解释钱为什么被浪费。Wattage 把轨迹归一化为会话、任务、循环、迭代和模型调用，再运行八类检测器，包括 prefix_churn、cache_gap、重复工具调用、检索抖动、模型错配和不收敛。
工具离线运行，不需要上传提示词或 API 密钥。它使用带日期的模型价格快照；遇到未知模型时不会猜价格，而是将其标记并让 CI 明确失败。开发者还可以输出 HTML 火焰图、SARIF 和 JUnit XML。
项目展示的一条真实短轨迹中，启用稳定前缀缓存后模拟成本下降 44.7%。这只是三轮调用、金额很小的案例，不能外推成所有 Agent 都能节省近一半。其不收敛分类器的测试也主要基于十条人工标注的合成循环，样本规模仍有限。
CI 设计还有一个容易忽略的细节：拉取请求中的临时环境不能自动更新主分支基线。团队需要在合并后运行第二个工作流，提交新的基线和徽章，否则所有新改动会一直与过时成本比较。
成本分数也不能脱离质量。减少推理、缩短回答或换更便宜的模型可能降低账单，也可能让任务失败。Wattage 因此把可能影响质量的建议标为需要审查；真正的门禁应同时看成功率和成本。
关键事实
- 输入：OpenTelemetry GenAI 轨迹
- 检测范围：缓存、重复调用、不收敛、检索、模型和推理成本
- 输出：终端报告、HTML、SARIF、JUnit、CI 状态
- 运行方式：可完全离线
- 局限：示例和分类器基准规模较小，质量指标需团队自行接入
OC 判断
Wattage 最有价值的地方不是给 Agent 打一个字母分，而是把成本变成可回归的调用链证据。没有任务质量和稳定基线，单独追求 Token 效率仍会把系统优化坏。
为什么重要
- 对开发者：可以定位成本增长来自提示词、缓存、工具还是循环。
- 对企业：Agent 预算能进入 CI，而不是等云账单出来后追查。
- 对平台：统一的 OpenTelemetry 语义让不同模型和框架有机会被一起分析。
评论
围绕这篇文章补充信息、提出问题或分享观察。