AI Agent 也需要性能分析器:Token 浪费终于开始进入 CI
作者:林岚|OC 开发者生态编辑
作者:林岚|OC 开发者生态编辑
开源工具 Wattage 把自己称为 AI Agent 的 Kill-A-Watt 电表:读取 OpenTelemetry JSON 轨迹,统计模型调用成本,识别重复上下文、缓存缺失、无效循环和过度推理,并允许在成本回归时让 CI 失败。
一句话结论:Agent 成本优化正在从月底看总账,变成可以定位到某次循环、某段提示词并纳入代码评审的工程指标。
传统监控能看到一次请求花了多少钱,却不一定解释钱为什么被浪费。Wattage 把轨迹归一化为会话、任务、循环、迭代和模型调用,再运行八类检测器,包括 prefix_churn、cache_gap、重复工具调用、检索抖动、模型错配和不收敛。
工具离线运行,不需要上传提示词或 API 密钥。它使用带日期的模型价格快照;遇到未知模型时不会猜价格,而是将其标记并让 CI 明确失败。开发者还可以输出 HTML 火焰图、SARIF 和 JUnit XML。

项目展示的一条真实短轨迹中,启用稳定前缀缓存后模拟成本下降 44.7%。这只是三轮调用、金额很小的案例,不能外推成所有 Agent 都能节省近一半。其不收敛分类器的测试也主要基于十条人工标注的合成循环,样本规模仍有限。
CI 设计还有一个容易忽略的细节:拉取请求中的临时环境不能自动更新主分支基线。团队需要在合并后运行第二个工作流,提交新的基线和徽章,否则所有新改动会一直与过时成本比较。
成本分数也不能脱离质量。减少推理、缩短回答或换更便宜的模型可能降低账单,也可能让任务失败。Wattage 因此把可能影响质量的建议标为需要审查;真正的门禁应同时看成功率和成本。
关键事实
- 输入:OpenTelemetry GenAI 轨迹
- 检测范围:缓存、重复调用、不收敛、检索、模型和推理成本
- 输出:终端报告、HTML、SARIF、JUnit、CI 状态
- 运行方式:可完全离线
- 局限:示例和分类器基准规模较小,质量指标需团队自行接入
OC 判断
Wattage 最有价值的地方不是给 Agent 打一个字母分,而是把成本变成可回归的调用链证据。没有任务质量和稳定基线,单独追求 Token 效率仍会把系统优化坏。
为什么重要
- 对开发者:可以定位成本增长来自提示词、缓存、工具还是循环。
- 对企业:Agent 预算能进入 CI,而不是等云账单出来后追查。
- 对平台:统一的 OpenTelemetry 语义让不同模型和框架有机会被一起分析。
评论
围绕这篇文章补充信息、提出问题或分享观察。