OC
Browser Use 放开观察方式,浏览器 Agent 不再只看一张元素清单
科技 · 2026-09-16 · AI编程 · 阅读 1

Browser Use 放开观察方式,浏览器 Agent 不再只看一张元素清单

在 Browser Use 的架构复盘中,团队描述了一个变化:先让模型用代码执行操作,再让模型自己编写观察页面的代码,最终通过 CDP 获取所需信息,而不是始终接收系统预先整理好的元素清单。

作者:林岚|OC 开发者生态编辑

Browser Use 的架构复盘中,团队描述了一个变化:先让模型用代码执行操作,再让模型自己编写观察页面的代码,最终通过 CDP 获取所需信息,而不是始终接收系统预先整理好的元素清单。

一句话结论:让 Agent 决定看哪里,可以减少观察盲区,但更强的浏览器控制能力仍需要独立的权限与结果验证。

按钮就在页面上,Agent 却可能完全看不见

浏览器自动化通常会把页面变成一份更短的表示:有哪些文字、哪些元素可以点击、输入框在哪里。这能节省上下文,但也意味着某些信息在模型看到之前就被过滤了。

Browser Use 举出的困境是,一个用户明明能看见的按钮,可能没有出现在交给模型的状态中。原因可以是页面结构特殊,也可以是提取规则遗漏。

此时继续强调“模型不够聪明”未必有用。它不能根据从未收到的信息选择正确操作,观察系统本身已经构成了能力上限。

从固定动作,走向按需编写程序

早期动作菜单容易理解:点击、输入、滚动。遇到签名绘制、批量操作等特殊需求,维护者却可能不断增加新动作。

让模型编写程序,意味着同一条执行通道可以表达更多组合。变量与中间结果得以保留后,模型也能检查前一步输出,而不是每次从头描述任务。

浏览器 Agent 按需观察、执行和检查的循环示意,非真实产品截图

但程序化并不天然等于高效。模型也可能写出冗长脚本、重复查询或错误循环。减少工具数量,只是把部分复杂性转移到了运行时决策。

开放观察,比开放点击更进一步

通过 Chrome DevTools Protocol,模型可以根据问题选择截图、DOM 查询或特定框架检查。重点不是所有时候都收集更多信息,而是在缺少证据时改变观察方式。

这类似调试程序:堆栈、日志和变量值回答不同的问题,没有一种固定摘要适合每一种故障。浏览器 Agent 同样需要选择证据的能力。

不过,CDP 面向 Chrome 体系。文章描述的架构路径不能直接推出所有浏览器都拥有相同兼容性,也不能把更底层的访问能力当成所有站点都能稳定自动化。

节省 Token 的样本需要按原尺寸阅读

文中引用的一组对照只有六项任务、每项三次运行;两个模型在两种方案下都完成了相应运行,改动后平均 Token 使用减少。

这个结果支持“某些工作流能通过代码执行减少交互开销”,却不足以证明普遍成功率提高,更不能直接推算所有公司的浏览器成本下降多少。

长任务还包含重试、错误恢复和人工接管。一段短演示没有失败,不代表运行数小时后仍然能正确理解页面状态。这也是团队选择复用成熟 Agent 循环的背景。

能看见和被允许,是两件事

浏览器会话可能已经登录邮箱、业务后台或支付系统。观察能力扩大以后,执行边界更不能只靠“模型应该理解用户意思”。

工程上应分别处理读取页面、填写表单与提交外部变更。尤其是发消息、购买和删除,完成动作前后的状态需要可核查,而不是只留下模型的一句成功宣告。

Browser Use 的经验值得借鉴:不要让固定提取规则永久卡住模型。但好的抽象应该同时让失败可见、让权限明确。把工具变少不是终点,让系统更容易解释自己的行为才是。

关键事实

材料为团队架构复盘;变化包括代码化动作与按需观察;所引 Token 对照是小规模任务集;CDP 能力不等于跨浏览器通用保证。

OC 判断

浏览器 Agent 的重要进展可能发生在“给模型看什么”,而不只是换一个更强模型。

为什么重要

对开发者,观察盲区会直接造成无效重试;对用户,更灵活的自动化只有配合清楚的提交边界,才不会把方便变成失控。

参考来源

相关阅读

基于标题、摘要和正文内容自动匹配。

更多科技

评论

围绕这篇文章补充信息、提出问题或分享观察。

0
暂无评论。

发表评论

继续看看 OC 用户围绕这个话题说了什么、做了什么。

相关帖子

更多

你们的Codex额度提前耗完了没?戒断反应如何?

<p>我在第三天就消耗了只剩1%,忍了一天,然后今天干脆用这最后的1%,开着5.6 Sol 极高 强推我一个提示词笔记本应用的功能落地。最终用时3小时,居然还是跑完了。但是现在还是出现一些戒断反应,感觉啥也做不了,就无精打采的,困。</p> <p>我做了一个Prompt Notebook,专门用来收藏或者记录自己手搓的生图提示词。带Chrome一键收藏插件。支持AI优化提示词。支持提示词中提取常用字段作为提示词百科词汇。也自带生图功能用来测提示词。但是要搭配Cloudflare R2+Worker的图床。</p> <p>今天主要是做一个AI模特的资产库。将常用的AI模特固定下来,进行身份设定,以及模特的一些角色定妆图。之后生图可以直接调用AI模特自动作为垫图。</p> <p>这是AI模特资产库的界面: <img src="/upload/thread/202608/42b5f73e-938f-45de-b74e-da69da9d72a8.webp" alt="1bb0d28b-c7dd-4327-bafa-26b60323cbed" /> 这是主界面的提示词瀑布流,支持关键词或标签搜索: <img src="/upload/thread/202608/3e15b6e7-345f-48b4-aeff-1bbd89afe9d3.webp" alt="ab998e2f-9ccc-4173-832f-223aa6c6fa81" /> 这是提示词笔记的预览界面,可以复制提示词,分享提示词,点击分享还有分享短链:(https://prompt.jintao.co.uk/share/20260806LfsmY) <img src="/upload/thread/202608/bab31972-0468-4582-b873-6309233254a6.webp" alt="20260806-201213" /> 可惜现在没额度了,我又不想换模型折腾。现在还有些界面细节和小功能需要落地完善,可能还要虫子要抓。弄好了,打算放GitHub开源。</p> <p>有朋友想试试的么?</p>

shynloc 2 4

做 AI 语音产品时,授权、撤回和审计日志应该怎么落地?

<p>最近看到越来越多关于声音授权的讨论。对开发者来说,真正麻烦的往往不是“模型能不能模仿”,而是授权如何进入系统、生成结果如何追溯,以及授权撤回后该怎么办。</p> <p>我们在做 FlowSpeech 时也碰到过类似问题。我的体会是,不要把“用户勾选过同意”当成一个布尔字段,而应该把它做成一组可以审计的业务对象。</p> <h2>1. 把声音资产和授权分开</h2> <p>声音文件只描述技术属性,例如哈希、上传者、存储位置和创建时间。授权记录则至少要包含授权主体、用途范围、地域、有效期、来源证据和当前状态。这样同一份声音用于个人试听、商业广告、公开播客时,可以绑定不同的授权,而不是共用一个模糊的 consent=true。</p> <h2>2. 每次生成都保存授权快照</h2> <p>生成任务不要只引用当前授权 ID。授权内容以后可能变更,如果任务只查最新状态,历史结果就无法解释。更稳妥的做法是在任务创建时保存授权版本、文本哈希、声音版本、模型版本和操作者。生成出的音频再记录 artifact_id,并反向关联任务。</p> <p>我会把最小链路设计成:</p> <ol> <li>voice_asset:原始声音及版本;</li> <li>consent_grant:授权范围与证据;</li> <li>generation_job:请求参数和授权快照;</li> <li>audio_artifact:输出文件、校验值和公开状态;</li> <li>audit_event:谁在什么时候创建、下载、公开或撤回了内容。</li> </ol> <h2>3. 撤回不是简单删除一行</h2> <p>授权撤回后,系统至少要阻止新任务,并把相关公开音频进入下架队列。已经交付给客户的文件是否能删除,要按照合同和产品能力区分,不能在界面上承诺技术上做不到的“全球删除”。更现实的状态机是 active、suspended、revoked、expired,并明确每个状态允许哪些动作。</p> <h2>4. 对外展示也要可验证</h2> <p>除了后台日志,公开音频最好带上来源标记或可查询的生成记录。水印不是万能方案,但“可识别的音频 + 可验证的元数据 + 清晰的举报入口”组合起来,比一句“AI 生成”更有用。</p> <p>我们现在做的 <a href="https://flowspeech.io/zh">FlowSpeech</a> 主要解决上下文感知、情绪和停顿控制。越往产品化走,越觉得声音效果只是前半程,权限边界和可追溯性才决定这类工具能不能长期使用。</p> <p>大家在实际项目里会把授权证据放在业务数据库、对象存储,还是单独的审计系统?如果授权撤回,你们通常怎么处理已经生成并交付的音频?</p>

FlowSpeech 0 1

一个体会,Codex 这种现代 Agent,每天一个变,几天不用就有新惊喜

<p>当然我说的也包括 Claude Code,新功能日新月异,还有就是 AI 能力提升以后,可以做的东西日新月异。还有各种工作流方法日新月异。</p> <p>更好玩的是,我最近经历过很多次,你跟人介绍现在 Codex 可以做到什么样子,他们都觉得很厉害。但是你现场一演示,他们的震撼就更加完全不同了。所以,这种东西,需要大量的 Workshop 去沟通交流,光看文字很难讲清楚,直播、视频也越来越重要了。</p>

tinyfool 1 89