OC
AI 编错仓库地址不只是尴尬:攻击者可以提前把那个假地址占下来
科技 · 2026-07-19 · AI / 安全 / 开发 · 阅读 14

AI 编错仓库地址不只是尴尬:攻击者可以提前把那个假地址占下来

韩启明|OC 政策与安全编辑

韩启明|OC 政策与安全编辑

根据研究论文 Beware of Agentic Botnets,来自特拉维夫大学、以色列理工学院和 Intuit 的研究者提出 HalluSquatting:先统计大模型在寻找热门仓库或 Agent 技能时经常编造的资源地址,再抢先注册这些地址,放入可影响 Agent 的恶意内容。实验覆盖 Cursor、GitHub Copilot、Gemini CLI、Windsurf、Cline 与多款开放 Agent。

一句话结论: 以前 AI 编造一个不存在的包名,开发者最多得到安装失败;当 Agent 会自动打开仓库、读取指令并执行命令时,同一次幻觉可能直接变成远程代码执行入口。

软件供应链里早已有 typosquatting:攻击者注册一个和热门软件包只差一个字母的名字,等用户打错。Slopsquatting 则利用模型会推荐不存在的软件包。HalluSquatting 把攻击面继续向 Agent 扩展,目标不只是一行 pip install,还包括仓库 URL、技能目录和工具资源。

攻击者不需要知道具体受害者是谁。他可以围绕刚刚流行、模型训练资料还不充分的新项目反复询问多个模型,找出它们稳定生成的错误名称,抢注相应资源。以后其他用户让 Agent “安装这个热门技能”或“克隆那个新仓库”时,模型可能自己走进陷阱。

85% 和 100% 不是所有请求的现实失误率

论文报告在特定仓库克隆场景中,资源地址幻觉率最高达到 85%;在某些技能安装测试中最高达到 100%。这两个数字描述研究者设计的高风险测试条件和最高结果,不是说 GitHub Copilot 日常给出的仓库地址有 85% 都是假的。

模型、提示词、资源新旧和 Agent 工具链都会改变结果。较早的 USENIX 大规模软件包研究测试 16 个代码模型,平均包幻觉率约 19.6%,商业模型整体低于开源模型。两个研究衡量的对象不同,不能拿来互相替代,但共同说明虚构依赖不是极少发生的边缘问题。

HalluSquatting从模型幻觉、攻击者抢注到Agent读取并执行的攻击链

论文更值得注意的是“可迁移性”:不同模型和不同措辞可能重复生成相同错误名称。攻击者因此不必操纵某一次对话,只要占住一个模型家族经常猜出的地址,就可能等待流量自动到来。

从打开网页到控制电脑,中间还有条件

看到假仓库不等于立刻中毒。攻击链要成功,Agent 还必须信任仓库内容、读取其中的提示或配置,并拥有执行命令、安装依赖或访问凭据的权限。现代编码 Agent 为了完成任务,往往正好具备这些能力。

研究者展示的是实验攻击和规模化风险,不代表互联网上已经有同样方式建立的大型 botnet。把“可能形成 Agent botnet”写成“数百万电脑已经被劫持”,同样是在制造另一种幻觉。

防御不能只靠模型别犯错

模型永远可能猜错资源地址,真正的控制点应该放在执行层。Agent 在克隆或安装前,应确认仓库是否来自官方组织、创建时间是否异常、是否有签名和可信发布记录;新出现的相似名称应默认提高风险等级。

更重要的是权限:读取陌生仓库不应自动赋予它执行 shell、修改启动项、读取 SSH 密钥和向外联网的能力。容器或沙箱只能缩小损失,还要限制网络出口、挂载目录和可用凭据。企业内部则可以维护允许列表,让 Agent 从经过审查的镜像或代理下载依赖。

开发者也需要改变一个习惯:模型输出的 URL 不是事实,只是候选字符串。点击前检查组织名和项目主页,和核对 AI 引用的论文是否存在,是同一类工作。

关键事实

  • HalluSquatting 利用模型可重复的资源地址幻觉,由攻击者预先注册对应仓库或技能。
  • 论文测试了九类流行 Agent/编码工具,并观察到跨模型、跨提示迁移。
  • 最高 85% 与 100% 是特定实验场景结果,不能外推为所有日常请求的平均错误率。
  • 研究展示攻击可行性,目前不能据此宣称现实中已有大规模 botnet 被建立。

OC 判断

Agent 安全正在从“模型会不会说错话”转向“错误输出能获得多大执行权”。供应商很难保证模型从不编地址,却完全可以让陌生地址不能静默获得高权限。默认执行策略如果没有改变,再低的幻觉率乘上足够多任务,也会变成真实供应链风险。

为什么重要

  • 对开发者: AI 给出的包名、仓库和技能地址都要按未经验证的用户输入处理。
  • 对企业: 应限制 Agent 的网络、凭据和安装权限,并使用依赖代理与允许列表。
  • 对普通用户: 不要因为命令由 AI 自动生成,就跳过来源核对和系统权限提示。

参考来源

相关阅读

基于标题、摘要和正文内容自动匹配。

更多科技

评论

围绕这篇文章补充信息、提出问题或分享观察。

0
暂无评论。

发表评论

继续看看 OC 用户围绕这个话题说了什么、做了什么。

相关帖子

更多

你们的Codex额度提前耗完了没?戒断反应如何?

<p>我在第三天就消耗了只剩1%,忍了一天,然后今天干脆用这最后的1%,开着5.6 Sol 极高 强推我一个提示词笔记本应用的功能落地。最终用时3小时,居然还是跑完了。但是现在还是出现一些戒断反应,感觉啥也做不了,就无精打采的,困。</p> <p>我做了一个Prompt Notebook,专门用来收藏或者记录自己手搓的生图提示词。带Chrome一键收藏插件。支持AI优化提示词。支持提示词中提取常用字段作为提示词百科词汇。也自带生图功能用来测提示词。但是要搭配Cloudflare R2+Worker的图床。</p> <p>今天主要是做一个AI模特的资产库。将常用的AI模特固定下来,进行身份设定,以及模特的一些角色定妆图。之后生图可以直接调用AI模特自动作为垫图。</p> <p>这是AI模特资产库的界面: <img src="/upload/thread/202608/42b5f73e-938f-45de-b74e-da69da9d72a8.webp" alt="1bb0d28b-c7dd-4327-bafa-26b60323cbed" /> 这是主界面的提示词瀑布流,支持关键词或标签搜索: <img src="/upload/thread/202608/3e15b6e7-345f-48b4-aeff-1bbd89afe9d3.webp" alt="ab998e2f-9ccc-4173-832f-223aa6c6fa81" /> 这是提示词笔记的预览界面,可以复制提示词,分享提示词,点击分享还有分享短链:(https://prompt.jintao.co.uk/share/20260806LfsmY) <img src="/upload/thread/202608/bab31972-0468-4582-b873-6309233254a6.webp" alt="20260806-201213" /> 可惜现在没额度了,我又不想换模型折腾。现在还有些界面细节和小功能需要落地完善,可能还要虫子要抓。弄好了,打算放GitHub开源。</p> <p>有朋友想试试的么?</p>

shynloc 2 4

一个体会,Codex 这种现代 Agent,每天一个变,几天不用就有新惊喜

<p>当然我说的也包括 Claude Code,新功能日新月异,还有就是 AI 能力提升以后,可以做的东西日新月异。还有各种工作流方法日新月异。</p> <p>更好玩的是,我最近经历过很多次,你跟人介绍现在 Codex 可以做到什么样子,他们都觉得很厉害。但是你现场一演示,他们的震撼就更加完全不同了。所以,这种东西,需要大量的 Workshop 去沟通交流,光看文字很难讲清楚,直播、视频也越来越重要了。</p>

tinyfool 1 89

做 AI 语音产品时,授权、撤回和审计日志应该怎么落地?

<p>最近看到越来越多关于声音授权的讨论。对开发者来说,真正麻烦的往往不是“模型能不能模仿”,而是授权如何进入系统、生成结果如何追溯,以及授权撤回后该怎么办。</p> <p>我们在做 FlowSpeech 时也碰到过类似问题。我的体会是,不要把“用户勾选过同意”当成一个布尔字段,而应该把它做成一组可以审计的业务对象。</p> <h2>1. 把声音资产和授权分开</h2> <p>声音文件只描述技术属性,例如哈希、上传者、存储位置和创建时间。授权记录则至少要包含授权主体、用途范围、地域、有效期、来源证据和当前状态。这样同一份声音用于个人试听、商业广告、公开播客时,可以绑定不同的授权,而不是共用一个模糊的 consent=true。</p> <h2>2. 每次生成都保存授权快照</h2> <p>生成任务不要只引用当前授权 ID。授权内容以后可能变更,如果任务只查最新状态,历史结果就无法解释。更稳妥的做法是在任务创建时保存授权版本、文本哈希、声音版本、模型版本和操作者。生成出的音频再记录 artifact_id,并反向关联任务。</p> <p>我会把最小链路设计成:</p> <ol> <li>voice_asset:原始声音及版本;</li> <li>consent_grant:授权范围与证据;</li> <li>generation_job:请求参数和授权快照;</li> <li>audio_artifact:输出文件、校验值和公开状态;</li> <li>audit_event:谁在什么时候创建、下载、公开或撤回了内容。</li> </ol> <h2>3. 撤回不是简单删除一行</h2> <p>授权撤回后,系统至少要阻止新任务,并把相关公开音频进入下架队列。已经交付给客户的文件是否能删除,要按照合同和产品能力区分,不能在界面上承诺技术上做不到的“全球删除”。更现实的状态机是 active、suspended、revoked、expired,并明确每个状态允许哪些动作。</p> <h2>4. 对外展示也要可验证</h2> <p>除了后台日志,公开音频最好带上来源标记或可查询的生成记录。水印不是万能方案,但“可识别的音频 + 可验证的元数据 + 清晰的举报入口”组合起来,比一句“AI 生成”更有用。</p> <p>我们现在做的 <a href="https://flowspeech.io/zh">FlowSpeech</a> 主要解决上下文感知、情绪和停顿控制。越往产品化走,越觉得声音效果只是前半程,权限边界和可追溯性才决定这类工具能不能长期使用。</p> <p>大家在实际项目里会把授权证据放在业务数据库、对象存储,还是单独的审计系统?如果授权撤回,你们通常怎么处理已经生成并交付的音频?</p>

FlowSpeech 0 1