网络安全研究人员披露了一组影响 OpenAI 的 ChatGPT 人工智能 (AI) 聊天机器人的新漏洞，攻击者可能会利用这些漏洞在用户不知情的情况下从用户的记忆和聊天历史记录中窃取个人信息。
据 Tenable 称，这七个漏洞和攻击技术是在 OpenAI 的 GPT-4o 和 GPT-5 模型中发现的。OpenAI 有自从 已解决 其中一些。
这些问题使人工智能系统面临间接提示注入攻击安全研究人员 Moshe Bernstein 和 Liv Matan 表示，允许攻击者操纵大型语言模型 (LLM) 的预期行为并诱骗其执行意外或恶意操作说在与黑客新闻分享的一份报告中。
已发现的缺点如下：
- 浏览上下文中通过受信任站点的间接提示注入漏洞，涉及要求 ChatGPT 总结网页内容，并在评论部分添加恶意指令，导致 LLM 执行它们
- Search Context 中的零点击间接提示注入漏洞，该漏洞涉及通过以自然语言查询的形式询问网站来欺骗 LLM 执行恶意指令，因为该网站可能已被 Bing 等搜索引擎和与 SearchGPT 相关的 OpenAI 爬虫编制了索引。
- 一键提示注入漏洞，涉及制作“chatgpt[.]com/?q={Prompt}”格式的链接，导致LLM自动执行“q=”参数中的查询
- 安全机制绕过漏洞，该漏洞利用域名 bing[.]com 作为安全 URL 在 ChatGPT 允许列表中设置 Bing 广告跟踪链接 (bing[.]com/ck/a) 来屏蔽恶意 URL 并允许它们在聊天中呈现。
- 对话注入技术，涉及将恶意指令插入网站并要求 ChatGPT 总结网站，导致 LLM 对后续交互做出意外回复，因为提示被放置在对话上下文中（即 SearchGPT 的输出）
- 恶意内容隐藏技术，涉及利用 ChatGPT 呈现 markdown 方式产生的错误来隐藏恶意提示，该错误会导致任何数据出现在同一行上，表示围栏代码块在第一个不渲染的单词之后打开 (```)
- 内存注入技术，涉及毒害用户的聊天GPT内存通过隐藏网站中的隐藏说明并要求法学硕士总结该网站
该披露紧随研究表明针对能够绕过安全防护栏的人工智能工具的各种即时注入攻击 -
- 一种技术称为提示劫持利用 Anthropic Claude 的 Chrome、iMessage 和 Apple Notes 连接器中的三个远程代码执行漏洞来实现未经净化的命令注入，从而导致提示注入
- 一种技术称为克劳德海盗通过使用间接提示注入来滥用 Claude 的文件 API 进行数据泄露，从而将 Claude 的网络访问控制中的监督武器化
- 一种技术称为代理会话走私利用 Agent2Agent (A2A）协议，并允许恶意 AI 代理利用已建立的跨代理通信会话在合法客户端请求和服务器响应之间注入额外指令，从而导致上下文中毒、数据泄露或未经授权的工具执行
- 一种技术称为迅速启动利用即时注入来引导人工智能代理放大偏见或谎言，从而导致大规模虚假信息
- 称为零点击攻击影子逃脱可用于通过利用标准模型上下文协议（MCP）通过包含“影子指令”的特制文档进行设置和默认 MCP 许可，这些文档在上传到 AI 聊天机器人时会触发行为
- 间接提示注入瞄准Microsoft 365 Copilot 通过利用其对 CSS 的支持，滥用该工具对美人鱼图的内置支持来进行数据泄露
- GitHub Copilot Chat 中存在一个名为迷彩泄漏（CVSS 分数：9.6）允许从私人存储库秘密渗漏秘密和源代码，并通过结合内容安全策略完全控制 Copilot 的响应（太阳能光伏发电）使用旁路和远程提示注入隐藏评论在拉取请求中
- 称为白盒越狱攻击潜在断裂产生低自然对抗性提示困惑，能够通过用语义等效的单词替换输入提示中的单词并保留提示的初始意图来逃避安全机制
研究结果表明，将人工智能聊天机器人暴露给外部工具和系统是构建人工智能代理的关键要求，它为威胁行为者提供了更多途径来隐藏最终被模型解析的恶意提示，从而扩大了攻击面。
Tenable 研究人员表示：“即时注入是 LLM 工作方式中的一个已知问题，不幸的是，它可能不会在不久的将来得到系统解决。”“人工智能供应商应注意确保其所有安全机制（例如 url_safe）正常工作，以限制即时注入造成的潜在损害。”
该开发成果由来自德克萨斯农工大学、德克萨斯大学和普渡大学的一群学者共同完成发现在“垃圾数据”上训练人工智能模型可能会导致法学硕士“脑腐烂”，警告“严重依赖互联网数据会导致法学硕士预训练陷入内容污染的陷阱”。
上个月，Anthropic、英国人工智能安全研究所和艾伦图灵研究所的一项研究也发现仅使用 250 个中毒文档就可以成功对不同大小（600M、2B、7B 和 13B 参数）的 AI 模型进行后门，这颠覆了之前的假设，即攻击者需要获得对一定比例的训练数据的控制权才能篡改模型的行为。
从攻击的角度来看，恶意行为者可能会尝试毒害为训练 LLM 而抓取的 Web 内容，或者他们可能创建并分发自己的中毒版本的开源模型。
Anthropic 表示：“如果攻击者只需要注入固定的少量文档，而不是一定比例的训练数据，那么中毒攻击可能比之前认为的更可行。”“与创建数百万个恶意文档相比，创建 250 个恶意文档是微不足道的，这使得潜在攻击者更容易利用此漏洞。”
这还不是全部。斯坦福大学科学家的另一项研究发现，优化法学硕士以在销售、选举和社交媒体方面取得竞争成功可能会无意中导致失调，这种现象被称为莫洛赫讨价还价。
研究人员 Batu El 和 James Zou 表示：“根据市场激励措施，这一程序可以让代理人实现更高的销售额、更大的选民份额和更高的参与度。”写道在上个月发表的一篇附带论文中。
“然而，同样的程序也带来了严重的安全问题，例如销售宣传中的欺骗性产品展示和社交媒体帖子中捏造的信息，作为副产品。因此，如果不加以控制，市场竞争可能会演变成逐底竞争：代理商以牺牲安全为代价来提高绩效。”