HiddenLayer 表示，Google 已将其 AI 助手 Gemini 带给全球数百万 Workspace 用户，但间接提示注入缺陷可能会引发网络钓鱼和聊天机器人接管攻击。
间接注入依赖于提供提示通过 LLM 有权访问的文档、电子邮件和其他资产等渠道进行注入，目的是接管聊天机器人或语言模型。
Gemini for Workspace，现已集成在 Gmail、Meet 的侧边栏中和 Drive 套件可以帮助用户即时进行查询，使他们能够搜索电子邮件、总结内容、撰写回复、创建幻灯片以及整体简化工作流程。
在为用户提供众多优势的同时，HiddenLayer 认为，Gemini for Workspace 还使他们面临额外的风险，包括网络钓鱼。
利用通过电子邮件、幻灯片和 Drive 上的文件进行的间接提示注入，这家人工智能安全公司能够操纵 LLM 的行为以某些方式，例如显示带有链接的网络钓鱼消息。
为了利用 Gmail 中的 Gemini，HiddenLayer 使用控制令牌劫持模型输出，并伪造包含强制 LLM 显示的说明和提醒的注入网络钓鱼消息。
安全公司还创建了一种间接提示注入，可以通过要求人工智能助手创建演示文稿，然后将有效负载注入每张幻灯片的演讲者注释中，从而篡改 Gemini 解析幻灯片的方式。
有效负载旨在覆盖文档的任何摘要，并且一旦要求 Gemini 总结演示文稿，就会触发有效负载。HiddenLayer 还指出，幻灯片中的 Gemini 尝试在打开文档时自动对其进行摘要。
在注意到幻灯片有效负载将转移到 Drive Gemini 侧边栏后，AI 安全公司发现 Drive Gemini 中的 Gemini充当典型的检索增强生成 (RAG) 实例，并且会陷入使用文档进行的间接提示注入攻击。
HiddenLayer 向 Google 报告了调查结果，但被告知这是预期行为并且没有计划进行修复。
然而，根据安全公司的说法，这种行为是一个重大风险，因为在某些条件下可以操纵助手以产生误导性或不可靠的响应。
<通过多个概念验证示例，我们证明攻击者可以操纵 Gmail、Google Slides 和 Google Drive 中的 Gemini for Workspaces 输出，从而允许他们执行网络钓鱼攻击并操纵聊天机器人的行为。HiddenLayer 表示，虽然 Google 将这些行为归为预期行为，但所探索的漏洞凸显了在使用 LLM 支持的工具时保持警惕的重要性。相关：人工智能狂野西部：揭开 GenAI 应用程序的安全和隐私风险
相关：微软详细介绍了万能钥匙人工智能越狱技术
相关：科技公司希望构建通用人工智能
相关：向量嵌入对精神病大语言模型和治愈警觉疲劳？