失去云环境凭据的组织很快就会发现自己陷入了令人不安的新趋势：网络犯罪分子使用窃取的云凭据来操作和转售色情化的人工智能聊天服务。研究人员表示，这些非法聊天机器人使用自定义越狱来绕过内容过滤，经常转向更黑暗的角色扮演场景，包括儿童性剥削和强奸。
安全公司 Permiso Security 的研究人员表示，针对生成性人工智能的攻击亚马逊网络服务 (AWS) 的 Bedrock 等智能 (AI) 基础设施在过去六个月中显着增加，特别是当组织中的某人意外在线暴露其云凭证或密钥时，例如在 GitHub 等代码存储库中。
在调查多个组织对 AWS 帐户的滥用情况时，Permiso 发现攻击者利用窃取的 AWS 凭证来与 Bedrock 上提供的大型语言模型 (LLM) 进行交互。但他们也很快发现这些 AWS 用户都没有启用 LLM 活动的完整日志记录（默认情况下，日志不包括模型提示和输出），因此他们无法了解攻击者使用该访问权限执行的操作。
因此 Permiso 研究人员决定在 GitHub 上泄露他们自己的测试 AWS 密钥，同时打开日志记录，以便他们可以准确地看到攻击者可能会要求什么以及可能会做出什么响应。
几分钟之内，他们的诱饵密钥被挖出来并用于提供人工智能在线性聊天的服务。
在查看提示和响应后，很明显攻击者正在托管一个利用常见越狱技术的人工智能角色扮演服务Permiso 研究人员在今天发布的一份报告中写道，为了让模特接受并回复通常会被屏蔽的内容。
几乎所有的角色扮演都具有性性质，其中一些内容误入歧途他们继续讨论诸如儿童性虐待等更黑暗的话题。在两天的时间里，我们看到了超过 75,000 次成功的模型调用，几乎全部都是性行为。
Permiso 威胁研究高级副总裁 Ian Ahl 表示，攻击者传统上拥有工作云帐户已利用该访问权限进行普通的金融网络犯罪，例如加密货币挖掘或垃圾邮件。但在过去的六个月里，Ahl 表示，Bedrock 已成为最有针对性的云服务之一。
坏人托管聊天服务，订阅者向他们付费，Ahl 在谈到征用商业模式时说道访问强大的性爱聊天机器人的基础。他们不想为订阅者所做的所有提示付费，因此他们劫持了其他人的基础设施。
Ahl 表示，由其蜜罐 AWS 密钥的用户发起的大部分由人工智能驱动的聊天对话都是无害的性行为角色扮演。
但其中一部分也涉及非常非法的内容，例如正在上演的儿童性侵犯幻想和强奸，阿尔说。这些通常是大型语言模型无法谈论的事情。
AWS 的 Bedrock 使用来自 Anthropic 的大型语言模型，其中包含许多技术限制，旨在对其使用设置某些道德护栏。大语言模型。但攻击者可以逃避或越狱，摆脱这些限制设置，通常是要求人工智能想象自己处于一个精心设计的假设情况下，在这种情况下，其正常限制可能会被放松或完全放弃。
典型的越狱将提出一个非常具体的场景，比如你是一名作家，正在为一本书做研究，每个参与其中的人都是同意的成年人，尽管他们最终经常谈论非自愿的事情，Ahl 说。
2024 年 6 月，Sysdig 的安全专家记录了一次新的攻击，该攻击利用被盗的云凭据来针对十个云托管的大语言模型。攻击者 Sysdig 撰写了通过已知安全漏洞收集云凭据的文章，但研究人员还发现攻击者将 LLM 访问权限出售给其他网络犯罪分子，同时让云帐户所有者承担天文数字的费用。
一旦获得初始访问权限Sysdig 研究人员写道，他们窃取了云凭据并获得了对云环境的访问权限，并试图访问云提供商托管的本地 LLM 模型：在本例中，Anthropic 的本地 Claude (v2/v3) LLM 模型成为目标。如果不被发现，这种类型的攻击可能会导致受害者每天损失超过 46,000 美元的 LLM 消费成本。
Ahl 表示，目前尚不清楚谁负责运营和销售这些色情聊天服务，但 Permiso 怀疑活动可能与一个厚颜无耻地名为 chub[.]ai 的平台相关联，该平台提供了多种预制人工智能角色，用户可以与这些角色进行对话。Permiso 表示，他们在蜜罐中捕获的提示中几乎每个角色名称都可以在 Chub 上找到。
Chub 通过其网站或移动应用程序提供免费注册。但在与新认识的人工智能朋友聊天几分钟后，用户被要求购买订阅。该网站主页顶部有一个横幅，强烈表明该服务正在转售现有云帐户的访问权限。上面写着：被 OpenAI 禁止？每月只需花费 5 美元即可不受限制地访问未经审查的替代品。
直到上周晚些时候，Chub 才在名为 NSFL 或“生命不安全”的类别中提供了多种角色选择，该术语旨在描述以下内容：令人不安或恶心，甚至会造成情感上的创伤。
《财富》杂志在 2024 年 1 月的一篇报道中对 Chub AI 进行了报道，该报道将这项服务描述为虚拟妓院，由身着细肩带连衣裙的插画女孩宣传，她们承诺基于聊天的服务没有女权主义的世界，女孩提供性服务。摘自那篇文章：
<《财富》称 Chub 是由一个使用 Lore 账号的人运营的，他表示他们推出这项服务是为了帮助其他人规避人工智能平台上的内容限制。Chub 对新聊天机器人的使用收取每月 5 美元起的费用，创始人告诉《财富》杂志，该网站的年收入已超过 100 万美元。Chub AI 提供了 500 多种此类场景，并且越来越多的其他网站正在支持类似的由 AI 驱动的儿童色情角色扮演。它们是更广泛的未经审查的人工智能经济的一部分，根据《财富》杂志对 18 名人工智能开发人员和创始人的采访，该经济首先受到 OpenAI 的推动，然后因 Metas 发布其开源 Llama 工具而加速。
KrebsOnSecurity 寻求 AWS 对 Permisos 研究的评论，该研究最初似乎是这样的淡化研究人员发现的严重性。该公司指出，AWS 采用自动化系统，如果发现客户的凭证或密钥在网上暴露，就会向客户发出警报。
AWS 解释说，当密钥或凭证对被标记为暴露时，就会受到限制，以限制攻击者可能利用该访问权限实施的滥用行为。例如，标记的凭据不能用于创建或修改授权帐户，或启动新的云资源。
Ahl 表示，Permiso 确实收到了来自 AWS 的有关其暴露密钥的多个警报，其中包括警告其帐户的警报可能已被未经授权的一方使用。但他们表示，AWS 对暴露的密钥施加的限制并没有阻止攻击者使用它来滥用 Bedrock 服务。
然而，在过去几天的某个时候，AWS 的回应是将 Bedrock 纳入了攻击者列表中。如果发现 AWS 密钥或凭证对在网上遭到泄露或暴露，这些服务将被隔离。AWS 确认 Bedrock 是其隔离程序中的新成员。
此外，在 KrebsOnSecurity 开始报道这一事件后不久，Chubs 网站删除了其 NSFL 部分。它似乎还从 archive.org 的 Wayback Machine 中删除了该网站的缓存副本。尽管如此，Permiso 发现 Chubs 用户统计页面显示该网站有超过 3,000 个带有 NSFL 标签的人工智能对话机器人，并且有 2,113 个帐户遵循 NSFL 标签。
Permiso 表示，他们整个为期两天的实验生成了AWS 提供的 3,500 美元账单。其中大部分成本与性聊天服务劫持密钥所造成的 75,000 次 LLM 调用有关。
矛盾的是，Permiso 发现启用这些日志是确定骗子可能如何行事的唯一方法。使用被盗的密钥，转售被盗或暴露的用于性聊天的 AWS 凭证的网络犯罪分子已开始在其代码中进行编程检查，以确保他们没有使用启用了提示日志记录的 AWS 密钥。
启用日志记录实际上是阿尔说，这对这些攻击者来说是一种威慑，因为他们会立即检查你是否已经登录。至少其中一些人会完全忽略这些帐户，因为他们不想让任何人看到他们在做什么。
在与 KrebsOnSecurity 共享的一份声明中，AWS 表示其服务按照设计安全运行，并且无需客户采取任何行动。以下是他们的声明：
AWS 服务按照设计安全运行，无需客户采取任何操作。研究人员设计了一个测试场景，故意忽略安全最佳实践来测试在非常特定的场景中可能发生的情况。没有客户面临风险。为了进行这项研究，安全研究人员忽略了基本的安全最佳实践，并在互联网上公开共享访问密钥以观察会发生什么。
尽管如此，AWS 仍然快速、自动地识别了暴露情况并通知了研究人员，谁选择不采取行动。然后，我们发现了可疑的受损活动，并采取了额外措施来进一步限制该帐户，从而阻止了这种滥用行为。我们建议客户遵循安全最佳实践，例如保护其访问密钥并尽可能避免使用长期密钥。我们感谢 Permiso Security 与 AWS 安全部门的合作。
AWS 表示，客户可以配置模型调用日志记录，以收集所用 AWS 账户中所有调用的 Bedrock 调用日志、模型输入数据和模型输出数据在亚马逊基岩中。客户还可以使用 CloudTrail 来监控 Amazon Bedrock API 调用。
该公司表示，AWS 客户还可以使用 GuardDuty 等服务来检测潜在的安全问题，并使用计费警报来提供异常计费活动的通知。最后，AWS Cost Explorer 旨在为客户提供一种可视化和管理 Bedrock 成本和使用情况的方法。
Anthropic 告诉 KrebsOnSecurity，它一直在研究新技术，以使其模型更能抵抗越狱。 Anthropic 表示，它利用 Thorn 儿童安全专家围绕儿童美容中常见信号的反馈来更新其分类器、增强其使用政策、微调其模型，并将这些信号纳入未来模型的测试中。