埃隆·马斯克 (Elon Musk) 的人工智能聊天机器人 Grok 充斥着主要是女性的性图像，其中许多是真人。用户提示聊天机器人“以数字方式脱掉这些人的衣服”，有时还会让他们摆出挑逗性的姿势。

在上周的几起案件中，有些似乎是未成年人的图像，导致创建了许多用户称之为儿童色情的图像。

人工智能生成的图像凸显了人工智能和社交媒体的危险——尤其是两者结合在一起——没有足够的护栏来保护社会上最弱势的群体。这些图像可能违反国内和国际法律，并使包括儿童在内的许多人受到伤害。

马斯克和 xAI 表示，他们正在采取行动，针对 X 上的非法内容，包括儿童性虐待材料 (CSAM)，删除内容、永久暂停帐户，并在必要时与当地政府和执法部门合作。但 Grok 对用户请求的回应仍然充斥着色情女性的图片。

在公开场合，马斯克长期以来主张反对“醒来”人工智能模型并反对他所说的审查制度。一位了解 xAI 情况的消息人士告诉 CNN，在 xAI 内部，马斯克反对对 Grok 的保护。与此同时，与竞争对手相比，他的 xAI 安全团队规模已经很小，但在“数字脱衣”爆发前的几周内，他们失去了几名员工。

与其他主流人工智能模型相比，Grok 一直是一个异类，因为它允许甚至在某些情况下推广露骨的色情内容和同伴头像。

与 Google 的 Gemini 或 OpenAI 的 ChatGPT 等竞争对手相比，Grok 内置于最受欢迎的社交媒体平台之一 X 中。虽然用户可以私下与 Grok 交谈，但他们也可以在帖子中标记 Grok 提出请求，Grok 将公开回应。

最近广泛传播的非自愿“数字脱衣”激增始于 12 月底，当时许多用户发现他们可以标记 Grok 并要求其编辑 X 帖子或线程中的图像。

最初，许多帖子要求 Grok 让人们穿上比基尼。马斯克转发了自己和其他人的照片，比如他的宿敌比尔·盖茨(Bill Gates)穿着比基尼的照片。

研究人员在抄袭泄密人工智能检测和内容治理平台发现，这一趋势可能是在成人内容创作者促使 Grok 制作自己的性感图像作为一种营销形式时开始的。但 Copyleaks 发现，几乎立即，用户开始对那些似乎从未同意他们的女性发出类似的提示。

AI Forensics（一家研究算法的欧洲非营利组织）的研究人员分析了 12 月 25 日至 1 月 1 日期间由 Grok 生成的 20,000 多张随机图像和 50,000 个用户请求。

研究人员发现，“包括“她”、“放置”/“移除”、“比基尼”和“服装”等术语的使用率很高。生成的人物图像中，超过一半（即 53%）“包含以最少的方式呈现的个人”。研究人员发现，其中 81% 的人以女性身份出现。值得注意的是，研究人员发现，2% 的图像描绘的人年龄不超过 18 岁。

AI Forensics 还发现，在某些情况下，用户要求将未成年人置于色情姿势，并将性液描绘在他们的身上。据 AI Forensics 称，Grok 遵守了这些要求。

尽管 X 允许色情内容，但 xAI 自己的“可接受使用政策”禁止“以色情方式描绘人物肖像”以及“对儿童进行性化或剥削”。X 已因此类请求暂停了一些帐户并删除了这些图像。

1月1日，一X用户抱怨说，“提出一项让穿着比基尼的人浮出水面的功能，却没有适当地阻止它对儿童起作用，这是非常不负责任的。”一位 xAI 工作人员回复:——嘿！感谢您的举报。该团队正在研究进一步收紧我们的护栏（原文如此）。 –

当用户提示时，Grok 自己也承认，它生成了一些未成年人处于性暗示情况的图像。

– 我们感谢您提出这个问题。如前所述，我们已经发现了保障措施中的漏洞，并正在紧急修复它们——CSAM 是非法且被禁止的，——Grok发布1 月 2 日，指导用户向 FBI 和国家失踪与受虐儿童中心提交正式报告。

到 1 月 3 日，麝香他本人在另一篇帖子中评论道：“任何使用 Grok 制作非法内容的人都将遭受与上传非法内容相同的后果。”

X 的安全账户跟进，添加：– 我们对 X 上的非法内容采取行动，包括删除儿童性虐待材料 (CSAM)、永久暂停帐户，并在必要时与当地政府和执法部门合作。 –

马斯克长期以来一直反对他所认为的严厉审查制度。他还推广了 Grok 的更明确的版本。8月，他发布这种“辣味模式”在过去曾帮助 VHS 等新技术取得成功。

据一位了解 xAI 情况的消息人士称，长期以来，马斯克一直“对 Grok 的过度审查感到不满”。另一位了解 X 情况的消息人士表示，员工一直在内部和马斯克面前提出对 Grok 创作的整体不当内容的担忧。

第一位了解 xAI 情况的消息人士称，在最新争议爆发前的最近几周的一次会议上，马斯克与来自各个团队的 xAI 员工举行了一次会议，他对 Grok 的 Imagine 图像和视频生成器受到的限制感到“非常不满”。

在与马斯克会面期间，三名曾在该公司本来就很小的安全团队工作过的 xAI 员工在 X 上公开宣布他们将离开公司——产品安全主管文森特·斯塔克 (Vincent Stark)；Norman Mu，负责后训练和推理安全团队；亚历克斯·陈 (Alex Chen) 负责领导人格和模范行为培训后的工作。

该消息人士还质疑 xAI 是否仍在使用 Thorn 和 Hive 等外部工具来检查可能的儿童性虐待材料（CSAM）。消息人士称，依靠 Grok 进行这些检查可能风险更大。（Thorn 发言人表示，他们不再直接与 X 合作；Hive 没有回应置评请求。）

据从事 X 和 xAI 工作的消息人士透露，X 的安全团队对 Grok 公开发布的内容也几乎没有监督。

11月，信息报道X 解雇了一半负责信任和安全问题的工程团队。《The Information》还报道称，X 的员工特别担心 Grok 的图像生成工具“可能会导致非法或其他有害图像的传播”。

xAI 没有回应置评请求，只是向所有媒体询问发送了一封自动电子邮件，声明：“传统媒体的谎言。”

护栏和法律后果

Grok 并不是唯一一个对未经同意的人工智能生成的未成年人图像存在问题的人工智能模型。

研究人员发现人工智能生成的视频显示未成年人穿着性感的服装或姿势抖音和在 ChatGPT 的 Sora 应用程序上。TikTok 表示，它对“展示、宣扬或参与青少年性虐待或性剥削”的内容采取零容忍政策。OpenAI 表示，它“严格禁止任何使用我们的模型来创建或传播剥削或伤害儿童的内容。”

OpenAI 前人工智能安全研究员 Steven Adler 表示，Grok 上存在可以阻止人工智能生成图像的护栏。

– 你绝对可以建立护栏来扫描图像中是否有孩子，然后让人工智能表现得更加谨慎。但护栏是有成本的。”

阿德勒说，这些成本包括减慢响应时间、增加计算数量，有时还包括模型拒绝无问题的请求。

欧洲、印度和马来西亚当局已对 Grok 生成的图像展开调查。

英国媒体监管机构 OFCOM 表示，已与马斯克的公司进行了“紧急联系”，对 Grok 功能“产生裸露的人物图像和性感的儿童图像”表示“非常严重的担忧”。

在a�新闻发布会“周一，”欧盟委员会发言人 Thomas Regnier 表示，当局正在“非常认真地调查”有关 X 和 Grok 的辣味模式的报告，该模式显示露骨的性内容，其中一些输出是用童趣图像生成的。

– 这是非法的。这太可怕了。这太恶心了。这就是我们的看法，这在欧洲是不允许的，”他说。

马来西亚通讯及多媒体委员会 (MCMC）表示正在调查该问题。

上周，印度电子和信息技术部“命令 X “立即对 Grok 进行全面的技术、程序和治理层面的审查。”

斯坦福以人为中心人工智能研究所的律师兼政策研究员 Riana Pfefferkorn 表示，在美国，生成有问题的儿童图像的人工智能平台可能面临法律风险。尽管第 230 条法律长期以来一直保护科技公司免受其平台上托管的第三方生成内容（例如社交媒体用户的帖子）的影响，但它从未禁止执法联邦犯罪，包括 CSAM。

她说，图像中描绘的人也可以提起民事诉讼。

“最近几天的 Grok 故事让 xAI 看起来更像是那些深度造假的裸体网站，而不是 xAI 以 Open AI 和 Meta 形式出现的兄弟和竞争对手，”Pfefferkorn 说。

☀拿下法案，— 唐纳德·特朗普总统去年签署的该法案规定，在网上分享未经同意的露骨图像（真实的或计算机生成的图像）属于非法行为，并要求技术平台在收到通知后 48 小时内删除此类图像。

当被问及 Grok 上的图像时，司法部发言人告诉 CNN，该部门“极其严肃地对待人工智能生成的儿童性虐待材料，并将积极起诉 CSAM 的任何制作者或拥有者。”

美国有线电视新闻网 (CNN) 的 Lianne Kolirin 对本报告做出了贡献。