人工智能儿童虐待时代来临

Muah.AI 是一个人们可以创建 AI 女友的网站——这些聊天机器人可以通过文本或语音进行对话，并根据要求发送自己的图像。已有近200万用户注册了该服务，它将其技术描述为“无审查”。据称从该网站获取的数据表明，人们可能正在使用其工具尝试制作儿童性虐待材料（CSAM）。

上周，Joseph Cox 在404 媒体，是首先汇报关于数据集在一个匿名黑客提醒他之后，科克斯发现了令人极为不安的事情：他审查了一个包含关于“新生儿”和“小孩子”参与淫乱派对的提示语言。这表明有用户要求Muah.AI回应此类场景，尽管该程序是否实际生成了相关内容尚不清楚。包括ChatGPT在内的主要AI平台都采用了过滤器和其他管理工具来阻止对此类提示作出响应的内容生成，但一些不太知名的服务通常则缺乏这些限制。

人们使用AI软件生成了真实个体的色情剥削图片。今年早些时候，有人制作了泰勒·斯威夫特的色情deepfake视频流传的日期(on)X以及 Facebook儿童安全倡导者已经警告了反复强调生成式人工智能现在被广泛用于创造真实儿童的性虐待图像，这是一个在全国各地学校出现的问题。

Muah.AI的黑客攻击是迄今为止最清晰和最公开地展示了更广泛问题的一个例子：也许第一次，这个问题的规模以非常明确的方式被展示出来了。

我和特罗伊·亨特进行了交谈，他是一位著名的安全顾问，同时也是数据泄露跟踪网站的创建者。HaveIBeenPwned.com，他在X上看到了他关于此次黑客事件的帖子后，Hunt 还收到了一个匿名来源发送的 Muah.AI 数据：在审查这些数据时，他发现了许多用户要求程序提供儿童性虐待材料的例子。当他搜索数据以查找13岁的他收到了超过30000个结果s，“许多描述性行为的提示。”当他尝试时青春期前的，他获得26,000条结果s他估计，在数据集中有成千上万，甚至可能是数十万的生成儿童色情材料的提示。

洪特惊讶地发现，一些Muah.AI的用户甚至没有试图隐瞒自己的身份。在其中一个案例中，他将泄露的数据中的一个电子邮件地址与一名“非常普通的”公司的高管的领英资料匹配上了。“我看了他的邮箱地址，简直就像是他的名字加姓氏后缀@gmail.com。”洪特告诉我，“有很多情况下人们会试图模糊他们的身份，如果你能找到正确的线索，你就能找出他们的真实身份。但这家伙根本就没有尝试过。”洪特说，儿童色情内容传统上与互联网的边缘角落相关联。“这个东西竟然出现在一个主流网站上，这大概更令我惊讶一些。”

上周五，我联系了Muah.AI询问有关黑客攻击的情况。负责该公司Discord服务器并自称哈佛韩的人向我确认网站遭到黑客入侵。当问及Hunt估计可能有多达数十万条用于创建儿童性虐待材料的提示在数据集中时，他说：“这是不可能的。”“怎么可能呢？想想看，我们有200万用户。没有可能5%是该死的恋童癖者。”（然而，有可能少数用户制造了大量的提示。）

当我问他Hunt的数据是否真实时，他最初说：“也许有可能。我并不否认。”但在同一对话的后半段，他说他不确定。韩表示自己一直在出差，但他的团队会调查此事。

该网站的员工很少，韩一再强调，并且资源有限，无法监控用户在做什么。他告诉我那里不到五个人工作。但似乎该网站建立了一个适度的用户基础：Similarweb（一家流量分析公司）提供给我的数据显示，在过去的一年左右时间里，Muah.AI 平均每月有约 120 万次访问。

韩告诉我，去年他的团队实施了一个过滤系统，自动屏蔽使用特定词语的账户，例如青少年以及儿童——在他们的提示中。但他告诉我，用户抱怨说他们被不公平地封禁了。之后，该网站调整了过滤器以停止自动封锁账号，但仍然防止基于那些关键词生成图片。

与此同时，韩告诉我他的团队不会检查他的公司是否为其用户生成儿童色情虐待图片。他假设很多这样的请求“大概会被拒绝、拒绝、再拒绝”，他说。但韩承认，技术熟练的用户可能会找到绕过过滤器的方法。

他还提供了一种解释，说明为什么用户可能试图生成描绘儿童的图像：一些Muah.AI的用户在亲人去世后悲痛欲绝，来到该服务来创建已故亲人的AI版本。当我指出网络安全顾问Hunt曾看到这句话时，13岁在涉及色情行为的情况下，韩回答说：“问题是我們沒有足夠的資源來審查每一個提示。”（在科克斯撰寫關於Muah.AI的文章後，該公司在其Discord上發帖稱計劃試驗新的自動化方法來封禁用戶。）

总之，就连Muah.AI的运营者都不知道他们的服务在做什么。有一次，韩甚至暗示胡特可能比他知道更多关于数据集中包含的内容的情况。这类网站能够在对其可能造成的伤害如此漠不关心的情况下运行，这引发了更大的问题，即在存在如此多滥用可能性的情况下，它们是否应该存在。

与此同时，汉将一个关于网络时代审查制度的熟悉论点推到了逻辑极端。“我是美国人，”他告诉我，“我坚信言论自由。我相信美国与众不同。我们相信，嘿，AI不应该在受审查的环境中进行训练。”他还说：“在美国，我们可以购买枪支。这支枪可以用来保护生命、你的家人、你所爱的人——或者它可以被用于大规模枪击事件。”

联邦法律禁止涉及真实儿童的计算机生成的儿童色情图像。在2002年，最高法院裁定完全禁止计算机生成的儿童色情内容违反了宪法第一修正案。目前法律将如何适用于生成式人工智能是一个有待探讨的领域。行动我有 辩论当我和韩询问关于儿童色情材料的联邦法律时，韩表示Muah.AI只提供AI处理服务，并将其服务与Google相比。他还重申，他公司的词过滤器可能会屏蔽一些图片，但他不确定。

无论Muah.AI发生什么，这些问题肯定会持续存在。Hunt 告诉我，在泄露之前他从未听说过这家公司。“而且我相信还有许多其他这样的公司。”Muah.AI 只是被一次数据泄漏暴露了内容。廉价的AI生成的儿童虐待材料的时代已经到来。曾经隐藏在互联网最黑暗角落的东西现在似乎变得相当容易获取——同样令人担忧的是，这些内容非常难以根除。