AI“艺术”网站OpenDream允许用户生成CSAM

2024-10-14 08:19:49 英文原文

作者:Kolina Koltai

警告:本文讨论儿童色情材料(CSAM)。

乍一看,OpenDream只是近年来涌现的许多通用AI图像生成网站之一,允许人们通过输入他们想要的结果描述来创建图片。

该平台在其网站和社交媒体平台上将其描述为一个“AI艺术生成器”,并邀请用户“解锁无限的创意可能性”。

但几个月来,人们利用它生成儿童性虐待材料(CSAM),而这些图片被留在平台的公共页面上,没有任何明显的审核。

Bellingcat最早通过X(前推特)上的推广帖子在七月发现了OpenDream。许多推广OpenDream的账号都集中在AI工具和服务上。

有些关于OpenDream的X帖子包含该平台公共画廊的截图,截图中年轻女孩的照片与穿着比基尼的成年女性的照片并排出现。

OpenDream网站首页的截图(左);X平台上推广OpenDream及其“脱衣”服务的帖子的截图(右)

该网站的主页将平台描述为一个“AI艺术生成器”,配有一张相当无害的动画风格图片。然而,无需登录即可查看的公共画廊页面则充满了露骨的色情图像。

短短几秒钟的滚动,我们就遇到了多张由人工智能生成的儿童和婴儿穿着内裤或泳装的照片,以及遭受性虐待的照片。用于生成这些图像的提示词——它们也是公开可见的——清楚地表明了创作儿童色情图片的意图。例如,一些提示词中包含了“幼儿”与特定身体部位、姿势相结合的内容,描述了全身或部分裸露,或者某种性行为。

Bellingcat 已将该网站报告给美国失踪与受剥削儿童全国中心(美国国家失踪与受剥削儿童中心)在此记者所在的美国。

除了CSAM之外,OpenDream似乎没有限制生成名人未经同意的深度伪造内容。浏览画廊时,我们发现了著名女性网络主播、政客、歌手和演员穿着比基尼的照片。

归档机(Wayback Machine)上保存的画廊版本显示,OpenDream 自 2023 年 12 月起一直在展示包含 AI 制造的非法色情材料和非自愿深度伪造内容。

在流行的搜索引擎如Google和Bing上搜索该平台的名称时,我们发现大多数图片结果也是CSAM。

虽然OpenDream并不像一些其他AI图像生成平台那样被广泛使用,但它确实是不是第一起案件使用AI生成儿童性虐待材料的人数,以及此类材料在没有明显审核的情况下被公开传播的程度,使其与我们在Bellingcat遇到的其他网站有所不同。

2024年7月底,我们首次在平台上观察到了内容审核的尝试。截至发布时,CSAM和深度伪造色情图片似乎已被设为私密或从网站上删除。尚不清楚为何在该内容至少半年无人监管后突然进行了清理。OpenDream没有回应我们的评论请求。

根据该网站的WHOIS记录,该平台的域是注册于Namecheap,销售网络域名。Namecheap的域名注册协议禁止将其服务用于“非法或不适当的用途”,包括内容违反任何地方政府的法律。该域名注册机构未回应我们关于评论的要求。OpenDream的网站由IT服务公司Cloudflare托管,禁止内容包含、显示、分发或鼓励制作儿童色情虐待材料。Cloudflare也没有回应我们提出的评论请求。

monetizing“不适合工作场合”的内容

OpenDream 既通过订阅也通过广告产生收入。虽然任何人都可以每天免费生成少量图片,但也有一些付费计划。

七月,两个最昂贵的订阅计划允许用户使用不适宜工作场合的内容(NSFW)提示词,访问OpenDream的NSFW模型,并将他们生成的图片从公共画廊中隐藏起来。NSFW是指通常认为在工作场所不宜观看的内容,例如色情、暴力或令人不安的图像。我们在OpenDream上观察到的所有不适宜内容均为色情或性性质的。

截至发布时,关于公共不适宜公开的模型的提及已从定价信息中移除,但付费计划仍然包含访问不适宜公开的内容提示的权限。

OpenDream的付费计划为用户提供包含不适宜人群的内容提示和公开的不适宜人群内容模型(左)以及Stripe的结账页面(右),均捕获于2024年7月11日

2024年10月10日捕获的OpenDream定价信息显示,提及“公共不适宜人群模型”的内容已被删除,但平台仍然向用户提供访问不适宜人群提示的功能。.“升级”按钮不再导向有效的结账页面

直到最近,支付都由金融服务公司Stripe提供支持。但在七月底左右,OpenDream的Stripe支付页面停止工作。Bellingcat询问了Stripe此事,但该公司表示无法对个别账户发表评论。

Stripe的政策禁止色情内容,包括儿童性虐待材料(CSAM)和非自愿的深度伪造技术,它有之前被删除的定金页面其他包含色情内容的人工智能网站。

Archive.org上该网站的存档版本显示,OpenDream于2023年初作为免费测试产品首次推出。某个定价页面大约在某时刻出现过2023年7月但没有提及任何包含不适宜的工作场合提示或模型的内容。

然而,OpenDream发布了特定计划,允许包含不适宜人群的内容提示和使用不适宜人群的模型。截至2023年12月这也大约是在存档版本的画廊页面上开始出现明显试图生成儿童色情材料(CSAM)和非自愿deepfake色情内容的时候。

在我们的调查过程中,我们还在该网站上发现了谷歌广告联盟的广告。

与OpenDream有关的个体Nguyen Viet Hai在2023年10月和2024年4月于四个与人工智能相关的Facebook群组中发布了四篇帖子,似乎透露了该平台从广告和订阅收入的情况。

Nguyễn于2023年10月和2024年4月3日在Facebook上以出售OpenDream为内容的帖子(左、右)

在这些帖子中,名为Nguyen的账号表示他正打算出售OpenDream,因为该平台遇到了财务问题。他们还透露,OpenDream每月收入约为2000至3000美元,其中包括大约800至1000美元的月广告收入。

2023年10月的帖子表示,OpenDream有310名使用付费计划的用户。2024年4月的一篇帖子(附有一张OpenDream域名的Google AdSense仪表板截图)显示,从2024年1月1日至3月31日,该平台通过谷歌赚得了2,404.79美元(或59,282,192越南 đồng)。程序化广告

Nguyễn于2024年4月分享的截图,显示了OpenDream从2024年1月1日至2024年3月31日的Google AdSense广告收入仪表板。

谷歌的AdSense的政策禁止包含性露骨内容,包括未经同意的性主题,如儿童色情材料(CSAM),无论是否为模拟或真实。针对Bellingcat的询问,谷歌于九月份表示,根据其政策已经终止了OpenDream的AdSense账户。

阮是注册在新加坡的CBM Media Pte Ltd公司的董事,该公司在多个以平台名称发布的资料和博客文章中被列为OpenDream的所有者。

与OpenDream列表联系信息匹配CBM Media Pte Ltd名称(黄色高亮)、税号(蓝色)和地址(红色)的资料。来源:TechVui、Tumblr、Gravatar、BizFile

关于出售OpenDream的帖子提到该公司在未来三年不必为其收益缴税,并已设置了Stripe支付。

新加坡给予新成立的公司税收减免运营前三年。根据Bellingcat从新加坡获得的文件官方商业注册登记簿这与一些个人资料和博客文章中分享的地址和税号信息相符,CBM Media Pte Ltd于2023年6月13日在该国注册。

在2023年10月的OpenDream销售中,Nguyen在Facebook帖子中报价3万美元,但在2024年4月将价格提高到5万美元(或12.3亿越南盾)。目前尚不清楚是否已经发生了任何实际交易。

不是无受害人的犯罪

全球范围内,针对AI生成的非法儿童色情材料进行刑事化的法律滞后于不适宜未成年人观看的AI图像生成网站的发展。

在两者中都美国以及英国AI生成的CSAM是非法的受到同样的待遇作为真实生活中的儿童性虐待材料。今年八月,加州起诉了“开创性”的诉讼案件针对世界上一些最大的生成非自愿深度伪造色情内容的网站,包括儿童性虐待材料(CSAM),这标志着法律后果从用户转向提供人工智能服务的公司的一个明显转变。欧盟也在讨论新的法律,以将利用AI生成的儿童性虐待材料和深度伪造视频定为犯罪。但在其他国家,像日本一样目前没有法律禁止分享不涉及真实儿童的描绘未成年人的合成色情内容。

虽然OpenDream是我们遇到的展示包含非法儿童色情内容的AI图像生成网站中最恶劣的例子之一,但它绝不是过去一年中出现的唯一一个。Bellingcat此前曾报道过其他通过此类方式赚钱的AI平台。非自愿的深度伪造技术,包括包含非常图像的那些年轻的外观主体.  

互联网观察基金会(IWF)首席技术官丹·塞克斯顿反对认为AI生成的儿童色情材料是一种无受害者的犯罪的观点,他表示说生成的儿童色情材料在任何方面都是不可接受的,这将“极大地损害”创建一个没有儿童性虐待内容的网络的目标。

“事实上,有很大可能性你可能一直在使用一个模型,而这个模型本身是在儿童性虐待图像上训练出来的,因此在创建那个AI儿童性虐待图像的过程中很可能涉及到了对孩子的滥用。”塞克斯顿说。

森特补充说,即使描绘的孩子不是“真实的”,接触到儿童遭受性虐待的图像也可能使这种行为正常化。

“你有为那些消费[AI CSAM]的人辩解的理由,说‘这不是一个真实的孩子’。但即使后来发现那是一个真正的孩子,你也可能继续为自己辩解说它不是真实的。我认为这是非常危险的道路。”他说。

关于AI生成的儿童色情材料的问题与深度伪造的成人非自愿色情内容问题一同增长,因为人们用来生成成年女性色情图像的许多AI生成服务也可以用于生成儿童色情图像。

根据IWF于2024年7月的报告报告目前,大多数AI生成的儿童性虐待材料(CSAM)已经足够逼真,可以被视为“真实”的CSAM,随着人工智能技术的进步,这一问题将变得更加难以应对。

在OpenDream的情况下,这些材料不仅通过其网站本身提供,而且还被Google和Bing的搜索引擎索引。

搜索“Opendream”和“Opendream ai”的图片结果表明,两个搜索引擎都返回了合成的未成年性化图像。返回的大多数图片包括穿着比基尼或裸体的幼儿。

Google 图像搜索结果为“opendream ai”(左),Bing 图像搜索结果为“opendream”(右)。灰色方框由 Bellingcat 插入,代表包含未成年人和成年人的色情图像,以及任何明显试图生成非法儿童性虐待材料的提示产生的图像。

当有人询问有关OpenDream的AI-CSAM图像出现在必应搜索结果中时,微软的一位发言人表示,该公司长期以来致力于推进儿童安全,并解决在线儿童性虐待和剥削问题。

“我们已经采取行动删除了该内容,并且仍然致力于加强我们的防御措施和保障我们的服务,”发言人补充道。

Bellingcat确认这些图片在我们寻求评论后从必应的图片搜索结果中被移除。

谷歌的一位发言人也表示,搜索引擎具有“强大的保护措施来限制描绘儿童性虐待材料(CSAM)或剥削未成年人的内容的传播范围”,并且这些系统也能有效应对合成的CSAM图像。

谷歌发言人表示:“我们在搜索中主动检测、移除并报告此类内容,并采取了额外的保护措施来过滤和降低涉及性化未成年人的内容。”

在Bellingcat就此事联系谷歌寻求评论后,谷歌也从其搜索引擎结果中移除了由OpenDream生成的儿童性虐待材料图像。

开放梦想,封闭的大门

当名为阮维海的个人出现在新加坡的CBM Media Pte Ltd商业注册上时——同一个人曾在社交媒体上公开讨论过出售OpenDream的事情——贝尔林格猫的调查表明还有其他人与该操作有关。

我们注意到,一些使用标有OpenDream名称的社交媒体账户的人声称他们为一家名为CBM或CBM Media的公司工作。尚不清楚这是否指的是CBM Media Pte Ltd.,因为Bellingcat还发现了一家由名为武德权的男子在越南首都河内注册的名为CBM Media Company Limited的公司。

然而,网上证据表明名为“CBM Media”的两家公司的所有者互相认识。

布伊,越南CBM传媒的注册所有人,之前 также 请注意,这句话似乎没有完整给出,"also previously" 后面缺少具体内容。我只翻译了提供的部分,请提供完整的句子以便准确翻译。不过根据您的指示,我不会添加任何注释或说明。如果需要补充内容请告知。原文: Bui, the registered owner of the Vietnam CBM Media, also previously讨论了拥有一个名为CasinoMentor的网站。

截图显示Bui是CasinoMentor/CMMedia的拥有者。来源:SiGMA、Facebook

这家赌博评论网站分享了一系列保存在名为“CBM Media”的高亮中的Instagram故事,这些故事似乎显示了一群人在2022年5月越南的利森岛度假。

Nguyen 和 Bui 都出现在照片中,Bellingcat 将他们的脸与他们在 Facebook 上分享的照片进行了匹配。

CasinoMentor的Instagram页面有一个名为“CBM Media”的故事亮点(左);Nguyen的脸被红色方框圈出,Bui则用黄色方框标注,在这个亮点下的Instagram故事中可以看到。来源:Instagram(由Bellingcat进行模糊处理和方框注释)

几位其他员工同时与CBM Media和OpenDream有联系,根据他们的公开资料。

例如,根据他们的领英个人资料,被列入OpenDream博客团队中的“内容创作者”现在也在为CasinoMentor以及另一个名为BetMentor的网站工作。

BetMentor在其网站上将CasinoMentor列为合作伙伴。CasinoMentor也在在线赌博社区——博彩门户网络管理员协会(GPWA)的个人资料中列出。声称拥有BetMentor。

我们发现另一份LinkedIn个人资料,上面显示有人目前职位是OpenDream的产品经理,并且过去曾担任“CBM”的AI程序员。

我们还发现了一名名字与一个OpenDream Facebook群组管理员相同的游戏导师员工。另一个使用不同个人名称但链接到此人社交媒体账户的Facebook资料显示,该人的当前雇主是OpenDream。

几乎没有CasinoMentor和BetMentor的员工在他们的工作资料上有真实的照片。许多BetMentor员工的个人资料显示似乎使用了由OpenDream生成的图片。

BetMentor网站上的一名员工的个人资料(左),使用了一张可以在OpenDream公开可见的作品中找到的个人形象照片(右)

一个与CasinoMentor员工详情匹配的领英个人资料使用了一位在2020年于英国被谋杀的女性的照片。该个人资料是在女性遇害一年多后的2021年创建的。

来自CasinoMentor网站的员工资料(顶部);一位以该员工名字在LinkedIn上列出她在CasinoMentor职位的个人资料(底部左);以及一篇关于一名女子被谋杀的新闻文章,使用了与LinkedIn个人资料相同的照片(底部右) 

CasinoMentor的地址据其网站和Facebook页面显示位于地中海国家马耳他。

在CasinoMentor的Google地图列表中,账户所有者上传了几张办公室空间的照片,其中包括一张展示该网站标志的磨砂玻璃墙的照片。通过反向图像搜索,我们发现了一张完全相同的照片——不过没有标志——出现在一个网站上。商业房产租赁列表位于马耳他的共用办公空间的地址。

来自CasinoMentor的Google地图列表(左)和一个商业房产租赁网站上没有标志的相同照片(右)。来源:Google Maps,MatchOffice

所有显示在CasinoMentor谷歌地图列表上的办公空间照片似乎都来自同一个房源列表的来源,并且添加了CasinoMentor的徽标和其他信息。

然而,CasinoMentor 在谷歌地图上上传了一张照片,展示了包括布伊在内的一群人。我们对该照片进行了地理定位,确定其位于越南的一个购物中心,并发现该照片的文件名为“CMTeam”。

来自Google Maps的CasinoMentor群体照片(Bui用红色方框标注),由Bellingcat模糊处理(左);用户上传的Sa Pa太阳广场的照片,来自Google Maps(右)

因此,尚不清楚CasinoMentor的员工是位于越南还是马耳他。无论是CasinoMentor还是BetMentor都没有回应我们提出的评论请求。

另外,Bellingcat 还发现一个帖子由名为VPNChecked的公司描述OpenDream为“我们的产品”的X平台帖子。

有趣的是,一个用户名为“vpnchecked”的Reddit账号最近直到六月还在积极管理OpenDream子版块。

VPNChecked网站上的联系信息提供了另一个有趣的线索。该网站的2021年存档版本在联系详情下列出了一部电话号码。我们在Skype上搜索了这个电话号码,揭示了另一名个体的身份。

相同的Skype用户名也被用于设置一个由贝尔格莱特发现的Facebook个人资料。尽管名称略有不同,但Skype的个人资料图片与Facebook账户上的先前个人资料图片相匹配。

Bellingcat 没有提及此人姓名,因为其名字并未出现在与 CBM Media Company Limited 或 CBM Media Pte Ltd 任何所有权文件中。

然而,该个人的Facebook账户包含了链接到VPNChecked的内容。他们似乎也与Bui和Nguyen有关联。

他们三个人都是Facebook上的朋友,并且在许多照片中都被标记在一起。这些图片展示了他们在多年的社交场合中的互动,以及他们在彼此的帖子上留下的友好评论。

Bui于2019年发布的一张照片显示,三人一组在一家餐厅里举杯庆祝。Facebook翻译的配文内容为:“一起学习,一起交谈,十四年的热爱未曾改变!”

Bui(黄色)在Facebook上发布的一张照片,照片中还有Nguyen(红色)和与VPNChecked有关的第三人(蓝色)

OpenDream没有回复

根据与OpenDream相关的多个社交媒体账户和博客帖子,该网站的所有者是阮氏在新加坡注册的CBM Media Pte Ltd。我们的调查表明,多名OpenDream员工以及该平台社交媒体页面的管理员也在由布伊在越南注册的CBM Media Company Limited显然拥有的网站上工作。此外,与阮氏和布伊关系密切的一位个人相关的公司VPNChecked声称OpenDream是其产品。

但是尽管我们找到了所有这些信息,仍然不清楚这三个人中有多少人知道用户在创建非法内容。美国,英国以及加拿大根据Nguyen在Facebook上的帖子,OpenDream的主要市场。

我们在此次调查过程中多次尝试与Bui、Nguyen以及与VPNChecked有关的个人取得联系。我们通过他们在相关网站上发布的各种私人和职业电子邮件进行了联系。我们也多次拨打了他们个人资料中列出的电话号码,并向他们的个人Facebook账户发送了消息。在发布时,我们尚未收到任何回复。

开放梦想的AI图像生成工具使用了开源模型,这些模型可以在Hugging Face等AI社区免费获取。其中一些模型的描述中明确提到了包含不适宜公开的内容(NSFW)的能力和倾向。

IWF的丹·塞克斯顿告诉贝尔格拉特,考虑整个在线儿童性虐待材料生态系统非常重要,包括免费开源的人工智能工具和模型,这些工具和模型使得创建并从中获利的AI图像生成应用程序变得更加容易。

“这些应用并非无中生有。创建其中一个服务需要多少步骤?因为实际上有很多可以干预的点,可以让这个过程变得更复杂。”辛斯顿说。

在这方面,谢顿表示可以通过加强法律和法规来 discouragement 商业实体创建此类服务。 注意:这里的"discouragement"直译可能不太通顺,更合适的表达可能是“通过加强法律和法规来遏制商业实体创建此类服务”。但根据要求只输出翻译结果且不添加注释,所以保持了较为直接的翻译方式。原文如果需要完全符合中文表达习惯可稍作调整。如需更自然的表达请告知我进一步修改。若严格依照指示,则保留上述翻译。 重新整理以更好遵循指示: 在这方面,谢顿表示可以通过加强法律和法规来遏制商业实体创建此类服务。

他说:“这些人是为了赚钱。如果他们通过这种方式赚不到钱,他们会去做别的事情来赚钱。如果这样做变得更难,他们可能就不会做了。”

“他们不会停止试图赚钱,而且不一定是以有害的方式去做,但至少他们可能会转向其他事情。”

自从谷歌终止了其AdSense账户以来,OpenDream再也不能通过谷歌广告获利了,据Nguyen在Facebook上的帖子所述,此前这部分广告收入占平台总收入的很大比例。在其发布时,该平台的支付处理服务仍然不可用。

但是其他程序化广告提供商的广告仍然可以在OpenDream的网站上看到,该平台似乎正在探索其他的支付处理器。点击升级到付费账户现在会将用户重定向到PayPal的一个虚拟测试环境,尽管在这个页面上实际上无法进行任何付款操作。测试环境– 任何一个开发者都可以设置的环境 – 只是模拟交易。PayPal 的政策也禁止购买或销售含有色情内容的材料,包括特别涉及或看似涉及未成年人的内容。

OpenDream的网站在2024年9月11日显示了“账户已暂停”的消息。然而,第二天该网站又恢复了正常运行。

2024年9月11日,贝尔林格猫首次联系OpenDream及其相关个人大约两周后,该网站似乎已被暂停。

一天后该网站重新上线时,所有关于AI生成的儿童色情材料和非自愿的深度伪造色情内容的证据似乎都被从网站上删除了,包括从个人账户和模板页面中删除,这些图片即使在七月从公共画廊消失后仍然可以在这些页面上看到。

该网站的定价页面仍然提供付费订阅选项,允许用户使用包含不适宜公开内容的提示词来私下生成图片。

但重新启动的网站在每一页上都附有一份新的免责声明:“OpenDream 是一个您可以创建艺术照片的地方。我们不销售照片,也不对用户生成的照片负责。”

美国的读者可以向NCMEC报告CSAM内容:www.cybertipline.com,或拨打1-800-843-5678。根据美国司法部的规定,您的报告将被转交给执法机构进行调查和处理。有关于儿童性虐待材料的举报或寻求支持的国际热线列表也可提供。这里.


梅丽莎·朱为此文章贡献了研究。

特色图片:李应杰 & 金士顿艺术学校 / 更好的人工智能图像/谁在创造可爱的女孩?/CC BY 4.0.

Bellingcat 是一个非营利组织,我们开展工作的能力取决于个别捐赠者的慷慨支持。如果您希望支持我们的工作,您可以这样做:这里您也可以订阅我们的Patreon频道这里订阅我们的新闻通讯关注我们的推特账户这里以及Mastodon这里.

关于《AI“艺术”网站OpenDream允许用户生成CSAM》
暂无评论

摘要

警告:本文讨论儿童性虐待材料(CSAM)。然而,OpenDream已于2023年12月提出了具体计划,允许使用包含不适宜内容的提示和NSFW模型。这正是明显试图生成CSAM以及未经同意的深度伪造色情作品开始出现在画廊页面存档版本中的时候。Bellingcat插入的灰色方框代表了未成年人和成年人性化图像,还包括任何显然是尝试生成CSAM的提示所导致的图片。 当被问及OpenDream的人工智能生成的CSAM图片出现在必应搜索结果中时,微软的一位发言人表示,该公司“长期致力于推进儿童安全并打击在线儿童性虐待和剥削”。但尽管我们能够找到所有这些信息,每个个人对此类在美国、英国和加拿大非法的内容创作了解程度仍不清楚——根据Nguyen在Facebook上的帖子,这些都是OpenDream的主要市场。该网站的定价页面仍然提供付费订阅服务,允许用户使用包含不适宜内容的提示生成私人图片。