AI“艺术”网站OpenDream允许用户生成CSAM

2024-10-14 08:19:35 英文原文

作者:Kolina Koltai

警告:本文涉及儿童色情虐待材料(CSAM)。

乍一看,OpenDream只是近年来涌现的许多通用AI图像生成网站之一,允许人们通过输入他们想要的结果描述来创建图像。

该平台在其网站和社交媒体平台上将其描述为一个“AI艺术生成器”,并邀请用户“解锁无限的创意可能性”。

但几个月来,人们利用它生成儿童性虐待材料(CSAM),而这些图片被保留在平台的公共页面上,没有任何明显的审核。

Bellingcat 于七月份首次通过 X(前称 Twitter)上的推广帖子了解到 OpenDream。许多推广 OpenDream 的账户都集中在人工智能工具和服务上。

X上关于OpenDream的一些帖子包含该平台公共画廊的截图,截图中年轻女孩的照片与穿着比基尼的成年女性的照片并排出现。

OpenDream网站首页截图(左);X平台上推广OpenDream及其“脱衣”服务的帖子截图(右)

该网站的主页将平台描述为一个“AI艺术生成器”,配有一张相当无害的动画风格图片。然而,无需登录即可查看的公共画廊页面则充满了露骨的色情图片。

只需几秒钟的滚动,我们就发现了多张由人工智能生成的描绘年轻儿童和婴儿穿着内衣或泳装以及遭受性虐待的图片。用于生成这些图像的提示词——这些提示词也是公开可见的——明显表明了创建儿童色情图像的意图。例如,有些提示词包含“学步儿”这个词,并结合特定的身体部位、姿势,描述全身或部分裸体,或者某种性行为。

Bellingcat 已将该网站报告给美国失踪与受剥削儿童全国中心在美国,本记者所在的地点。

除了儿童色情材料之外,OpenDream似乎并没有对生成未经同意的名人深度伪造内容设置任何限制。在浏览画廊时,我们发现了著名女性网络主播、政客、歌手和演员穿着比基尼的照片。

Archive.org上的Wayback机器显示,自2023年12月以来,OpenDream一直在展示包含AI生成的非法色情内容和非自愿的深度伪造图像。

在使用如Google和Bing等流行搜索引擎搜索该平台名称时,我们发现大多数图片结果也是CSAM。

虽然OpenDream并没有像一些其他AI图像生成平台那样被广泛使用,但它确实是不是第一例使用AI生成儿童性虐待材料的人数,以及此类材料在没有任何明显审核的情况下被公众获取的程度,使其与我们在Bellingcat遇到的其他网站区别开来。

2024年7月底,我们在平台上首次观察到有内容被审核。截至发布时,CSAM和深度伪造色情图片似乎已经被设为私密或从网站上删除。尚不清楚为何在这些内容至少半年未受监管后会突然进行清理。OpenDream没有回应我们关于此事的评论请求。

根据网站的WHOIS记录,该平台的域是注册于Namecheap,销售网络域名。Namecheap的域名注册协议禁止将其服务用于“非法或不适当的用途”,包括如果内容违反任何地方政府的法律。域名注册商没有回应我们置评的要求。OpenDream的网站由IT服务公司Cloudflare托管,禁止内容包含、显示、分发或鼓励制作儿童色情虐待材料。Cloudflare也没有回应我们寻求评论的请求。

monetizing“不适合工作场合”的内容

OpenDream 通过订阅和广告两种方式产生收入。虽然任何人都可以每天免费生成少量图片,但也提供付费计划。

七月,最贵的两个订阅计划允许用户使用不适宜工作场合的内容(NSFW)提示词,访问OpenDream的NSFW模型,并将他们生成的图片从公共画廊中隐藏。NSFW通常指的是在工作中不宜观看的内容,例如色情、暴力或令人不安的图像。我们在OpenDream上观察到的所有不适宜工作场合的图像都是色情或性性质的。

截至发布时,关于公共非安全搜索内容(NSFW)模型的提及已从定价信息中移除,但付费计划仍包含访问NSFW提示的权限。

OpenDream的付费计划为用户提供包含不适宜未成年人的内容提示和公共不适宜未成年人内容模型(左)以及Stripe的结账页面(右),均捕获于2024年7月11日

2024年10月10日捕获的OpenDream定价信息显示,“公共NSFW模型”的提及已被删除,但平台仍在向用户提供访问NSFW提示的权限。.“升级”按钮不再导向有效的结账页面

直到最近,支付一直由金融服务公司Stripe提供支持。但到了七月底,OpenDream的Stripe支付页面停止工作。Bellingcat向Stripe询问此事,但该公司表示无法对个别账户发表评论。

Stripe的政策禁止色情内容,包括儿童性虐待材料(CSAM)和非自愿的深度伪造技术,它有之前被删除的定金页面对于其他包含色情内容的AI网站。

Archive.org上该网站的存档版本显示,OpenDream于2023年初首次作为免费测试产品推出。某个定价页面大约在同一时期的某时出现。2023年7月但没有提到任何涉及不适宜的工作场所内容的提示或模型。

然而,OpenDream推出了一项计划,特别允许包含不适宜的工作场合内容的提示以及使用不适宜的工作场合模型。截至2023年12月这也大约是在存档版本的画廊页面上开始出现明显试图生成儿童色情材料(CSAM)和非自愿深度伪造色情内容的时候。

在我们的调查过程中,我们还在该网站上发现了谷歌AdSense广告。

与OpenDream有关的个人阮文海在2023年10月和2024年4月于四个与人工智能相关的Facebook小组中发布了四篇帖子,似乎透露了该平台从广告和订阅收入中的细节。

2023年10月和2024年4月3日 Nguyen 名下的关于出售 OpenDream 的 Facebook 帖子(左和右)

在这篇帖子中,名为Nguyen的账户表示他正在出售OpenDream,因为该平台遇到了财务问题。他们还透露,OpenDream每月大约赚取2000至3000美元,其中包括约800至1000美元的月度广告收入。

2023年10月的帖子称OpenDream有310名购买了付费计划的用户。2024年4月的一篇帖子(附有一张OpenDream域名的Google AdSense仪表盘截图)显示,从2024年1月1日至3月31日,该平台通过谷歌获得了2,404.79美元(或59,282,192越南盾)的收入。程序化广告

Nguyễn于2024年4月分享的截图,显示了OpenDream从2024年1月1日至3月31日的Google AdSense广告收入仪表板。

谷歌的AdSense的政策禁止包含性露骨内容,包括未经同意的性主题内容,如儿童色情材料(CSAM),无论是模拟还是真实。针对Bellingcat的查询,谷歌在九月份表示,根据其政策已经终止了OpenDream的AdSense账户。

阮是注册在新加坡的CBM Media Pte Ltd公司的董事,该公司曾在该平台多个资料显示和博客文章中被命名为OpenDream的所有者。

与OpenDream列表联系信息匹配的个人资料,包括CBM Media Pte Ltd的名称(用黄色高亮显示)、税号(用蓝色标示)和地址(用红色标记)。来源:TechVui、Tumblr、Gravatar、BizFile

关于出售OpenDream的帖子提到该公司在未来三年不必为其收入缴税,并已设置了Stripe支付。

新加坡给予新成立的公司税收减免运营前三年。根据Bellingcat从新加坡获得的文件官方商业注册登记簿该公司的注册信息与某些个人资料和博客文章中分享的地址和税号详情相符,CBM Media Pte Ltd于2023年6月13日在该国进行了注册。

在2023年10月的Facebook帖子中,Nguyen为OpenDream的销售报价为3万美元,但在2024年4月将价格提高到了5万美元(或12.3亿越南盾)。目前尚不清楚是否已经发生了任何销售。

不是无受害者的犯罪

全球范围内,禁止生成AI制作的非法儿童色情材料的法律滞后于不适宜未成年人观看的AI图像生成网站的增长。

在两者都中美国以及英国AI生成的儿童色情材料是非法的受到同样的待遇作为真实的CSAM。今年八月,加州提出了一个诉讼。“开创性的”诉讼针对世界上一些最大的生成非自愿深造色情内容的网站,包括儿童色情材料(CSAM),这标志着法律后果从内容创作者转向提供AI服务的公司的一个明显转变。欧盟也在讨论新的法律,以将利用AI生成的儿童色情材料和深度伪造内容定为犯罪。但在其他国家,像日本一样目前没有法律禁止分享描绘未成年人的合成色情内容,只要这些内容不涉及真实儿童。

虽然OpenDream是我们遇到的在AI图像生成网站上展示非法儿童性虐待材料(CSAM)的最严重例子之一,但它绝不是过去一年中出现的唯一一个。Bellingcat此前曾报道过其他通过此类方式赚钱的AI平台。非自愿的深度伪造技术,包括包含非常形象的那些年轻的外观主体.  

互联网_WATCH基金会(IWF)的首席技术官丹·塞克斯顿表示,AI生成的儿童性虐待材料并不是没有受害者的犯罪。

“事实是,你很可能一直在使用一个经过儿童色情图像训练的模型,因此在创建那个AI儿童性虐待图像的过程中可能涉及到了对儿童的虐待,”塞克斯顿说。

塞克特补充说,即使画中的孩子不是“真实”的,接触到儿童遭受性虐待的图像也可能使这种行为正常化。

“你们有为消费[人工智能生成的儿童色情材料]而进行的合理化,认为‘这不是一个真实的孩子’。但即便最终发现那是一个真实的孩子,你也能够通过说它不是真实的来进行合理化。所以我认为这是一个危险的道路。”他说。

关于AI生成的儿童色情材料的问题与深度伪造的成人非自愿色情材料的问题一同增长,因为人们用来生成成年女性色情图像的许多AI生成服务也可以用于生成儿童色情图像。

根据IWF于2024年7月的报告报告目前,大多数AI生成的儿童性虐待材料已经足够逼真,可以被视为“真实”的儿童性虐待材料,随着人工智能技术的进步,这一问题将变得更加难以应对。

在OpenDream的情况下,这些材料不仅通过其网站本身提供,而且还被谷歌和必应的搜索引擎索引。

搜索“Opendream”和“Opendream ai”的图片结果表明,两个搜索引擎都返回了合成的未成年人色情图像。大多数返回的图片包括穿着比基尼或裸体的幼儿。

Google 图像搜索结果为“opendream ai”(左),Bing 图像搜索结果为“opendream”(右)。灰色方框由 Bellingcat 插入,代表了对未成年人和成人的性化图像,以及任何源自明显试图生成儿童色情材料的提示所得到的图片。

当被问及OpenDream的AI生成的儿童色情材料图像出现在Bing搜索结果中时,微软的一位发言人表示,该公司“长期致力于推进儿童安全并打击在线儿童性虐待和剥削”。

“我们已经采取行动移除该内容,并且仍然致力于加强防御和保护我们的服务,”发言人补充道。

Bellingcat确认这些图片在我们寻求评论之后从必应的图像搜索结果中被移除。

谷歌的一位发言人表示,搜索引擎具有“强大的保护措施来限制描绘儿童性虐待材料或剥削未成年人的内容的传播范围”,这些系统同样也针对合成的儿童性虐待材料图像有效。

谷歌发言人表示:“我们在搜索中主动检测、移除并报告此类内容,并采取了额外的保护措施来过滤和降低涉及性化的未成年人内容的排名。”

在Bellingcat就此事联系谷歌寻求评论后,谷歌也从其搜索引擎结果中移除了由OpenDream生成的儿童色情虐待图像。

开放梦想,关闭的大门

当名为阮越海的个人出现在新加坡的CBM Media Pte Ltd商业注册上时——此人曾在社交媒体上公开讨论过出售OpenDream的事情——贝尔林格猫的调查表明,还有其他人也与该操作有关联。

我们注意到,一些使用带有OpenDream名称的社交媒体账户的人声称他们为一家名为CBM或CBM Media的公司工作。尚不清楚这是否指的是CBM Media Pte Ltd., 因为Bellingcat还发现另一家名为CBM Media Company Limited的公司在越南首都河内注册,该公司的注册人是一名叫做武德权(Bui Duc Quan)的人。

然而,网上的证据表明,两个名称中包含“CBM Media”的公司的所有者互相认识。

布伊,越南CBM传媒的注册所有人,此前也曾讨论了拥有一个名为CasinoMentor的网站。

截图显示Bui是CasinoMentor/CMMedia的所有者。来源:SiGMA、Facebook

这个赌博评测网站发布了一系列保存在名为“CBM Media”的高亮Instagram故事,这些故事似乎显示了一群人在2022年5月越南的 Lý Sơn 岛度假的情景。

Nguyen和Bui都能在照片中被看到,Bellingcat将他们的脸与他们在Facebook上分享的照片进行了匹配。

CasinoMentor的Instagram页面有一个名为“CBM Media”的故事高亮(左);Nguyen的脸用红色方框标记,Bui用黄色标记,在这个高亮下的Instagram故事中可见。来源:Instagram(由Bellingcat模糊处理和标注)

几位其他员工同时与CBM Media和OpenDream有联系,根据他们的公开资料。

例如,根据他们的领英资料,被OpenDream博客列为团队成员的“内容创作者”现在也在为CasinoMentor以及另一个名为BetMentor的网站工作。

BetMentor在其网站上将CasinoMentor列为合作伙伴。CasinoMentor也在在线赌博社区赌博门户网站网络管理员协会(GPWA)的个人资料中列出。声称拥有BetMentor。

我们发现另一份LinkedIn个人资料,上面显示有人目前职位是OpenDream的产品经理,并且之前曾在“CBM”担任AI程序员。

我们还发现了一名 CasinoMentor 员工的名字与一个 OpenDream Facebook 群组的管理员名字相同。另一个使用这个姓名但采用不同昵称的 Facebook 账号显示其当前雇主为 OpenDream。

几乎没有任何CasinoMentor和BetMentor的员工在其工作资料上有真实的照片。许多BetMentor员工的个人资料显示他们使用了由OpenDream生成的照片。

BetMentor网站上员工的个人资料(左),使用了一张可以在OpenDream公开可见的作品中找到的个人头像(右)

一个与CasinoMentor员工资料匹配的领英个人资料显示了一名在2020年于英国被谋杀的女性的照片。该个人资料是在女性遇害一年多后,即2021年创建的。

来自CasinoMentor网站的员工资料(顶部);一个名为该员工的LinkedIn个人资料,列出她在CasinoMentor的工作职位(底部左);以及一篇关于一名女子被杀的新闻文章,使用了相同的照片出现在LinkedIn个人资料上(底部右) 

CasinoMentor的地址据其网站和Facebook页面显示位于地中海国家马耳他。

在CasinoMentor的Google地图列表中,账户所有者上传了几张办公室的照片,其中包括一张展示网站logo贴在磨砂玻璃墙上的照片。通过反向图像搜索,我们发现了一张完全相同的照片——只是没有显示logo——出现在一个网站上。商业房产租赁 listings位于马耳他的共享办公空间的地址。

来自CasinoMentor的谷歌地图列表(左)和一个商业房产租赁网站上的相同照片但未显示logo(右)。来源:Google Maps,MatchOffice

所有显示在CasinoMentor的Google地图列表上的办公空间照片似乎都来自与该租赁列表相同的来源,并且添加了CasinoMentor的徽标和其他信息。

然而,CasinoMentor 在 Google Maps 上上传了一张照片,显示了一群包括 Bui 的人。我们将这张照片的位置定位到了越南的一个购物中心,并发现该照片的文件名为“CMTeam”。

来自Google Maps的CasinoMentor的群合影(Bui用红色方框标出),由Bellingcat模糊处理(左);Google Maps上的Sun Plaza Sapa用户上传的照片(右)

因此,CasinoMentor的员工是否位于越南或马耳他尚不清楚。无论是CasinoMentor还是BetMentor都没有回应我们提出的评论请求。

此外,Bellingcat 还发现一个帖子一家名为VPNChecked的公司在一个平台上描述OpenDream为“我们的产品”。注意这里的X应指代具体的社交或发布平台。由于未具体指定是哪个平台,因此保留原文中的“X”。

有趣的是,一个用户名为“vpnchecked”的Reddit账号最近直到六月仍在积极管理OpenDream子版块。

VPNChecked网站上的联系信息提供了另一个有趣的线索。该网站的2021年存档版本在联系方式下列出了一部电话号码。我们在Skype上搜索了这个电话号码,揭示了另一个人的身份。

相同的Skype用户名也被用来设置一个由Bellingcat发现的Facebook个人资料。虽然名称略有不同,但Skype的个人资料图片与Facebook账户上的先前个人资料图片匹配。

Bellingcat没有提及此人姓名,因为其名字并未出现在与CBM传媒有限公司或CBM媒体私人有限公司所有权相关的任何文件中。

然而,该个人的Facebook账户包含了链接到VPNChecked的内容。他们似乎也与Bui和Nguyen有联系。

三个人都是Facebook上的朋友,在许多照片中都被标记在一起。这些图片显示他们在多年的社交场合中共同出现,并且在对方的帖子上留下了友好的评论。

布伊于2019年发布的一张照片显示,包括这三人在内的一群人在一个餐厅里碰杯。根据Facebook的翻译,配文内容为:“一起学习,一起交谈,14年的热爱未曾改变!”

Bui(黄色)在Facebook上发布的一张照片,照片中有Nguyen(红色)和与VPNChecked有关的第三个人(蓝色)

OpenDream没有回复

根据与OpenDream相关的多个社交媒体账户和博客文章,该网站的所有者是阮氏在新加坡注册的CBM Media Pte Ltd。我们的调查显示,多家显然由Bui在越南注册的CBM Media Company Limited拥有的网站也在雇佣OpenDream的多名员工以及该平台社交媒体页面的 moderators。此外,与阮氏和Bui关系密切的一位个人有关联的VPNChecked公司声称OpenDream为其产品。

但尽管我们找到了所有这些信息,这三个个体中的每一个对用户创建非法内容的了解程度仍然不清楚。美国、英国以及加拿大根据Nguyen在Facebook上的帖子,OpenDream的主要市场。

我们在此次调查过程中多次尝试与Bui、Nguyen以及与VPNChecked有关的个人取得联系。我们通过他们在相关网站上发布的各种个人和职业电子邮件地址进行了联系。我们也多次拨打他们个人资料中列出的电话号码,并向他们的个人Facebook账户发送了消息。截至发布时,我们尚未收到任何回复。

OpenDream的AI图像生成工具使用了在Hugging Face等AI社区上免费提供的开源模型。这些模型中的一些描述特别提到了包含不适宜的工作场合内容(NSFW)的能力和倾向。

IWF的丹·塞克斯顿告诉贝洛岗猫,考虑到整个在线儿童性虐待材料生态系统是很重要的,包括免费和开源的人工智能工具和模型,这些工具和模型使得创建并从人工智能图像生成应用程序中获利变得更加容易。

“这些应用并不是凭空出现的。创建其中一个服务需要多少步骤?因为实际上有很多可以干预的点,可以让这个过程变得更困难,”Sexton说。

在这方面,塞克斯顿表示可以通过加强法律和法规来遏制商业实体创建此类服务的行为。

他说:“这些人是为了赚钱。如果他们通过这种方式赚不到钱,就会去做别的事情来赚钱。如果这样做变得更困难,他们可能就不会做了。”

“他们不会停止试图赚钱,而且不一定是以有害的方式,但至少他们可能会转向其他事物。”

自从谷歌终止了其AdSense账户以来,OpenDream再也无法通过谷歌广告获利,据Nguyen在Facebook上的帖子所述,此前这部分收入占平台总收入的很大比例。截至发布时,其支付处理服务仍然不可用。

但其他程序化广告提供商的广告仍然可见于OpenDream的网站上,该平台似乎正在探索其他的支付处理器。点击升级到付费账户现在会将用户重定向到PayPal的一个虚拟测试环境,尽管在这个页面上实际上无法进行任何付款操作,测试环境– 任何一个开发者都可以设置的环境 – 只是模拟交易。PayPal 的政策也禁止购买或出售包含色情内容的材料,特别是那些“涉及或似乎涉及未成年人”的内容。

OpenDream的网站在2024年9月11日显示了“账户已暂停”的消息。然而,第二天该网站恢复了在线状态。

2024年9月11日,大约在Bellingcat首次联系OpenDream及其相关人员两周后,该网站似乎已被暂停。

一天后该网站重新上线时,所有关于AI生成的儿童色情材料和非自愿的深度伪造色情内容的证据似乎都被从网站上抹除了,包括从个人账户和模板页面中抹除,即使在这些图片在今年七月从公共画廊消失后仍然可以在这些页面上看到。

该网站的价格页面仍然提供付费订阅选项,允许用户使用包含不适宜公开内容的提示词来私密生成图片。

但重新启动的网站在每一页上都有一个新的免责声明:“OpenDream 是一个您可以创建艺术照片的地方。我们不销售照片,也不对用户生成的照片负责。”

美国的读者可以向NCMEC报告CSAM内容:www.cybertipline.com,或拨打1-800-843-5678。根据美国司法部的规定,您的报告将被转交给执法机构进行调查和处理。有关儿童色情材料相关问题的国际热线列表也可提供。这里.


梅丽莎·朱为此文章贡献了研究。

特色图片:李英杰 & 金士顿艺术学院 / 更好的人工智能图像/ 谁在创造可爱的女孩? /CC BY 4.0.

Bellingcat 是一个非营利组织,我们开展工作的能力取决于个别捐赠者的慷慨支持。如果您想支持我们的工作,您可以这样做:这里您也可以订阅我们的Patreon频道这里订阅我们的通讯newsletter关注我们的推特账户这里以及Mastodon这里.

关于《AI“艺术”网站OpenDream允许用户生成CSAM》
暂无评论

摘要

警告:本文讨论儿童性虐待材料(CSAM)。Bellingcat插入的灰色框代表未成年人和成年人的色情图片,以及任何明显的试图生成CSAM的提示所导致的图像。 当被问及OpenDream的人工智能生成的CSAM图片出现在必应搜索结果中时,微软的一位发言人表示,该公司“长期致力于推进儿童安全并打击在线儿童性虐待和剥削”。来源:Google Maps, MatchOffice CasinoMentor在谷歌地图列表上展示的所有其他办公空间照片似乎都来自同一个房源,并添加了CasinoMentor的标志和其他信息。此外,Bellingcat还发现了一个名为VPNChecked的公司在一个帖子中将OpenDream称为“我们的产品”。 有趣的是,一个用户名为“vpnchecked”的Reddit账户最近在6月还在积极管理OpenDream的子版块。塞克斯顿说:“实际上有很多干预点可以使其更难。”