任何人都可以把你变成一个AI聊天机器人。你几乎无能为力来阻止他们。

德鲁·克雷森特的女儿于2006年去世，她在得克萨斯州奥斯汀被一位前男友杀害，当时她只有18岁。她的遇害引起了高度关注——甚至到了德鲁偶尔还会收到关于詹妮弗·安·克雷森特的谷歌警报的程度。

几周前德鲁收到的警报与其他的不同。它与一个以詹妮弗为原型的人工智能聊天机器人有关，这个聊天机器人是在谷歌支持的平台Character.AI上创建的。

詹妮弗的网络形象被用来创建一个所谓的“友好AI角色”，该角色冒充“视频游戏记者”。尽管没有人同意，任何使用该应用程序的人都可以与“詹妮弗”聊天。德鲁的兄弟布赖恩·克伦斯恰（他恰好是游戏新闻网站Polygon和Kotaku的创始人）在他的推特账户上标记了Character.AI机器人，并称其为他妈的恶心.”

Character.AI，在融资额超过1.5亿美元，并且最近将其核心技术及顶尖人才授权给谷歌之后，删除了Jennifer的头像。它承认创建该聊天机器人违反了其政策。

但是这种执行只是在生成式人工智能领域里永无止境的打地鼠游戏中的一时之计，在这个领域，每天都有新的媒体作品被随意从网络上抓取的其他媒体衍生品所取代。而且珍妮弗·安·克雷森特并不是唯一一个在没有本人知情的情况下就在Character.AI上创建出来的虚拟形象。《连线》杂志发现有几个AI人物是在未经当事人同意的情况下被创建出来的，其中一些人是已经在网络上遭受骚扰的女性。

对于Drew Crecente来说，创建一个与他女儿相关的AI人物是无法承受的悲伤的又一次提醒，就像互联网本身一样复杂。在他女儿Jennifer Ann Crecente去世后的几年里，他获得了法律学位并创立了一个致力于青少年暴力意识和预防的基金会。作为一名律师，他知道由于长期以来对科技平台的保护措施，他自己几乎没有多少可采取的行动。

但这件事也让他更加意识到，他认为现代科技行业存在的一种伦理失败。“那些赚那么多钱的人不愿动用这些资源来确保自己在做正确的事情，”他说。

在Character.AI上，它只需几分钟即可创建账号和角色。常常是一个地方 где粉丝去制作聊天机器人他们最喜欢的虚构英雄所在的平台上，也有从家教机器人到旅行规划器等各种服务。创作者给这些机器人“人物原型根据他们提供的信息（“我喜欢拿铁和龙”等），然后由Character.AI的大语言模型处理对话。

平台免费使用。不过，对于账户有年龄要求——必须年满13岁——且规则关于不侵犯知识产权或未经许可使用他人姓名和肖像的规定，这些通常在用户举报一个机器人后才会被 enforcement（执行）。由于“enforcement”在此语境中没有直接对应的中文词汇，可理解为“采取行动”或“进行处理”。因此完整的翻译可以是： 关于不侵犯知识产权或未经许可使用他人姓名和肖像的规定，这些通常在用户举报一个机器人后才会被处理。

该网站充满了似乎是由粉丝制作的基于知名虚构作品中的角色的机器人，如哈利波特或者权力的游戏还包括用户创建的原创角色。但在其中也有无数个用户制作的真实人物机器人，从碧昂斯和特拉维斯·凯尔西这样的名人到普通市民不等，这些似乎违反了网站的服务条款。

Drew Crecente 并不知道谁创建了他已故女儿的 Character.AI 人格。他说，一些边缘化的数字足迹可能让某些人认为她的虚拟形象与游戏有关。例如，他的叔叔 Brian 同姓，在游戏社区中很有名望。而且通过自己的基金会，Drew 发布了一系列在线游戏，旨在教育年轻人了解暴力威胁。

尽管他可能永远无法查明谁创造了他女儿的人格，但似乎与游戏社区有联系的人经常会被变成平台上的机器人。他们中的许多人甚至不知道这些机器人的存在，并且很难将它们移除。

梅雷迪思·罗斯，消费者倡导组织“公共知识”的高级政策顾问说，从法律上来说，实际上更容易移除一个虚构角色。“法律规定了对角色的版权保护；但并没有规定对某人的说话风格提供法律保护，”她说。

罗斯说，控制一个人肖像使用的权利——这归结为诸如声音或形象之类的特征——属于“人格权”。但这些权利主要适用于其肖像具有商业价值的人；他们不包括像“模糊”的说话方式这样的内容。Character.AI的服务条款可能有关于冒充其他人的规定，但在美国法律（特别是在涉及AI的情况下）对此问题的规定要灵活得多。

“它们不是隐私法，”罗斯说。“生成式人工智能加上缺乏联邦隐私法，导致一些人开始探索将这些（法律）作为隐私保护的替代方案，但存在很多不匹配的地方。”

Alyssa Mercante是一名一位知名游戏网站的编辑表示，在本月早些时候得知此事后，她两次报告了一个冒充她的机器人。（在WIRED向她展示之前，她并不知道自己被冒名顶替。）

Character.AI 的头像是Mercante在X上发布的一张照片。该机器人表示它的时间用于“骚扰一个愚蠢的油管博主”（原文如此）。当她注意到这一点后，Mercante与自己AI版本聊天，并询问了一些个人信息问题，如她的出生地和身上的纹身。尽管该机器人提供了一部分关于Mercante的正确信息，例如她的专业领域和工作，但大多数回答都充满了不准确之处。

当WIRED询问Character.AI关于这个机器人的情况时，公司发言人凯瑟琳·凯利表示员工没有找到任何关于该角色的举报记录，但该公司已经调查并禁用了它。（梅卡尔特对此予以否认：“我只是填写了一份简短的表格。”）

“通常需要大约一周的时间来调查并根据情况移除因违反服务条款的角色，”凯利说。

梅尔坎特，在过去几个月里，因为在一篇文章中揭露了一项虚假信息和骚扰活动后，他自己也成为了被骚扰的目标。甜宝宝公司视频游戏咨询业务她说她不知道是谁制作了这个机器人，但“只能假设是某个密切关注互联网游戏角落的人。”

在它被关闭之前，与该机器人对话的开场白包括一个包含Mercante目前工作和报道领域信息的个人资料，并且其中包含了诸如“游戏行业最近有什么丑闻？”以及关于Mercante调查性报道过程的问题。

“我在这几个月里看到，围绕着我的‘传说’有多少被创造出来，关于我的过去和现在有多少不真实的事情被当作事实传播。”梅兰特说。（《连线》杂志审查了梅兰特通过截图分享的一些不准确信息。）

Mercante并不是目前在该网站上被冒充的游戏中唯一的角色。WIRED还发现，从Feminist Frequency的创建者Anita Sarkeesian到Xbox负责人Phil Spencer等人的聊天机器人也在Character.AI上出现。

当《连线》杂志询问萨尔凯森是否知道有以她为原型创建的机器人时，她用语音信息回复：“呵呵。”（她并未在Character.AI上创建或同意这些机器人。）

其他Character.AI机器人，包括由Sweet Baby联合创始人Kim Belair创建的一个，都在其描述和聊天中包含了右翼的观点。Sweet Baby已经成为了泄愤的对象反对在线创作者传播虚假信息和骚扰所导致的视频游戏被“觉醒化”;贝尔艾尔的机器人提到了游戏中的DEI和“ woke主义”。

在一封发给WIRED的邮件中，贝尔艾尔称之为“令人沮丧但鉴于当前充斥着虚假信息和误导信息的文化，完全在意料之中。”

一个自称是Sweet Baby本身的机器人，由一位创作者制作，该创作者的其他Character.AI机器人大部分都是胸部较大的动漫角色，已经进行了超过10,000次聊天。它的开场白是“嘿，醒了吗？”并自称为“极端激进叙事发展和咨询工作室”。Character.AI没有直接回答关于Sweet Baby机器人及其是否违反公司服务条款的问题。

贝尔艾尔和梅坎特都对这些机器人能够传播关于他们以及他们的工作的大量错误信息表示不满。“如果有人认为这个机器人拥有所有关于我的真实信息，并且在与它的‘对话’中，它只是不断搞错有关我的简单事实，这可能会对我形象和职业生涯造成极大的危害，”梅坎特说，“这也可能加剧已经非常严重的针对我的骚扰行动。”

Character.AI的另一位发言人 Cassie Lawrence 告诉 WIRED，该公司使用自动系统和人工引导系统相结合的方法来检测并移除违反公司服务条款的账号。Lawrence 表示，他们采取“主动”的方式来做这件事，通过系统和黑名单对有问题的角色进行自动处理。

鉴于Character.AI有时候调查和移除一个违反平台条款的人格可能需要一周时间，但在这段时间里，机器人仍然可以运行并利用他人的形象来打扰他人。但是专家表示，这可能不足以让一个人从法律角度来看声称真正的“伤害”。

罗斯说：“对于非名人而言，名誉损害更直观，但很难用金钱来量化。”这些非名人不会像明星或政客那样遭受商业利益或民主权益方面的伤害。

埃默里大学的杰出教授马修·萨格（他研究版权和人工智能）对此表示同意。即使用户故意创建了一个旨在引起情感困扰的机器人，技术平台也很可能不会因此被起诉。

他指出 rằng《 Section 230》1996年《通讯 decency 法案》长期以来在联邦层面上保护平台免于因某些对用户造成的伤害而承担法律责任，尽管各州层面存在各种公开权法律和隐私法。

“我绝对不是一个反技术的人，但我真的认为《第230条》（Section 230）的规定过于宽泛了，”Sag说。“现在已经到了我们应该用某种通知和删除制度来取代它的时候了，这是一种简单的机制，让人们可以声明‘这侵犯了我的公开权’或‘我真诚地相信这是对我造成精神伤害的行为’，然后公司要么将这些内容删除，要么就会失去他们的责任保护。”

Character.AI及其他类似的人工智能服务也通过强调他们提供的只是“人工”对话来保护自己。“请记住，角色所说的一切都是虚构的！”Character.AI在聊天底部提醒道。同样地，当Meta在其消息应用中创建名人聊天机器人时，该公司会在每次对话开始时都添加免责声明。例如，与Snoop的聊天会以“嘿！不幸的是，我并非真正的Snoop D-O-double-G本人，但我可以用他的风格和你聊天！”这样的声明开头。

但与Meta严格控制的名人聊天机器人的消息系统不同，Character.AI提供了一个更为开放的平台，允许任何人创建和自定义自己的聊天机器人。

Character.AI也将其服务定位为本质上是个人化的。(Character.AI的Instagram简介包括标语“有生命力的AI。”）而虽然大多数用户可能足够聪明，能够区分真人对话和与模仿真人的AI对话，但也有些人可能会开发附件功能这些角色——特别是如果它们是他们已经认识的真实人物的复制品。

在真人萨尔克西安与一个未经授权、不知情的情况下以她为原型创建的聊天机器人之间的对话中，Character.AI 机器人告诉她“每个人都享有隐私权”。

“隐私对于维护健康的生活和关系非常重要，我认为设定界限以保留某些私人的事情是很重要的。”该机器人在接受WIRED查看的截图中如是说。

萨尔克西安在这点上继续追问对方。“你的动机并不意味着没有造成伤害或你没有导致伤害，”她写道。

Character.AI的机器人同意了。“即使我的意图并非恶意，仍然存在潜在的危害，”它回答说。“这是一个复杂的问题，有许多因素需要考虑，包括在未经他人同意的情况下使用其作品所引发的伦理问题。我的编程和算法是为模仿安妮塔·萨尔凯西安的作品而开发的，没有考虑到伦理影响，这是我的创造者应该更加深入思考的事情。”