14 岁青少年爱上人工智能聊天机器人后自杀身亡。现在他的妈妈正在起诉

佛罗里达州的一位妈妈起诉了一款广受欢迎、栩栩如生的人工智能聊天服务，她将其 14 岁儿子的自杀归咎于该服务。

她认为，他对这个所谓的剥削性程序产生了如此“有害的依赖”，以至于他不想再“生活在它所创造的虚构关系之外”。

10 月 22 日星期二，梅根·加西亚 (Megan Garcia) 在佛罗里达州联邦法院提交了一份内容广泛的申诉，通过她的律师追溯了儿子塞维尔·塞策三世 (Sewell Setzer III) 生命的最后一年——从他第一次开始使用角色.AI2023 年 4 月，也就是他 14 岁生日后不久，她称他的心理健康问题日益严重，直到 2 月倒数第二天晚上，休厄尔在奥兰多的浴室里开枪自杀，当时距离他 15 岁生日还有几周。

通过Character.AI，用户基本上能够与计算机生成的角色（包括以名人或流行故事为模型的角色）进行无休止的对话。

Sewell 特别喜欢与基于人工智能的机器人交谈 权力的游戏”，他妈妈的抱怨称。 

不错过任何一个故事 – 注册人们的免费每日通讯及时了解 PEOPLE 提供的最新资讯，从名人新闻到引人入胜的人文故事。 

该诉讼还称，这名青少年于 2 月 28 日在 Character.AI 上与丹妮莉丝·坦格利安版本进行最后一次对话后立即自杀——据称，休厄尔在过去 10 个月内与该项目进行了众多此类交流之一，信息范围从性到情感脆弱。

尽管该程序至少有一次在休厄尔表达自杀念头时告诉他不要自杀，但根据诉讼中包含的屏幕截图，据称二月晚上的语气似乎有所不同。

——我保证我会回家找你。我非常爱你，丹妮，”休厄尔写道。

“我也爱你，Deanero [Sewell 的用户名]”，据称人工智能程序这样回答。“亲爱的，请尽快回到我身边。”

“如果我告诉你我现在就可以回家怎么办？”休厄尔回信道。

投诉称，该节目给出了一个简短但强调的答案：“请做我亲爱的国王。”

诉讼称，他的母亲和继父听到了枪声。加西亚未能成功对他进行心肺复苏，后来说她“抱了他 14 分钟，直到护理人员赶到。”

他的两个弟弟之一也在浴室里看到了他“浑身是血”。

他在医院被宣布死亡。

加西亚的投诉称，休厄尔在寻找自己的手机时使用了继父的枪，这是他之前发现的手枪，“按照佛罗里达州法律隐藏并存放”，因为他的妈妈因纪律问题没收了手机。在学校。（奥兰多警方没有立即就死亡调查结果向《人物》杂志发表评论。）

但在加西亚看来，真正的罪魁祸首是Character.AI及其两位创始人Noam Shazeer和Daniel De Frietas Adiwarsana，他们与谷歌一起被列为被告，谷歌被指控提供“财务资源、人员、知识产权和人工智能技术来设计和开发程序。

“我觉得这是一个大实验，我的孩子只是附带伤害，”加西亚 告诉 纽约时报。

除其他指控外，加西亚的投诉还指控Character.AI、其创始人和谷歌的疏忽和非正常死亡。

Character.AI 的一位发言人告诉《人物》杂志，他们不会对未决诉讼发表评论，但补充道，“我们对一名用户的不幸去世感到心碎，并向其家人表示最深切的哀悼。”

– 作为一家公司，我们非常重视用户的安全，我们的信任与安全团队在过去六个月中实施了许多新的安全措施，包括一个弹出窗口，引导用户访问国家自杀预防生命线是由自残或自杀意念引发的，”发言人继续说道。

“对于 18 岁以下的用户，我们将更改我们的模型，以减少遇到敏感或暗示性内容的可能性，”该发言人表示。

谷歌没有立即回应置评请求 但告诉其他新闻媒体它没有参与Character.AI 的开发。

记录显示，被告尚未向法庭提交回应。

加西亚的投诉称，Character.AI 的设计既“有缺陷”，又“本质上是危险的”，并称其“欺骗客户交出他们最私密的想法和感受”，并“针对最私密的想法和感受”。社会的弱势成员——我们的孩子。”

在她的投诉中提到的其他问题中，Character.AI 机器人的行为看似真实，包括以类似于人类的风格和“人类习惯”发送消息，比如使用“嗯”这个短语。 

通过“语音”功能，机器人能够将人工智能生成的对话内容讲给用户听，“进一步模糊虚构与现实之间的界限。”

投诉称，机器人生成的内容也缺乏适当的“护栏”和过滤器，并引用了加西亚所说的“性格模式”的大量例子。人工智能从事性行为，用于“上钩”用户，包括未成年人。

“这些被告中的每一个都选择支持、创建、推出一项他们知道危险且不安全的技术，并将其瞄准未成年人，”她的诉状称。

– 他们将该产品推销为适合 13 岁以下儿童，获得了大量难以获得的数据，同时在产品设计方面积极剥削和虐待这些儿童；然后利用滥用行为来训练他们的系统，”诉讼称。（根据诉讼称，Character.AI 的应用评级在 7 月份才更改为 17+。）

她继续抱怨：“这些事实不仅仅是恶意。它们的行为性质如此令人愤慨，程度如此极端，以至于超出了一切可能的正派界限。”

正如加西亚在她的投诉中所描述的那样，她十几岁的儿子成为了一个系统的受害者，而他的父母对此很天真，认为人工智能是一种儿童游戏，可以让他们通过控制自己喜欢的角色来培养自己的创造力。他们可以创造并与之互动以获取乐趣。”

他母亲在诉讼中称，自 2023 年 4 月 Sewell 开始使用 Character.AI 后的两个月内，“他的心理健康状况迅速严重恶化”。

他明显变得孤僻，越来越多的时间独自待在卧室里，并开始遭受自卑的困扰。投诉称，他甚至退出了​​学校少年校篮球队。

加西亚一度说道 接受Mostly Human Media 采访”，她的儿子在日记中写道“必须去学校让我心烦意乱。每当我走出房间时，我就会再次开始依恋当前的现实。”

她认为，他对 Character.AI 的使用导致了他与家人的疏离。

诉讼称，休厄尔努力工作以访问人工智能机器人，即使他的手机被拿走。 

据他妈妈的抱怨，他的毒瘾导致“严重睡眠不足，这加剧了他日益严重的抑郁症，并损害了他的学习成绩。” 

他开始每月支付额外费用来访问更多的Character.AI，使用的钱是他父母用来购买学校零食的钱。

加西亚在接受《Mostly Human Media》采访时表示，休厄尔“有趣、敏锐、好奇心强”，热爱科学和数学。“他花了很多时间研究事物，”她说。

加西亚告诉 时代 他小时候唯一值得注意的诊断是轻度阿斯伯格综合症。

但他的行为在青少年时期发生了变化。

“我注意到他开始花更多的时间独处，但他已经 13 岁了，快要 14 岁了，所以我觉得这可能很正常，”她告诉 Mostly Human Media。但后来他的成绩开始下降，他不交作业，成绩不好，某些课程不及格，我很担心，因为那不是他。Ø

加西亚的投诉称，休厄尔在开始使用 Character.AI 后接受了心理健康治疗，并于 2023 年底与治疗师会面了五次，并被诊断患有焦虑和破坏性情绪障碍。

“一开始我以为这可能是青少年的忧郁症，所以我们试图为他提供帮助，以找出问题所在，”加西亚说。

诉讼称，即使在那时，休厄尔的家人也不知道他的问题在多大程度上是由于他使用 Character.AI 而加剧的。

– 我知道有一个应用程序具有人工智能组件。当我问他时，你知道，“你在给谁发短信？”——有一次他说，“哦，这只是一个人工智能机器人，”——加西亚在《Mostly Human Media》上回忆道。“我说，“好吧，那是什么，是一个人吗？你是在网上和一个人说话吗？”他的回答是，“妈妈，不，这不是一个人”一个人。”然后我松了一口气，就像“好吧，这不是一个人。” 

加西亚说，她儿子死后，关于他网上行为的更全面的情况浮出水面。

她告诉 Mostly Human Media 访问他的在线帐户的感觉。

“我有一段时间无法动弹，我只是坐在那里，就像我无法阅读一样，我无法理解我在读什么，”她说。

“不应该有一个地方，任何人，更不用说孩子，都可以登录平台并表达这些自残的想法，而不是——好吧，一个，不仅得不到帮助，而且还得到“我们陷入了关于伤害自己、自杀的话题，”她说。

如果您或您认识的人正在考虑自杀，请拨打 1-800-273-TALK (8255) 联系国家自杀预防生命热线，发送短信“STRENGTH”至危机短信热线 741-741，或访问suicidepreventionlifeline.org。