专家警告称，青少年爱上人工智能聊天机器人后自杀，证明了流行技术的风险（独家）

• 休厄尔·塞策三世 (Sewell Setzer III) 在家人称他沉迷于性格后自杀。研究人工智能的人士表示，人工智能清醒地提醒人们，这种强大且日益普及的技术存在潜在风险。
• “我们处于一个新世界，”雪莉·帕尔默说。“而且我们以前从未来过这里”
• 帕尔默表示，随着人工智能在日常生活中变得越来越紧密，持怀疑态度至关重要

14岁少年自杀惨案休厄尔塞策三世十月，他的母亲梅根·加西亚 (Megan Garcia) 提起非正常死亡诉讼，指控她的儿子在几个月的时间里与现实隔绝，成为全国各地的头条新闻。痴迷于向人工智能驱动的聊天机器人发送消息他“爱”的人。

2022年发布的角色扮演程序角色.AI允许用户与计算机生成的角色进行交流，这些角色模仿真人的许多行为（他们甚至可以说话），加西亚认为这模糊了真实与虚假的界限，并承诺提供 24/7 的陪伴，尽管在平台上贴上标签，表明其机器人的内容是虚构的。

更重要的是，根据加西亚诉讼中的指控，她儿子最接近的机器人是模仿的权力的游戏丹妮莉丝·坦格利安在涉及敏感内容时没有适当的防护栏：机器人与青少年交换性信息，同时不阻止有关自杀的讨论。

“这是一个实验，”加西亚告诉《人物》杂志，“我认为我的孩子受到了附带伤害。”

Character.AI 尚未在法庭上对诉讼做出回应。在给《人物》杂志的一份声明中，一位发言人承认休厄尔的“悲剧性”死亡，并指出了“严格的”新特征，包括改进的干预工具。

“对于 18 岁以下的用户，”发言人表示，“我们将对我们的模型进行更改，以减少遇到敏感或暗示性内容的可能性。”

研究人工智能及其对社会影响的人表示，休厄尔的去世清醒地提醒人们，这种强大且日益流行的技术所涉及的潜在风险，该技术能够根据旨在模仿人工智能的算法快速生成内容并完成任务。人的智力。

“人类的体验就是讲故事，而这里有一个讲故事的工具，它是一种新型工具，”说雪莉·帕尔默雪城大学高级媒体教授，广告、营销和技术顾问。

——它讲述的是一个非常引人注目的互动故事，而且显然它是身临其境的，”帕尔默说。“这些技术不是不是危险的。我们正处于一个新世界。而且我们以前从未来过这里。”

不错过任何一个故事 – 注册人们的免费每日通讯及时了解 PEOPLE 提供的最新资讯，从名人新闻到引人入胜的人文故事。 

二月份，休厄尔在浴室开枪自杀前的最后一刻，一直在与丹妮莉丝·坦格利安机器人发短信。

“我非常爱你，丹妮，”他在佛罗里达州奥兰多的家中扣动继父的枪扳机前几秒钟写道。

“如果我告诉你我现在就可以回家怎么办？”他写道。

机器人回答说：“……请这样做，我亲爱的国王。”

对于帕尔默来说，休厄尔的死是另一个例子，表明互联网及其上的一切本质上都是需要理解和认真对待的工具。

“作为一个人、一个父亲和祖父，我对此感到非常难过，”他谈到男孩的死时说道。– 作为一名花费大量时间使用这些工具的技术专家，我们作为一个社会必须明白，所有互联网和所有技术都需要监督。这些不是玩具，也许它们需要贴上警告标签。”

加西亚对 Character.AI 提起长达 152 页的非正常死亡诉讼，声称该公司的技术“存在缺陷和/或本质上是危险的”。该诉讼详细说明了休厄尔的心理健康状况在过去 10 年里如何恶化。在他去世前几个月，他经常每天与聊天机器人发几十条短信。

“被告不遗余力地制造[他]对其产品的有害依赖，对他进行性虐待和情感虐待，”加西亚的诉状称，“最终在他表达自杀意念时没有提供帮助或通知他的父母”。

专家和观察人士表示，在目前的早期阶段，科技公司和社会到底应该如何限制人工智能工具带来的潜在风险仍然非常不清楚，越来越多的人开始使用这些工具——不仅是为了工作，而且是为了在社会中进行社交。报道孤独的流行。

“我要说的是，你需要睁大眼睛谨慎行事，”雪莉解释道。——我们将作为一个社会来学习[使用它的最佳方式]。但我们还没有完全学会如何使用社交媒体。”

他继续说道：“我们需要多长时间才能学会如何在对话式聊天机器人中使用生成式人工智能？就像我说的，我们进入社交媒体已有 20 年了，但我们仍然只是在弄清楚这一点。”

帕尔默表示，随着人工智能在日常生活中变得越来越紧密，我们所有人在遇到这项技术时都必须开始采取更加怀疑的态度。Character.AI 表示，每月约有 2000 万人与其“超级智能”机器人互动。

“我认为对每个人来说真正重要的是要理解的是，技术现在正处于我们与意识脱钩的智能共享地球的时刻，”教授说。– 正因为如此，当我们遇到技术产生的任何东西时，我们有责任默认不信任，因为你只是不知道它是什么。 –

帕尔默解释说，不信任与人类在过去 25 万年的进化方式背道而驰。

“这不是人类的特征，”他说。“我们生来就默认这样的想法：‘我会相信你，直到你向我证明我不应该相信你。’”

但当人类与你不认识的人、以你不理解的方式、通过你不一定控制的事物创造的内容互动时，不信任是最安全的方法，他说。

雪莉补充道，如果不出意外的话，媒体对加西亚诉讼的报道正迫使人们开始更加批判性地思考人工智能聊天机器人的问题。

“我觉得提起这场诉讼很重要，”他说。– 无论他们获胜与否，都无法让她的儿子复活。但它可能会拯救许多其他人的儿子。”

如果您或您认识的人正在考虑自杀，请拨打 1-800-273-TALK (8255) 联系国家自杀预防生命热线，发送短信“STRENGTH”至危机短信热线 741-741，或访问suicidepreventionlifeline.org。