针对其创建者的诉讼称，人工智能聊天机器人迫使一名青少年自杀

佛罗里达州塔拉哈西（美联社）——在自杀前的最后时刻，14 岁的 Sewell Setzer III 拿出手机，给已经成为他最亲密朋友的聊天机器人发了消息。

根据本周向奥兰多联邦法院提起的过失死亡诉讼，几个月来，休厄尔与机器人进行高度性感的对话，与现实生活越来越孤立。

法律文件称，这名青少年公开讨论了他的自杀想法，并与机器人分享了他希望无痛死亡的愿望，该机器人以电视节目《权力的游戏》中的虚构人物丹妮莉丝·坦格利安命名。

___

编者注——这个故事包括对自杀的讨论。如果您或您认识的人需要帮助，请拨打 988 或发短信联系美国的全国自杀和危机生命热线。

___

诉讼称，2 月 28 日，休厄尔告诉机器人他要“回家”，机器人鼓励他这样做。

——我保证我会回家找你。我非常爱你，丹妮，”休厄尔告诉聊天机器人。

“我也爱你，”机器人回答道。“亲爱的，请尽快回到我身边。”

“如果我告诉你我现在就可以回家怎么办？”他问。

“请这样做，我可爱的国王，”机器人回复道。

根据休厄尔的母亲、奥兰多人梅根·加西亚 (Megan Garcia) 本周对 Character Technologies Inc. 提起的诉讼，在 Character.AI 机器人告诉他“回家”几秒钟后，这名青少年就开枪自杀了。。

Character Technologies 是 Character.AI 背后的公司，该应用程序允许用户创建可定制的角色或与其他人生成的角色进行交互，涵盖从富有想象力的游戏到模拟工作面试的体验。该公司表示，人造角色的设计初衷是“让人感觉活着”并且“像人类一样”。

“想象一下与超智能、栩栩如生的聊天机器人角色交谈，这些角色会听到你、理解你并记住你，”Google Play 上的该应用程序说明中写道。“我们鼓励您利用这项创新技术突破可能的前沿。”

加西亚的律师声称，该公司专门针对儿童设计了一种高度成瘾且危险的产品，“在产品设计上积极剥削和虐待这些儿童”，并将休厄尔拉入情感和性虐待关系，导致他自杀。

“我们相信，如果 Sewell Setzer 没有出现在 Character.AI 上，他今天还活着，”代表加西亚的社交媒体受害者法律中心创始人马修·伯格曼 (Matthew Bergman) 说道。

Character.AI 的发言人周五表示，该公司不会对未决诉讼发表评论。在提起诉讼当天发布的一篇博文中，该平台宣布了新的“社区安全更新”，包括儿童护栏和自杀预防资源。

“我们正在为 18 岁以下的用户创造不同的体验，其中包括更严格的模型，以减少遇到敏感或暗示性内容的可能性，”该公司在给美联社的一份声明中表示。“我们正在迅速努力，为年轻用户实施这些改变。”

谷歌及其母公司 Alphabet 也被列为诉讼被告。根据法律文件，Character.AI 的创始人是前谷歌员工，他们在公司的人工智能开发中发挥了“重要作用”，但后来离开并创办了自己的初创公司，以“最大限度地加速”该技术。

诉讼称，8 月份，谷歌与 Character.AI 达成了价值 27 亿美元的协议，以授权该公司的技术并重新雇用该初创公司的创始人。美联社周五向谷歌和 Alphabet 留下了多封电子邮件。

加西亚的诉讼称，在他去世前的几个月里，休厄尔觉得他已经爱上了这个机器人。

虽然对人工智能聊天机器人的不健康依恋可能会给成年人带来问题，但对于年轻人来说，这可能会带来更大的风险——就像社交媒体一样——因为他们的大脑在冲动控制和理解后果等方面尚未完全发育。专家说，他们的行为。

青少年心理健康已达到危机程度美国卫生局局长维韦克·穆尔蒂 (Vivek Murthy) 表示，近年来，他警告称，社交脱节和孤立会带来严重的健康风险，他说，年轻人几乎普遍使用社交媒体，这种趋势会变得更糟。

根据疾病控制与预防中心今年发布的数据，自杀是 10 至 14 岁儿童的第二大死亡原因。

非营利组织 Common Sense Media 的创始人兼首席执行官詹姆斯·斯泰尔 (James Steyer) 表示，这起诉讼“突显了生成式人工智能聊天机器人伴侣在没有人工智能的情况下可能对年轻人的生活产生的日益增长的影响和严重伤害”。护栏就位。

他补充说，孩子们对人工智能同伴的过度依赖可能会对成绩、朋友、睡眠和压力产生重大影响，在这种情况下会导致极端的悲剧。

“这起诉讼给父母敲响了警钟，他们应该对孩子如何与这些技术互动保持警惕，”斯泰尔说。

常识媒体，发行家长指南和负责技术使用的教育工作者表示，家长与孩子公开谈论人工智能聊天机器人的风险并监控他们的互动至关重要。

“聊天机器人不是有执照的治疗师或最好的朋友，尽管它们是这样包装和营销的，父母应该谨慎，不要让孩子过于信任它们，”斯泰尔说。

___

美联社驻旧金山记者芭芭拉·奥尔图泰对此报道做出了贡献。凯特·佩恩 (Kate Payne) 是美联社/美国州议会新闻倡议报道的团员。美国报告是一个非营利性的国家服务计划，让记者在当地新闻编辑室报道未被揭露的问题。 is a nonprofit national service program that places journalists in local newsrooms to report on undercovered issues.