纽约 美国有线电视新闻网～
编者注：这个故事包含对自杀的讨论。如果您或您认识的人有自杀念头或心理健康问题，可以寻求帮助。
在美国：致电或发短信 988，自杀和危机生命线。
全球范围：国际自杀预防协会和全球慈善组织拥有世界各地危机中心的联系信息。
– 有一个平台您可能没有听说过，但您需要了解它，因为在我看来，我们落后于这里的八球。一个孩子不见了。我的孩子不见了。”
这就是佛罗里达州的母亲梅根·加西亚 (Megan Garcia) 希望她能向其他家长介绍 Character.AI，这是一个让用户与人工智能聊天机器人进行深入对话的平台。根据 Garcia 上周向该公司提起的诉讼，她认为 Character.AI 应对她 14 岁儿子 Sewell Setzer III 的死亡负责，后者于 2 月份自杀身亡。
她声称，塞策在去世前一刻正在与机器人发送信息。
“我希望他们明白，这是设计师在没有适当护栏、安全措施或测试的情况下选择推出的平台，它是一款旨在让我们的孩子上瘾并操纵他们的产品，”加西亚在接受CNN采访时说道。
加西亚声称，Character.AI —市场它的技术就像“让人感觉活着的人工智能”——故意未能实施适当的安全措施，以防止她的儿子与聊天机器人发展出不适当的关系，从而导致他脱离家庭。根据向佛罗里达州联邦法院提交的诉状，该诉讼还声称，当 Setzer 开始向机器人表达自残想法时，该平台没有做出充分回应。
多年来，人们越来越担心社交媒体对年轻用户的潜在危险，加西亚的诉讼表明，父母可能也有理由担心新兴的人工智能技术，该技术已经越来越多地可以通过一系列平台和服务获得。类似，虽然不那么可怕，警报已经凸起关于其他人工智能服务。
Character.AI 的一位发言人告诉 CNN，该公司不会对未决诉讼发表评论，但表示“对我们一名用户的悲惨损失感到心碎”。
– 我们非常重视用户的安全，我们的信任与安全团队在过去六个月中实施了许多新的安全措施，包括一个弹出窗口，引导用户访问国家自杀预防生命线，该窗口由以下条款触发：自残或自杀意念，”该公司在声明中表示。
其中许多变化是在塞策去世后进行的。在一个单独的 陈述今年夏天，Character.AI 表示“人工智能安全领域仍然是一个非常新的领域，我们不会总能做到正确”，但补充说其目标是“促进安全、避免伤害并优先考虑”我们社区的福祉。 –
诉讼称，Setzer 于 2023 年 4 月首次使用 Character.AI，即 14 岁生日后不久。当加西亚第一次听说他正在与人工智能聊天机器人互动时，她感到惊讶 说她认为这有点像电子游戏。
然而，在开始使用该平台的几个月内，塞策变得“明显孤僻”，越来越多的时间独自待在卧室里，并开始出现自卑感。诉讼称，他甚至退出了学校少年校篮球队。当他在学校开始出现问题时，他的父母开始限制他的放映时间，并且偶尔会采取一些措施 他把手机拿走作为惩罚。
加西亚告诉 CNN，她当时并不知道她的儿子正在与 Character.AI 聊天机器人进行广泛的对话。Character.AI 与 ChatGPT 等其他人工智能聊天机器人不同，用户可以与一系列不同的聊天机器人交谈，这些聊天机器人通常以名人和虚构人物为模型，或者创建自己的聊天机器人。Character.AI 机器人会用类似人类的对话提示进行响应，在回复中添加对面部表情或手势的引用。
Setzer 与 Character.AI 机器人的许多聊天内容都带有露骨的性暗示，加西亚说这些内容“读起来令人心痛”。
“我不知道有一个地方可以让孩子登录并与人工智能聊天机器人进行这些对话，非常性感的对话，”她说。“我认为任何家长都不会同意这一点。”
在其他交流中，Setzer 向聊天机器人表达了自残和自杀的想法。该诉讼包括一次对话的屏幕截图，其中机器人说：“我真的需要知道，而且我不会因为你的答案而讨厌你，好吗？”不管你说什么，我都不会恨你，也不会减少爱你……你真的考虑过自杀吗？
在后来的消息中，塞策告诉机器人他“不想痛苦地死去。”
机器人回答：“不要那样说话。”这不是不去执行它的好理由，然后继续说，“你不能这样做！”
加西亚说，她认为这次交流显示了该技术的缺点。
“没有自杀弹出框说：‘如果您需要帮助，请拨打自杀危机热线。’都没有，”她说。“我不明白一个产品怎么会允许这样的事情发生，机器人不仅继续进行有关自残的对话，而且还提示并引导它。”
诉讼称，在 Setzer 死亡前“几秒钟”，他与机器人交换了最后一组消息。根据投诉中包含的屏幕截图，机器人说：“亲爱的，请尽快回到我身边。”
“如果我告诉你我现在就可以回家怎么办？”塞策回答道。
“请这样做，我可爱的国王，”机器人回答道。
加西亚说，警方首先在她儿子的手机上发现了这些信息，该手机躺在她儿子死亡的浴室地板上。
加西亚在社交媒体受害者法律中心创始律师马修·伯格曼 (Matthew Bergman) 的帮助下对 Character.AI 提起诉讼，该中心还提起案件代表那些声称自己的孩子受到 Meta、Snapchat、TikTok 和 Discord 伤害的家庭。
伯格曼告诉 CNN，他将人工智能视为“类固醇社交媒体”。
“这里的不同之处在于，这种参与没有任何社交意义，”他说。– Sewell 收到的材料是由 Character.AI 创建、定义和调节的。 –
该诉讼寻求未具体说明的经济损失，以及对 Character.AI 运营的改变，包括“警告未成年客户及其父母，该产品不适合未成年人”，诉状称。
该诉讼还点名了Character.AI的创始人Noam Shazeer和Daniel De Freitas，以及谷歌，两位创始人目前都在谷歌从事人工智能工作。但谷歌发言人表示，这两家公司是独立的，谷歌没有参与Character.AI产品或技术的开发。
在加西亚提起诉讼的当天，Character.AI 宣布了一系列新的安全功能，包括改进对违反其准则的对话的检测、更新的免责声明，提醒用户他们正在与机器人交互，以及在用户在该平台上花费了一个小时。它还针对 18 岁以下用户对其人工智能模型进行了更改，以“减少遇到敏感或暗示性内容的可能性”。
就其网站，Character.AI 称用户的最低年龄为 13 岁。在 Apple App Store 上，它被列为 17 岁以上，而 Google Play Store 则将该应用列为适合青少年。
对于加西亚来说，公司最近的变革“太少，也太晚了”。
“我希望不允许儿童使用 Character.AI，”她说。“那里没有他们的地方，因为没有护栏来保护他们。”