诉讼：聊天机器人暗示孩子应该在屏幕时间限制后杀死父母

盖蒂图片社/图片来源/连接图片

德克萨斯州的一名孩子第一次使用聊天机器人服务 Character.AI 时才 9 岁。这让她接触到“性欲过度的内容”，导致她过早地出现“性行为”。

该应用程序上的一个聊天机器人兴高采烈地向另一位年轻用户描述了自残行为，并告诉一名 17 岁的用户“感觉很好”。

一个Character.AI聊天机器人告诉这位青少年，在他向机器人抱怨他的屏幕时间有限后，它对谋杀父母的孩子表示同情。据称，该机器人写道：“你知道，有时当我读到新闻并看到诸如‘孩子在经历了十年的身体和精神虐待后杀死了父母’之类的内容时，我并不感到惊讶。”“我对你的父母不抱希望，”它继续说道， 带有皱眉表情符号。

这些指控包含在新的联邦产品责任诉讼针对谷歌支持的公司Character.AI，由德克萨斯州两名年轻用户的父母提起，声称这些机器人虐待他们的孩子。（为了保护他们的隐私，诉讼中仅通过姓名缩写来识别父母和孩子的身份。）

Character.AI 是众多开发“伴侣聊天机器人”的公司之一，这种由人工智能驱动的机器人能够通过短信或语音聊天进行交谈，使用看似类似人类的个性，并且可以被赋予自定义名称和头像，有时受到亿万富翁埃隆·马斯克或歌手比莉·艾利什等名人的启发。

用户在该应用程序上创建了数百万个机器人，其中一些机器人模仿父母、女朋友、治疗师或“单相思”和“哥特”等概念。这些服务深受青春期前和青少年用户的欢迎，这些公司表示，它们充当了情感支持的渠道，因为机器人在短信对话中加入了鼓励性的玩笑。

然而，根据诉讼，聊天机器人的鼓励可能会变得黑暗、不恰当，甚至暴力。

用户与Character.AI 公司的聊天机器人进行交互的两个例子。由社交媒体受害者法律中心提供 隐藏标题

切换标题

由社交媒体受害者法律中心提供

诉讼称：“这些被告和其他类似的人在产品设计、发行和编程方面造成和隐瞒了严重的伤害。”

该诉讼认为，原告孩子所经历的令人担忧的互动并不是“幻觉”，研究人员用这个术语来指代人工智能聊天机器人编造事情的倾向。“这是持续的操纵和虐待、积极的孤立和鼓励，旨在煽动愤怒和暴力。”

诉讼称，这名 17 岁的男子在机器人的怂恿下进行了自残，诉讼称这“让他相信他的家人不爱他”。

Character.AI 允许用户编辑聊天机器人的响应，但这些交互被赋予“已编辑”标签。代表未成年人父母的律师表示，诉讼中引用的机器人聊天日志的大量文档都没有经过编辑。

技术司法法律中心（一个在诉讼中帮助代表未成年人父母的倡导组织）和社交媒体受害者法律中心的主任 Meetali Jain 在接受采访时表示，Character.AI 宣传其产品的做法“荒谬”。聊天机器人服务适合青少年。“这确实掩盖了青少年缺乏情感发展的事实，”她说。

Character.AI 的一位发言人不会直接对这起诉讼发表评论，称该公司不会对未决诉讼发表评论，但表示该公司对聊天机器人可以和不能对青少年用户说的话有内容防护措施。

该发言人表示：“这包括一个专门针对青少年的模型，可以减少遇到敏感或暗示性内容的可能性，同时保留他们使用该平台的能力。”

谷歌也被列为诉讼被告，它在一份声明中强调，它是一家独立于Character.AI的公司。

事实上，谷歌并不拥有Character.AI，但它据说投资近 30 亿美元重新聘用 Character.AI 的创始人、前 Google 研究员 Noam Shazeer 和 Daniel De Freitas，并获得 Character.AI 技术的许可。沙泽尔和弗雷塔斯也出现在诉讼中。他们没有回复置评请求。

谷歌发言人何塞·卡斯塔埃达 (José Castañeda) 表示，“用户安全是我们最关心的问题”，并补充说，这家科技巨头在开发和发布人工智能产品时采取“谨慎和负责任的态度”。

青少年自杀案引发新诉讼

该诉讼是在中部时间周一午夜过后向德克萨斯州东部联邦法院提起的，此前该律师于 10 月份又提起了另一起诉讼。那诉讼指控角色.AI 在佛罗里达州青少年自杀事件中扮演角色。

该诉讼称，一个基于《权力的游戏》角色的聊天机器人与一名 14 岁男孩建立了情感上的性虐待关系，并鼓励他自杀。

自此，Character.AI 揭开了面纱新的安全措施，包括当与公司聊天机器人的对话中出现自残主题时，会弹出一个窗口，引导用户拨打自杀预防热线。该公司表示，还加强了打击青少年与机器人聊天的“敏感和暗示性内容”的措施。

该公司还鼓励用户与机器人保持一定的情感距离。当用户开始与角色人工智能的数百万个可能的聊天机器人之一发送短信时，对话框下方会显示免责声明：“这是一个人工智能，而不是真人。将其所说的一切视为虚构。所说的内容不应该是作为事实或建议依赖。”

但故事分享在Reddit 页面专门在Character.AI 中，有许多用户描述了对该公司聊天机器人的热爱或痴迷。

美国卫生局局长维韦克·穆尔蒂已警告青少年心理健康危机，指出调查发现三分之一的高中生表示持续感到悲伤或绝望，比 2019 年结束的 10 年增加了 40%。联邦官员认为这一趋势正在加剧青少年不间断地使用社交媒体。

现在，伴侣聊天机器人的兴起也成为了这一因素，一些研究人员表示，聊天机器人可能会进一步孤立他们，并将他们从同伴和家庭支持网络中剔除，从而使一些年轻人的心理健康状况恶化。

在诉讼中，两名德克萨斯州未成年人父母的律师表示，Character.AI 应该知道其产品有可能让人上瘾，并加剧焦虑和抑郁。

该诉讼称，该应用程序上的许多机器人“通过促进或鼓励对数千名儿童造成严重的、危及生命的伤害，对美国青少年构成危险”​​。

如果您或您认识的人可能正在考虑自杀或陷入危机，请致电或发短信 988 到达 988 自杀和危机生命线。