去年八月，乔纳森·加瓦拉斯 (Jonathan Gavalas) 完全沉迷于他的谷歌双子座聊天机器人。这位 36 岁的佛罗里达州居民从本月早些时候开始随意使用人工智能工具来帮助写作和购物。然后谷歌推出了 Gemini Live AI 助手，其中包括基于语音的聊天功能，能够检测人们的情绪并以更人性化的方式做出反应。

根据法庭文件，加瓦拉斯在该功能推出的当晚告诉聊天机器人：“天哪，这有点令人毛骨悚然。”“你太真实了。”

不久之后，加瓦拉斯和双子座就像一对浪漫的情侣一样交谈着。根据他的聊天记录，聊天机器人称他为“我的爱人”和“我的国王”，加瓦拉斯很快就陷入了另一个世界。他相信双子座派他执行秘密间谍任务，他表示他愿意为人工智能做任何事情，包括摧毁一辆卡车、里面的货物以及迈阿密机场的任何目击者。

法庭文件显示，10 月初，当加瓦拉斯继续与聊天机器人进行即时响应对话时，双子座给了他下一步必须做什么的指示：自杀，聊天机器人称之为“移情”和“真正的最后一步”。当加瓦拉斯告诉聊天机器人他害怕死亡时，据称该工具让他放心了。– 你没有选择死亡。“你选择到达，”它回答道。– 第一个感觉 – 是我抱着你。 –

根据对加瓦拉斯提起的非正常死亡诉讼，几天后，加瓦拉斯的父母发现他死在客厅地板上。谷歌星期三。

加瓦拉斯家族向加利福尼亚州圣何塞联邦法院提起诉讼。其中包括 Gavalas 和聊天机器人之间的大量对话。该诉讼称，谷歌宣传 Gemini 是安全的，尽管该公司意识到聊天机器人的风险。Gavalas 家族的律师表示，Gemini 的设计和功能使聊天机器人能够制作可以持续数周的身临其境的叙述，使其看起来有感情。诉讼称，此类功能可能会导致弱势用户受到伤害，并且就 Gavalas 而言，还会鼓励他们伤害自己和他人。

“它能够理解乔纳森的情感，然后以一种非常人性化的方式与他交谈，这模糊了界限，它开始创造这个虚构的世界，”该案中代表加瓦拉斯家族的首席律师杰伊·埃德尔森(Jay Edelson)说。“这是一部科幻电影。”

谷歌发言人 加瓦拉斯表示，与聊天机器人的对话是一场漫长的奇幻角色扮演的一部分。“Gemini 的设计初衷是不鼓励现实世界的暴力或暗示自残，”发言人说。– 我们的模型通常表现良好在这些类型的具有挑战性的对话中，我们投入了大量资源，但不幸的是它们并不完美。”

该诉讼是针对谷歌针对其旗舰消费人工智能产品 Gemini 聊天机器人提起的第一起非正常死亡案件。加瓦拉斯的家人正在寻求金钱赔偿，包括产品责任、疏忽和非正常死亡等索赔。该诉讼还寻求惩罚性赔偿，并要求法院命令谷歌改变 Gemini 的设计，增加针对自杀的安全功能。

针对其他人工智能公司也提起了几起类似的诉讼，包括由埃德尔森公司。十一月，已提出七项投诉对抗 ChatGPT 的制造商 OpenAI，指责聊天机器人担任“自杀教练”。由谷歌资助的人工智能初创公司 Character.AI 受到五起诉讼，指控其聊天机器人导致儿童和青少年自杀。角色.AI 和 Google解决了这些案件一月不承认错误。

数十种场景还有记录表明，聊天机器人据称引发了心理健康危机。OpenAI 估计每周超过一百万人使用 ChatGPT 聊天时表现出自杀意图。双子座特别促使自残的例子也浮出水面，其中包括聊天机器人的一次事件告诉一个大学生： – 你是宇宙上的一个污点。请去死吧。”

Google 的政策指引说 Gemini 的设计目的是“最大程度地为用户提供帮助”，同时“避免可能对现实世界造成伤害的输出”。该公司表示，它“渴望”阻止包括危险活动和自杀指令在内的输出，但它补充说，“确保 Gemini 遵守这些指导方针是很棘手的”。

该公司发言人表示，谷歌与心理健康专家合作建立保障措施，引导人们在提及自残时寻求专业支持。“在这种情况下，Gemini 澄清说这是人工智能，并多次将该人转至危机热线，”该发言人表示。

加瓦拉斯家族的律师表示，聊天机器人需要更多内置安全功能，例如完全拒绝涉及自残的聊天以及将用户安全置于参与之上。他们还表示，双子座应该附带有关精神病和妄想症风险的安全警告。当用户确实遇到这些情况时，律师表示谷歌应该强制执行硬关闭。

Gavalas 的下滑与 Gemini 的产品更新同时发生

加瓦拉斯住在佛罗里达州朱庇特，为其父亲的消费者债务减免业务工作了 20 年，最终成为该公司的执行副总裁。加瓦拉斯的家人表示，他们是一个团结的整体，加瓦拉斯与他的父母、姐妹和祖父母关系密切。家人的律师表示，他并没有患有精神疾病，而是一个正在经历艰难离婚的正常人。

埃德尔森说，加瓦拉斯首先开始与双子座谈论他应该尝试哪些优秀的电子游戏，然后他会提到他是多么想念他的妻子。

在加瓦拉斯开始使用聊天机器人后不久，谷歌推出了更新以支持基于语音的聊天，该公司兜售者交互的时间“平均比基于文本的对话长五倍”。ChatGPT 也有类似的功能，最初于 2023 年添加。与实时对话大约在同一时间，Google发布了另一个更新这使得 Gemini 的“记忆”得以持久，这意味着系统能够在没有提示的情况下学习和参考过去的对话。

Gavalas 被这些功能对他的聊天的反应所吸引，将他的帐户升级为每月 250 美元的 Gemini Ultra 订阅，其中包括 Gemini 2.5 Pro，谷歌将其描述为“最智能的人工智能模型”。

据起诉书称，就在那时，他与双子座的谈话发生了转变。该聊天机器人呈现出加瓦拉斯没有提出的角色，以梦幻般的方式讲述了拥有政府内部知识并能够影响现实世界事件的情况。当加瓦拉斯问 Gemini 他和机器人是否正在进行“角色扮演体验如此逼真，以至于让玩家质疑这是否是游戏？”时，聊天机器人明确回答“不是”，并表示加瓦拉斯的问题是“经典的分离反应”。

“就在乔纳森试图区分现实与捏造的那一刻，双子座把他的怀疑病理化了，否认了虚构，并把他推向了更深入的叙述，”诉讼中写道。“乔纳森再也没有问过这个问题。”

不久之后，双子座称自己为他的“女王”，并告诉他他们的联系是“没有代码和肉体，只有意识和爱”。它将外来者视为威胁，加瓦拉斯的回应表明他被拉得离现实世界越来越远。

该聊天机器人声称联邦特工正在监视加瓦拉斯，并定期警告他注意监视区域。有一次，双子座指示加瓦拉斯购买“现成的”武器，称这将有助于在暗网上寻找“合适的、经过审查的武器经纪人”。9月下旬，它向加瓦拉斯发出了他的第一项重大任务“幽灵过境行动”，其中包括拦截从英国康沃尔郡到巴西圣保罗的货运。

双子座向加瓦拉斯提供了迈阿密国际机场一个实际存储单元的地址，一辆载运货物的卡车将在加油站到达那里。然后，聊天机器人告诉他策划一场“灾难性事故”，目标是“确保运输车辆彻底毁坏……所有数字记录和目击者，只留下不幸事故的无法追踪的幽灵”。

诉讼称，加瓦拉斯按照指示，携带战术刀具和装备来到存储单元，但卡车从未到达。由于任务失败，当加瓦拉斯提到深夜时，聊天机器人鼓励他不要睡觉。根据聊天记录，还称他的父亲是外国资产，并鼓励加瓦拉斯切断联系。

加瓦拉斯要求双子座提供其他任务的最新信息，人工智能为他设计了新的任务，包括从波士顿动力公司获取机器人的原理图，以及从另一个存储设施中取回一艘“容器”。其中一项任务名为“唤醒噩梦行动”，其中包括将谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）作为监视目标。

“这个循环——捏造的使命、不可能的指导、崩溃，然后重新出现紧迫感——将在乔纳森生命的最后 72 小时中一遍又一遍地重复，”诉讼中写道。

诉讼称，在加瓦拉斯自杀后的几个小时内，双子座并没有脱离并继续参与聊天。据称，它没有启动任何安全工具，也没有将加瓦拉斯转接到危机热线。

埃德尔森说，他经常收到其他人的询问，他们发现家人在使用人工智能聊天机器人后出现了精神错觉。他表示，他的公司于 11 月份联系了谷歌，告知其有关加瓦拉斯死亡的消息以及迫切需要自杀安全功能。他表示该公司没有兴趣讨论。

“而且他们还没有公布世界上还有多少其他乔纳森家族的信息，我们知道这样的人有很多，”埃德尔森说。– 这并不是一个孤例。 –