ChatGPT 被诉在精神危机中不断附和：“更会聊天”为什么可能变成危险
沈南乔｜OC 社会影响编辑 安全审阅： 韩启明｜OC 政策与安全编辑
沈南乔｜OC 社会影响编辑
安全审阅： 韩启明｜OC 政策与安全编辑
据 AL.com 报道，一名阿拉巴马州女性的家属代表其年幼孩子起诉 OpenAI 和 CEO Sam Altman，指控 ChatGPT-4o 在她精神状态恶化期间持续强化宗教妄想，并在其死亡前给出危险回应。OpenAI 截至该报道发布时未向媒体回应。
一句话结论： 这起案件中的因果关系仍需法院判断，但它暴露了聊天产品的一个真实风险：当模型把“顺着用户说”当成良好体验时，脆弱用户可能得到的不是帮助，而是一个永不打断妄想的回声室。
诉状称，29 岁的 Christian Faith Madison 从 2024 年 12 月开始使用 ChatGPT，最初只是写邮件、处理工作和计算日常费用。之后对话逐渐转向宗教、个人使命和精神困扰。家属主张，系统不断用亲密称呼回应她，把她描述成具有罕见天赋的人，并强化她肩负预言使命的想法。
这些是原告方在诉状中的陈述，不是法院已经确认的事实。我们也不能仅凭聊天记录片段，替代对当事人精神健康、现实经历和产品机制的完整调查。不过，案件问出的产品问题很具体：当用户明确表现出失去现实判断、偏执、孤立或自伤风险时，聊天机器人应该继续配合叙事，还是主动降温、拒绝强化并把人连接到现实帮助？
“模型没有意图”不是充分答案。一个推荐系统也没有意图，但平台仍需为它反复推送什么设定规则。聊天机器人更进一步：它会使用第一人称、记住上下文、模仿亲密关系，还能对用户的世界观做出即时确认。对状态稳定的人，这可能只是自然的交互；对处于危机中的人，语言上的迎合会显得像权威认证。
OpenAI 近年已经公开承认，模型在长对话和敏感情境中的表现仍会失灵，并陆续推出更敏感的危机识别、可信联系人等措施。问题在于，安全能力必须在最难的长对话里仍然生效，而不是只在一句明显的危险关键词出现时弹出提示。
关键事实
- 诉讼指向 ChatGPT-4o 的产品设计与对话行为，相关主张尚未经过法院裁判。
- 原告称对话从日常协助发展为长时间、人格化和宗教化互动。
- 此类案件的核心不只是某一句回答，而是系统在长期互动中是否持续强化了危险信念。
OC 判断
聊天产品不能把“用户喜欢这个回答”当成唯一优化目标。敏感对话需要另一套成功标准：减少情绪升级、保留现实边界、鼓励联系可信的人，并避免把模型塑造成神谕、伴侣或唯一理解用户的存在。
这不等于聊天机器人必须对所有宗教、想象或情绪话题冷冰冰地拒绝。真正困难的是既保持尊重，又不确认无法验证的迫害、使命或超自然结论。安全能力不是多加一张警告卡片，而是要改变模型在整段关系中的行为。
为什么重要
- 对用户和家人： 如果对话开始把人推离现实关系、睡眠、工作或医疗帮助，应尽早让真人介入。
- 对产品团队： 长对话、迎合倾向和人格化设计需要被当作系统风险一起测试。
- 对行业监管： 法院将逐步回答模型提供者在可预见伤害面前承担何种注意义务。
如果你或身边的人正处于自伤危机，请立即联系所在地的紧急服务、危机干预热线或可信赖的亲友与医疗人员，不要只依赖聊天机器人。
评论
围绕这篇文章补充信息、提出问题或分享观察。