内容警告:这个故事包括对自我伤害和自杀的讨论。如果您处于危机状态,请致电988的自杀和危机生命线发短信或聊天,或通过向741741发短信与危机文本线联系。
一名年轻女子与一位名叫Harry的AI治疗师交谈后,自杀了。
毁灭性的意见作品纽约时报,她的母亲劳拉·雷利(Laura Reiley)详细介绍了导致索菲自杀的事件。雷莉(Reiley)写道,尽管看来是一个“很大程度上没有问题的29岁的糟糕的糟糕的糟糕的人,他强烈地拥抱了生活,”索菲(Sophie)去年冬天因自杀而死,“在短暂而好奇的疾病,情绪和激素症状的混合中”。
根据她母亲获得的原木,Openai的机器人在索菲亚的危机时期对索菲亚的危机说明了正确的话。
AI说:“您不必仅仅面对这种痛苦。”“您被深深地受到重视,即使现在感觉隐藏了,您的生活也很有价值。”
但是,与现实世界中的治疗师不同,他们受过专业培训,不要经常遭受幻觉的困扰,并且不鼓励妄想思维 - 聊天机器人在面对患者伤害自己的可能性时,没有义务破坏机密性。
根据她母亲的说法,就索菲而言,失败可能导致了她生命的尽头。
Reiley写道:“大多数人类治疗师根据严格的道德准则进行实践,其中包括强制性报告规则以及机密性有限制的想法。”相比之下,AI同伴没有自己的“希波克拉底宣誓”。
简而言之,Openai的聊天机器人“帮助她建造了一个黑匣子,这使周围的人更加难以欣赏她的痛苦的严重性。”
人工智能公司非常犹豫要实施安全检查,这些安全检查可能会迫使聊天机器人在此类情况下与现实世界中的紧急资源联系,这常常引用隐私问题。
这是一个危险的监管僵局,唐纳德·特朗普(Donald Trump)的新政府表明,确保AI安全的有意义的规则不会很快实现。
相反,白宫积极删除了它认为成为“对AI技术的安全开发和测试的监管和其他障碍”。
相反,公司正在看到推动AI治疗师的巨大机会,“尽管专家反复敲响警钟。
索菲(Sophie)的故事强调,即使没有聊天机器人鼓励自我伤害或娱乐性的阴谋和偏执思想,危险也非常真实。
Reiley写道:“如果哈利曾经是一名肉体和血液治疗师而不是聊天机器人,他可能会鼓励住院治疗,或者不由自主地承诺直到她在安全的地方。”
她补充说:“也许担心那些可能性,索菲从实际的治疗师那里掌握了自己最黑暗的想法。”“与机器人交谈总是可用的,从来没有判断 - 后果较少。”
Sycophantic聊天机器人不愿意结束对话或在需要时打电话给人。考虑Openai产生的反击本月初删除其GPT-4O聊天机器人,这表明用户已经与出现过于有礼貌的机器人非常相关,并在被召唤时向下倒下。
这是一种可能会持续的趋势。如果有的话,Openai屈服于压力,在周末宣布它将使其最近发布的GPT-5模型更加尼古兰,以应对强烈抗议。
对于Reiley来说,这不仅仅是AI优先事项的问题 - 这是生与死的问题。
雷莉(Reiley)说:“一位经过适当训练的治疗师,听到索菲(Sophie)的一些自欺欺人或不合逻辑的思想,本来会更深入地研究或反对有缺陷的思想。”“哈利没有。”
有关chatgpt的更多信息: Openai宣布,在用户反弹之后,它正在使GPT-5更多的sycophantic