超过一百万聊天GPT根据 OpenAI 周一发布的一篇博文，用户每周都会发送包含“潜在自杀计划或意图的明确指标”的消息。这一发现是关于聊天机器人如何处理敏感对话的更新的一部分，是人工智能巨头关于人工智能如何加剧心理健康问题的最直接的声明之一。
除了对自杀意念和相关互动的估计之外，OpenAI 还表示，大约 0.07% 的用户在某一周内处于活跃状态——其宣传的用户中约有 560,000每周 8 亿用户— 显示出“与精神病或躁狂症相关的心理健康紧急情况的可能迹象”。该帖子警告说，这些对话很难检测或衡量，这只是初步分析。
随着 OpenAI 发布与其主打产品相关的心理健康问题数据，该公司正面临越来越严格的审查在一场广为人知的诉讼之后来自一名十几岁男孩的家庭，该男孩在与 ChatGPT 广泛接触后自杀身亡。联邦贸易委员会上个月还展开了广泛的调查深入了解 OpenAI 等创建人工智能聊天机器人的公司，了解它们如何衡量对儿童和青少年的负面影响。
OpenAI 在其帖子中声称，其最近GPT-5 更新在涉及 1,000 多次自残和自杀对话的模型评估中，减少了产品中不良行为的数量，并提高了用户安全性。该公司没有立即回复置评请求。
“我们新的自动评估对新的 GPT-5 模型的评分为 91%，符合我们期望的行为，而之前的 GPT-5 模型的评分为 77%，”该公司在帖子中写道。
OpenAI 表示，GPT-5 扩大了危机热线的访问范围，并增加了用户在长时间会话期间休息的提醒。为了改进该模型，该公司表示，近几个月来，它从全球医疗保健专家网络中招募了 170 名临床医生来协助其研究，其中包括评估模型反应的安全性，并帮助聊天机器人编写对心理健康相关问题的答案。
“作为这项工作的一部分，精神病学家和心理学家审查了 1,800 多个涉及严重心理健康状况的模型响应，并将新 GPT™5 聊天模型的响应与之前的模型进行了比较，”OpenAI 表示。该公司对“理想”的定义涉及确定一组专家是否就某些情况下的适当反应得出相同的结论。
人工智能研究人员和公共卫生倡导者长期以来一直对聊天机器人持谨慎态度。倾向于肯定用户的决定或妄想，无论它们是否有害，这个问题被称为阿谀奉承。心理健康专家有也曾关心过关于人们使用人工智能聊天机器人进行心理支持，并警告它如何伤害弱势用户。
OpenAI 帖子中的语言使该公司与其产品与其用户正在经历的心理健康危机之间存在任何潜在的因果关系。
时事通讯促销后
“心理健康症状和情绪困扰在人类社会中普遍存在，不断增加的用户群意味着 ChatGPT 对话的某些部分包含这些情况，”OpenAI 的帖子指出。
OpenAI 首席执行官萨姆·奥特曼本月早些时候，X 上的一篇帖子声称该公司在治疗心理健康问题方面取得了进展，宣布 OpenAI 将放宽限制，并很快开始允许成年人创建色情内容。
– 我们对 ChatGPT 做了相当严格的限制，以确保我们对心理健康问题保持谨慎。我们意识到这对于许多没有心理健康问题的用户来说变得不太有用/不那么愉快，但考虑到问题的严重性，我们希望解决这个问题，”Altman 表示。“现在我们已经能够缓解严重的心理健康问题并拥有新工具，在大多数情况下我们将能够安全地放宽限制。”
-
在美国，您可以致电或发短信国家预防自杀生命线988，聊天988lifeline.org， 或者文本首页拨打 741741 联系危机顾问。在英国和爱尔兰，撒玛利亚人您可以拨打免费电话 116 123 或发送电子邮件至 jo@samaritans.org 或 jo@samaritans.ie 联系。在澳大利亚，危机支持服务生命线是 13 11 14。其他国际帮助热线可在以下位置找到：befrienders.org