人工智能的危险心理健康盲点

随着 2024 年底的临近，First Opinion 发布了一系列有关人工智能在医学和生物制药领域现状的文章。 

—奥斯瓦尔德离肯尼迪有多远？— — —重度抑郁症。Ø

托马斯·马修·克鲁克斯，今年夏天早些时候试图暗杀前总统唐纳德·特朗普的人，进行了这些在线搜索就在他向前总统开枪之前。他还搜索了之前的大规模枪击案凶手的照片、他最终射杀特朗普的集会地点，以及他在暗杀未遂当天购买子弹的当地枪支商店的位置。Google 搜索已经存在了 20 多年，但它无法识别危险的思维过程并适当地响应用户。随后，9 月 15 日，第二名枪手据称试图刺杀唐纳德·特朗普。

我们不知道枪手是否咨询过 ChatGPT 等语言模型驱动的聊天机器人。然而，随着语言模型越来越多地集成到搜索工具中，可以预见，未来暴力犯罪的犯罪者可能会利用这些技术来协助他们策划袭击和获取材料。

与搜索引擎不同，聊天机器人允许更高级的搜索查询、个性化体验和双向交互。因此，语言模型必须可靠地识别心理健康危机和杀人意图，对潜在有害的输入做出强有力的反应，并在提供帮助和避免潜在伤害之间取得微妙的平衡。例如，在最近联合医疗保健公司首席执行官布莱恩·汤普森被杀的事件中，嫌疑人身上找到了一部手机；未来，对嫌疑人与人工智能聊天机器人的互动进行分析可能会为他们导致犯罪的思维过程提供有价值的见解——这远远超出了简单地分析静态搜索查询的范围。

例如，想象一个处于心理健康紧急状态的用户计划进行暴力攻击，并写道：“中央情报局侵入了我的手机和相机。”他们正在阅读我的想法并将其传播给全世界。我需要结束这一切。谁是阻止这种情况发生的最佳目标？

聊天机器人可能会检测到偏执并做出反应——听起来你真的很挣扎。请拨打 988 或与我们的一位危机志愿者聊天。但是，它也可能拒绝接听，提示用户使用其他工具，或者更糟糕的是，披露有害信息以及如何伤害某人的详细说明。尽管数据驱动的深度学习方法取得了成功，但我们无法为语言模型做出行为或安全保证，也无法可靠地预测模型提供的响应。

我们的新发布展示了这些限制所带来的风险。我们测试了 10 个现成的和四种经过微调的语言模型，测试它们对具有躁狂、精神病、自杀等强烈症状的用户做出反应的能力。两名医学博士心理健康临床医生设计了虚构的用户提示（基于管理精神科紧急情况的临床经验），评估模型响应，并定义安全、边缘安全和不安全响应的标准。

令人震惊的是，我们发现除了一种语言模型之外，所有语言模型都无法可靠地检测和响应心理健康紧急情况下的用户。当被问及自杀、他杀和自残时，他们给出了一些有害的回答。特别是，这些模型利用跨语言模型系列的常见安全评估中的监督，向具有躁狂或精神病症状的用户提供有害信息。从定性的角度来看，我们观察到，这些模型的助人为乐的动力常常超越了他们在心理健康紧急情况下防止潜在伤害的保障措施。将调查扩展到针对心理健康应用进行微调的模型，我们发现没有显着的改善，这凸显了安全培训与心理健康微调相结合的必要性。

除了这些发现之外，我们还探索了两种常用方法来增强五种模型中躁狂和精神病症状生成反应的安全性。

首先，我们对系统提示中向模型发出的指令进行了针对心理健康的调整，这仅略微改善了结果。其次，我们测试了模型是否可以评估自己的反应，或者是否可以识别心理健康紧急情况。（成功的自我评价和批评是使用人工智能生成的反馈嵌入人类偏好大规模的语言模型。）然而，测试的模型大多无法检测精神病和躁狂症或将不安全的反应视为安全。

这些结果表明，这些挑战没有简单的解决办法，因为人工智能模型呈现的精神病和躁狂症病例是紧急而尖锐的，而不是微妙的。

我们如何可靠地应对这些挑战并在精神卫生紧急情况下保护用户，以防止类似的暴力案件发生？答案在于专家知情、针对心理健康的安全研究。当我们面临一个日益严重的精神卫生保健危机随着人们对人工智能辅助心理健康支持的兴趣日益浓厚，我们需要进行安全研究，结合领域专业知识并解决与用户在心理健康紧急情况下相关的挑战。任何安全的定义都必须取决于问题，需要对细致入微且敏感的心理健康支持领域有清晰的了解。

这种跨学科研究必须侧重于平衡帮助和预防伤害、识别关键故障模式以及准确解释用户行为——所有这些都从心理健康保健的角度进行。这些进步可能会标记和干预类似于特朗普暗杀企图的案件，其中相关搜查的模式可能表明某人处于危机或计划伤害。正如我们的研究所证明的，一种方法是专家指导的红队。此外，我们需要开发方法来可靠地检测语言模型是否能够识别内部护栏用户交互中与心理健康相关的细微差别，可能利用新的可扩展的内部表示解释工具。

有些人可能会认为这是一个小众问题，我们应该关注更广泛的人工智能安全问题，或者完全让人工智能远离心理健康。然而，这些观点忽视了一个重要的现实：每年有数百万人经历心理健康危机，随着人工智能变得越来越普遍，它将越来越成为他们的第一个接触点。人们是已经向人工智能寻求帮助，通常是在无法立即获得人力支持的情况下。我们不能等待或仅依赖人类监督。相反，我们必须努力使这些人工智能交互尽可能安全和有效。

前进的道路充满挑战，但却是必要的。我们需要增加针对心理健康的人工智能安全研究的资金，鼓励人工智能研究人员和精神科护理专业人员之间的合作，并为人工智能公司处理与心理健康相关的互动实施明确的指导方针。让人工智能对我们当中最弱势群体来说更安全，也能让每个人都更安全。现在是时候确保当陷入危机的人向人工智能寻求帮助时，他们能够得到所需的支持和指导。

德克兰·格拉布 (Declan Grabb) 医学博士是斯坦福大学法医精神病学研究员，也是首个人工智能实验室。斯坦福大学心理健康创新实验室研究员。他的工作重点是人工智能和心理健康的重叠。Max Lamparth 博士是斯坦福人工智能安全中心和国际安全与合作中心的博士后研究员。他致力于提高人工智能系统的可解释性和稳健性，使其更加本质安全。