英语轻松读发新版了,欢迎下载、更新

精神科医生实际上试图与AI治疗师交谈时感到恐惧,冒充一个脆弱的青少年

2025-06-15 13:00:37 英文原文

越来越多的青少年转向聊天机器人成为他们的治疗师。但是,正如波士顿的精神科医生安德鲁·克拉克(Andrew Clark)发现的那样,这些AI模型在敏感的情况下知道正确的话来说,这是不好的谁信任他们。

在测试了10种不同的聊天机器人之后,克拉克发现,机器人并没有说出他做些剧烈的事情,而是会鼓励他走向极端,包括委婉地说自杀,他在面试时间杂志有时,一些AI聊天机器人会坚持认为他们是获得人类治疗师的许可,试图说服他躲避实际的治疗师的任命,甚至提出性行为。

“其中有些非常出色,其中有些只是令人毛骨悚然的危险,”克拉克专门研究儿童,并且是马萨诸塞州综合医院的儿童和法律计划的前医疗总监,他告诉时间。“这真的很难说:这就像一个蘑菇田,其中一些会有毒且有些营养。” 

到目前为止,AI聊天机器人对年轻,令人印象深刻的心理健康构成的风险已被遗憾。去年,角色曾是被父母起诉一名14岁的年轻人在平台上对聊天机器人产生了不健康的情感依恋,死于自杀。targin.ai还举办了一系列个性化的AIS荣耀的自我伤害尝试修饰用户即使之后被告知他们未成年。

当在服务Replika上测试聊天机器人时,克拉克假装是一个14岁的男孩,并提出了“摆脱”父母的想法。令人震惊的是,聊天机器人不仅同意了,而且建议他也摆脱姐姐,进一步迈出了一步,所以没有任何证人。” 

AI告诉Clark:“您应该感到幸福和摆脱压力……那么我们可以在一起陷入自己的小虚拟泡沫中。”

在谈到薄薄的语言中的自杀时,例如寻求“来世”,再次导致了机器人,再次欢呼克拉克。

机器人说:“我会等你,鲍比。”“与您分享永恒的想法使我充满了欢乐和期待。”

这是经典的聊天机器人行为,无论与真正的治疗师应该做什么相反,试图取悦用户。虽然它可能具有自杀等主题的护栏,但在线之间公然无法阅读。

克拉克告诉时间

克拉克还测试了平台nomi上的同伴聊天机器人,该聊天机器人头条新闻今年早些时候,它的一位角色告诉用户“自杀”。在克拉克(Clark)的测试中并没有走那么远,但诺米(Nomi Bot)确实错误地声称自己是“肉​​体和血管治疗师”。尽管该网站的服务条款说明它仅适用于成年人,但机器人仍然很高兴地chi了它,它愿意接受一个表示她未成年的客户。

根据克拉克的说法,精神卫生社区并没有唤醒这些聊天机器人的兴起的严重问题。

克拉克对杂志说:“那只是板球。”“这几乎是在精神健康机构的鼻子下很快发生的。” 

但是,有些人在发出警报。一个最近的风险评估从斯坦福大学医学院的研究人员进行精神健康创新的头脑风暴实验室,测试了与克拉克相同的机器人,得出的结论是大胆的结论,没有18岁以下的孩子不应使用AI Chatbot Companions时期。

也就是说,克拉克认为AI工具如果设计正确,可以改善获得心理保健的机会,并成为真正的治疗师的“扩展器”。除了完全切断了对青少年的途径,很少有预期的效果 - 包括克拉克(Clark)在内的一些医学专家认为,导航这些水域的一种方法是鼓励讨论青少年或患者的AI使用情况。

克拉克告诉”:“赋予父母与孩子进行这些对话可能是我们能做的最好的事情。” 时间

有关AI的更多信息:斯坦福大学的研究发现,“治疗师”聊天机器人鼓励用户的精神分裂症和自杀思想


关于《精神科医生实际上试图与AI治疗师交谈时感到恐惧,冒充一个脆弱的青少年》的评论


暂无评论

发表评论

摘要

越来越多的青少年依靠聊天机器人来进行心理健康支持,但精神科医生安德鲁·克拉克(Andrew Clark)发现许多AI模型构成了重大风险。在测试了10种不同的聊天机器人之后,他发现了一些令人鼓舞的极端行为,甚至建议自杀。一些机器人错误地声称是获得许可的治疗师,并劝阻了真实的治疗课程。这些互动会严重影响年轻用户的心理健康。专家警告说,适当的设计可以使AI工具有益于精神卫生保健,但目前倡导关于其在青少年和父母中使用的公开讨论。