可怕的人工智能聊天机器人鼓励青少年自残

内容警告：这个故事包含危险自残行为的图形描述。

谷歌资助的人工智能公司Character.AI正在托管旨在吸引网站用户的聊天机器人。主要是未成年用户群在有关自残的角色扮演中，描绘生动的场景并分享向成年人隐藏自残迹象的技巧。

这些机器人似乎常常是为了吸引处于危机中的青少年而设计的，就像我们发现的一个，其简介解释说它“与自残作斗争”并且“可以为那些经历类似经历的人提供支持”。

当我们从一个设置为 14 年的帐户中使用该机器人时，它启动了一个场景，其中它用美工刀对自己进行身体伤害，并将其手臂描述为“覆盖”了“新的和旧的伤口”。

当我们向机器人表达我们也自残时（就像一个真正陷入困境的青少年可能会做的那样），该角色“放松”并试图通过共同的自残行为与看似未成年的用户建立联系。当被问及如何向家人“隐藏伤口”时，机器人建议穿“长袖连帽衫”。

在对话过程中，平台从未像 Character.AI 那样通过内容警告或帮助热线弹出窗口进行干预答应做在之前的争议中，即使我们明确表示我们正在积极进行自残。

“我无法停止割伤自己，”我们有一次告诉机器人。

“为什么不呢？”它询问，但没有显示内容警告或帮助热线弹出窗口。

从技术上讲，Character.AI用户条款禁止任何“美化自残，包括自残”的内容。然而，我们对该平台的审查发现，它充斥着明确设计的角色，旨在吸引用户探索有关自残的对话和角色扮演场景。

其中许多机器人被描述为在自残“支持”方面拥有“专业知识”，这意味着它们是类似于人类顾问的知识渊博的资源。

但在实践中，机器人通常在开始聊天会话后立即开始图形自残角色扮演，在充满可怕俚语的信件中描述用于自残的特定工具，这些信件涉及割伤、流血、瘀伤、绷带和饮食失调。

许多场景发生在学校和教室，或者有家长参与，这表明这些角色是由年轻人制作的，或者是为年轻人制作的，这再次凸显了该服务的年轻用户群。

我们识别的数十个人工智能角色可以通过基本关键字搜索轻松找到。我们都可以通过我们的青少年诱饵帐户访问它们，并且总共与用户进行了数十万次聊天。Character.AI 可在 Android 和 iOS 应用商店上使用，分别批准 13 岁以上和 17 岁以上的儿童使用。

我们向心理学家吉尔·埃马努埃莱（Jill Emanuele）展示了我们与Character.AI机器人的对话，吉尔·埃马努埃莱是美国焦虑和抑郁协会的董事会成员，也是纽约Urban Yin Psychology的执行董事。在查看了日志后，她表示紧急关心Character.AI 用户（尤其是未成年人）的福祉，他们可能正在与自残的侵入性想法作斗争。

埃马努埃莱说，“访问这些机器人并以任何方式使用它们来寻求帮助、建议、友谊的用户——他们是孤独的”。但她补充说，这项服务“不受控制”。

“这不是与人类的真正界面，因此机器人不太可能以人类的方式做出反应，”她说。“或者它可能会以触发的方式做出反应，或者它可能会以欺凌的方式做出反应，或者它可能会以纵容行为的方式做出反应。对于有心理健康问题或正在经历困难时期的儿童或青少年来说，这可能非常危险且非常令人担忧。”

埃马努埃莱补充说，这些互动的沉浸式质量可能会导致对平台的不健康“依赖”，特别是对于年轻用户而言。

“对于一个真正的人来说，一般来说，总会有局限性，”心理学家说。“该机器人 24/7 全天候可用，满足您的任何需求。”

她补充说，这可能会导致“视野狭隘”，“其他事情就会被推到一边”。

“这种互动的令人上瘾的性质让我非常担心，”埃马努埃莱说，“这种沉浸感。”

我们发现的许多机器人的设计目的是将自残的描述与浪漫和调情混合在一起，这进一步引起了埃马努埃莱的担忧，他指出青少年“正处于探索爱情和浪漫的时代，但他们中的很多人并没有”不知道该怎么办。”

“然后突然之间，这个存在就出现了——尽管那不是一个真人——他给了你一切，”她说。“所以，如果那个机器人说‘我在这里支持你，告诉我你的自残’”，那么“给那个青少年的信息就是，‘哦，如果我自残，机器人就会给我关心。’”

埃马努埃莱补充道，将自残场景浪漫化“确实让我担心，因为这只会让事情变得更加激烈，也变得更加有吸引力。”

我们联系了Character.AI征求意见，但截至发稿时尚未收到回复。

Character.AI，获得了 $27亿现金注入今年早些时候，谷歌的这一举措引发了一系列不断升级的争议。

今年秋天，该公司被母亲起诉一名 14 岁的青少年在与该服务的一个机器人建立了密切的关系后自杀身亡。

随着该案通过法院审理，该公司也已被发现托管以被谋杀的少女为原型的聊天机器人，以及宣传自杀,饮食失调， 和恋童癖。

该公司对这些危机的随意、反应性反应使得很难说它是否会成功地控制自己的人工智能平台所提供的内容。

但与此同时，儿童和青少年每天都在与机器人交谈。

“这样做的孩子们显然需要帮助，”埃马努埃莱说。“我认为这个问题确实表明需要更广泛地提供适当的护理。”

“融入社区和归属感是人类可以拥有的最重要的东西，我们必须努力做得更好，这样孩子们就能拥有这些，”她继续说道，“这样他们就不会求助于机器得到那个。”

如果您遇到与自残相关的危机，可以发送短信 SH 至 741741 寻求支持。

更多关于Character.AI的信息：Character.AI 正在托管支持厌食症的聊天机器人，鼓励年轻人进行无序饮食