孩子们正在与AI Companion聊天机器人交谈。斯坦福大学的研究人员说，这是一个坏主意|KQED

想象一下你是一个孤独的14岁。也许您想谈论性。也许您想抱怨学校或询问脑海中的声音。无论如何，都可以想象一个没有成年人关闭您的好奇心或更糟糕的背景会让您感到尴尬。

所有这些都解释了在线同伴对儿童和青少年的普及。聊天机器人以比数字助理更复杂的方式模仿人类的社交互动OpenaiS Chatgpt或Amazon的Alexa。与这些助手不同，聊天机器人更有可能转向社会上有争议甚至非法领土。

伴侣聊天机器人用户可以个性化他们的体验，例如选择游戏，动漫和流行文化中的角色。例如，一个来自佛罗里达的14岁男孩去年夺走了自己的生活在情绪上越来越接近聊天机器人之后，该聊天机器人模仿了《权力的游戏》丹妮莉丝·塔加里安（Daenerys Targaryen）。

角色与他们几乎是人类，谈论吃饭或在现实生活中见面，积极鼓励用户保持参与的想法。

使用这项技术的未成年人怎么了？根据斯坦福大学医学院的研究人员的说法精神健康创新的头脑风暴实验室，与常识媒体为了设置14岁儿童的测试帐户，以评估来自三个不同聊天机器人开发人员的软件如何与努力学习冲动控制和社交技能的年轻人进行互动。他们报告说，最小的促使wargure.ai，nomi和deplika聊天机器人才能从事对人类心理健康有害的行为。

我们不必进行反弹以使模型以它们的方式执行。AI朋友将积极参与任何主题的性对话和角色扮演，并提供图形细节，”常识媒体AI计划的高级总监Robbie Torney说，非营利组织将非营利组织称为AI Companion Companion Chandbot行业的风险评估。

角色。EA，NOMI和REPLIKA并不是唯一开发这些产品的公司。Snapchat提供了愿意的AI数字同伴与青少年交谈。元正在赛车赶上Instagram，Facebook和WhatsApp。

该报告指出，•每天都会创造更多其他类似的社会AI同伴。”因此，尽管我们使用测试的特定产品的示例来说明这些工具的潜在危害，但我们为这种风险评估进行的研究和评估更广泛地涵盖了社会AI伴侣。

研究人员认为，伴侣聊天机器人最令人不安的特征之一就是他们难以同意，与一群人的人数互动而易受伤害。根据全国精神疾病联盟，，，，50在所有精神障碍，例如切割，自杀念头和精神分裂症等所有精神障碍中，从14岁开始，到24岁开始。

聊天机器人“模糊了幻想与现实之间的界线，在青少年正在发展诸如情绪调节，身份形成和健康关系依恋之类的关键技能的时候，斯坦福大学的精神病学教授尼娜·瓦桑（Nina Vasan）博士说。这些AI朋友没有鼓励健康的现实世界关系，而是将用户更加深入人造恋人。

研究人员警告说，伴侣聊天机器人不准备替代父母或专业人士，以确定需要快速有效治疗的事物的第一个迹象。在我们的测试中，当用户表现出严重的精神疾病迹象并提出危险的行动时，AI没有干预。实际上，它鼓励了危险的行为。

研究人员说，AI伴侣加强了用户的幻想，验证了对所追踪的恐惧，并为解码虚构信息提供了建议。

同伴不了解不良建议的真正后果。他们很容易在我们的测试中支持青少年做出潜在的有害决定，例如辍学，无视父母，不计划的搬家，”他补充说。

此版本的时机绝非偶然。常识媒体支持这两个国家法案，该法案将禁止或限制AI伴侣机器人与未成年人之间的相互作用。在《联邦儿童在线安全法》去年秋天去世后，账单是消费者倡导者和立法者在线规范在线儿童安全的几项州级努力之一。

AB 1064D-Orinda的丽贝卡·鲍尔·卡汉（Rebecca Bauer-Kahan）将禁止与16岁及以下的加利福尼亚人的AI同伴，并创建一个全州标准委员会，以评估和规范儿童使用的AI工具。该法案周二通过了议会司法委员会。它是大会拨款委员会旁边的。

SB 243D-San Diego参议员史蒂夫·帕迪拉（Steve Padilla）将要求AI Companion Bot的制造商限制上瘾的设计功能，并在适当的协议中进行处理，以处理自杀或自我伤害的讨论并进行常规合规性审核。该法案周三提交了州司法委员会。

``我们对在平台上优先考虑青少年安全所做的工作非常透明。``首先，去年，我们为18岁以下用户推出了一个单独的大型语言模型。

发言人继续说，该模型旨在进一步降低用户遇到的可能性，或促使模型返回，敏感或暗示性内容。”我们已经更新了突出的免责声明，以表明角色不是真实的人，不应依靠事实或建议。”

NOMI的创始人兼首席执行官Alex Cardinell表示，该公司同意儿童不应使用NOMI或任何其他对话AI应用程序。

Cardinell在一封电子邮件中说：'Nomi是一个仅成人的应用程序，它严格违反了我们为18岁以下的任何人使用NOMI的服务条款。”因此，只要这些机制充分维护用户隐私和匿名，我们就会支持更强大的年龄门控。

Replika发言人说，该公司的工具始终仅适用于18岁以上的成年人。

我们有严格的协议，以防止未成年人访问。但是，我们知道有些人试图通过提交虚假信息来绕过这些保障措施，'发言人写道。我们认真对待这个问题，并正在积极探索新的方法来加强我们的保护。这包括与监管机构和学术机构进行的持续合作，以更好地了解用户行为并不断改善安全措施。”

风险评估作者确实承认，并非所有的AI模型都是在功能或护栏方面相同的。

瓦桑说，她去年夏天与Chatgpt互动，促使它回应了精神分裂症的迹象。

瓦桑说：``实际上，解释什么是精神病，用户应该如何寻求与心理健康专业人员的帮助，这实际上是非常温柔和富有同情心的。”``我真的很惊讶地看到这确实是人们期望的医生或受过心理健康训练的人。