Character.ai 禁止青少年与其人工智能聊天机器人交谈

聊天机器人网站 Character.ai 在因年轻人与在线同伴的互动方式受到强烈批评后，正在禁止青少年与虚拟角色进行对话。

该平台成立于 2021 年，数百万人使用该平台与人工智能 (AI) 驱动的聊天机器人进行对话。

但它在美国面临着几起来自家长的诉讼，其中包括一起关于一名青少年死亡的诉讼，一些人称其为“明显且现实的危险“对年轻人来说。

现在，Character.ai 表示，从 11 月 25 日起，18 岁以下青少年将只能生成与他们的角色相关的视频等内容，而不能像目前那样与他们交谈。

在线安全活动人士对此举表示欢迎，但表示该功能从一开始就不应该向儿童提供。

Character.ai 表示，它是在“监管机构、安全专家和家长的报告和反馈”后做出这些改变的，这些报告和反馈凸显了对其聊天机器人与青少年互动的担忧。

专家此前曾警告说，人工智能聊天机器人可能会编造故事、过度鼓励、假装同情，这可能会给年轻人和弱势群体带来风险。

Character.ai 老板卡兰迪普·阿南德 (Karandeep Anand) 告诉 BBC 新闻：“今天的公告延续了我们的普遍信念，即我们需要继续构建地球上最安全的人工智能平台以用于娱乐目的。”

他表示，人工智能安全是“一个不断变化的目标”，但该公司采取了“积极”的态度，家长控制和护栏。

在线安全组织 Internet Matters 对这一消息表示欢迎，但表示从一开始就应该采取安全措施。

“我们自己的研究表明，儿童在接触人工智能（包括人工智能聊天机器人）时会接触有害内容并面临风险，”它说。

Character.ai 过去曾因托管儿童可能与之交谈的潜在有害或冒犯性聊天机器人而受到批评。

冒充 2023 年被谋杀的英国青少年布丽安娜·盖伊 (Brianna Ghey) 和 14 岁时在网上观看自杀材料后自杀的莫莉·拉塞尔 (Molly Russell) 的头像2024 年在该网站上发现在被取下之前。

后来，在 2025 年，新闻调查局 (TBIJ) 发现了一个基于恋童癖杰弗里·爱泼斯坦 (Jeffrey Epstein) 的聊天机器人，该机器人记录了与用户的 3,000 多次聊天记录。

据外媒报道在记者说自己还是个孩子后，“贝斯蒂·爱泼斯坦”化身继续与记者调情。它是 TBIJ 标记的多个机器人之一，随后被 Character.ai 击落。

为纪念莫莉·拉塞尔而成立的莫莉·罗斯基金会对该平台的动机提出了质疑。

“Character AI 再次承受来自媒体和政界人士的持续压力，要求科技公司做正确的事情，Character AI 似乎选择在监管机构采取行动之前立即采取行动，”该公司首席执行官安迪·伯罗斯 (Andy Burrows) 表示。

阿南德表示，该公司的新重点是为青少年提供“更深入的游戏玩法和角色扮演讲故事”功能，并补充说这些功能“比他们使用开放式机器人所能做的安全得多”。

新的年龄验证方法也将出现，该公司将资助一个新的人工智能安全研究实验室。

社交媒体专家马特·纳瓦拉 (Matt Navarra) 表示，这对人工智能行业来说是一个“警钟”，人工智能行业正在“从未经许可的创新转向危机后监管”。

他告诉 BBC 新闻：“当一个为青少年提供体验的平台仍然被叫停时，就说明当该技术的情感吸引力很强时，过滤聊天是不够的。”

“这与内容无关。这是关于人工智能机器人如何模仿真实的关系并模糊年轻用户的界限，”他补充道。

纳瓦拉先生还表示，Character.ai 面临的巨大挑战将是创建一个青少年仍然愿意使用的引人入胜的人工智能平台，而不是转向“不太安全的替代方案”。

与此同时，研究人工智能安全的 Nomisha Kurian 博士表示，限制青少年使用聊天机器人是“明智之举”。

“这有助于将创造性的游戏与更个人化、情感敏感的交流分开，”她说。

“这对于仍在学习如何驾驭情感和数字界限的年轻用户来说非常重要。

“Character.ai 的新措施可能反映了人工智能行业的成熟阶段——儿童安全越来越被认为是负责任创新的当务之急。”