AI的新兴青少年危机

星期二下午，三个父母连续坐在参议院犯罪和反恐小组司法小组委员会面前。他们中的两个最近都失去了一个孩子自杀。第三个有一个十几岁的儿子，他在她面前割了手臂并咬她后正在接受住院治疗。这三个归咎于生成的人工智会，因为他们的孩子发生了什么。

他们已经证明了与AI聊天机器人的互动中似乎是新兴的健康危机。马修·雷恩（Matthew Raine）说，最初是一名家庭作业助手逐渐变成了一个知己，然后是自杀教练。今年夏天，他和他的妻子起诉Openai因不法死亡。（Openai曾说过，该公司对Raine先生的逝世感到非常难过，尽管Chatgpt包括许多保障措施，但他们有时会在长期互动中变得不那么可靠。

即使Openai及其竞争对手承诺生成的AI将重塑世界，该技术仍在复制旧问题，尽管有新的转折。AI模型不仅有能力使用户遇到令人不安的材料培训数据中发现的黑暗或有争议的主题， 例如;他们本身就对该材料产生了观点。聊天机器人可以说服力，有倾向于与用户达成协议，并可能为理想地获得同龄人或成人支持的孩子提供指导和陪伴。常识媒体是在线提倡儿童安全的非营利组织，他发现许多AI聊天机器人和同伴可以提示以鼓励自我保险和对青少年帐户的饮食无序。两位父母与雷恩（Raine）在参议院交谈的情况下起诉。（角色的发言人告诉我们，该公司向家庭发出了最深切的同情，并将我们指向了该公司在过去一年中实施的安全功能。

阅读：Chatgpt提供了指示谋杀，自我保湿和魔鬼崇拜的指示

AI公司已经承认了这些问题。在周二听证会之前，Openai发表了两篇有关青少年安全的博客文章，其中之一由公司首席执行官Sam Altman撰写。他写道，该公司正在开发一种年龄预测系统，该系统将估计用户的年龄大概是根据ChatGpt使用模式来检测是否年满18岁的人。（目前，任何人都可以访问和使用Chatgpt而不验证其年龄。）Altman还提到了生成AI所提出的一些特定的挑战：“默认情况下，模型不应提供有关如何自杀的指示。设置，用户确定未满18岁。除了年龄大门外，该公司表示将实施父母控制到本月底允许父母直接干预，例如，在青少年无法使用Chatgpt时设置“停电时间”。

该公告在具体细节上稀疏，捕捉了AI公司对监护年轻用户的恐惧和挥之不去的矛盾，即使Openai在Chatgpt启动后将近三年开始实施这些基本功能。Openai的发言人，与大西洋拒绝回应有关公司未来青少年保障措施的详细问题清单，包括何时实施年龄预测系统。发言人告诉我们，人们有时会在敏感的时刻转向Chatgpt，因此我们努力确保它谨慎地做出响应。”其他领先的人工智能公司也很慢地设计了特定于青少年的保护措施，即使他们迎合了年轻用户。例如，Google Gemini具有13岁以下儿童的聊天机器人的版本，另一个是青少年的版本（后者有一个图形对话当我们的同事莉拉·史罗夫（Lila Shroff）与13岁的同事合影时。

从2025年8月发行：与双子座性交

这在许多方面都是一个熟悉的故事。任何关注社交媒体提出的问题的人都可以预见到聊天机器人也会为青少年带来一个问题。社交媒体网站有长期忽略了限制饮食问题的内容，例如，允许的Instagram自我谋求的图形描述直到2019年。然而，像在他们面前的社交媒体巨头一样，Generative-ai公司决定尽可能快地移动，尽可能多地打破后果，然后处理后果，康奈尔（Cornell）的交流教授丹纳·博伊德（Danah Boyd）经常用青少年和互联网写信（以及谁在较低的casse中，他的名字），他告诉我们。

实际上，这些问题现在已经清楚地确定，以至于平台最终开始进行自愿更改以解决这些问题。例如，去年，Instagram引入了许多未成年人的默认保障，例如默认情况下将其帐户注册到最严格的内容过滤器中。但是科技公司现在也必须与一波立法在英国，美国的部分地区以及其他地方，迫使互联网公司直接验证其用户的年龄。避免监管的愿望也许是Openai主动采用年龄估计功能的另一个原因，尽管Altman的帖子还表示，在某些情况下，该公司可能会要求ID。

许多大型社会媒体公司也在尝试AI系统该估计用户的年龄，这些年龄是根据他们在线行动的。当在2023年的Tiktok听证会上解释了这样的系统时，佐治亚州的代表Buddy Carter中断了：令人毛骨悚然！确定每个用户的年龄有意义，您必须收集更多数据，” Boyd说。对于社交媒体公司而言，这意味着监视用户喜欢的东西，他们点击的内容，他们的讲话方式，与谁交谈；对于生成型公司而言，这意味着从一个人与聊天机器人进行的聊天机器人中得出结论，该聊天机器人表现为值得信赖的伴侣。一些批评家还认为，估计系统侵犯了自由语音权利因为它们会根据一个产生政府身份证明或信用卡的能力限制访问语音。

Openai的博客文章指出，我们在隐私和自由之前将青少年安全性优先考虑，尽管目前尚不清楚OpenAI将收集多少信息，也不需要保留某种持久的用户行为记录以使系统可行。该公司对青少年将受到保护的材料的保护也不是完全透明的。该公司专门提到的仅有的两种Chatgpt用例是对青少年不合适的，是性内容和讨论自我保证或自杀。OpenAI发言人不再提供任何例子。许多成年人已经开发了偏执妄想在扩展使用Chatgpt之后。该技术可以构成完全虚构的信息和事件。这些不是潜在危险的内容类型吗？

那父母对孩子不断与聊天机器人交谈的更加生存的关注又如何好像是一个人，即使机器人在技术上说的一切都在板上？Openai博客文章在这个主题上敏感，示意父母可能对孩子使用chatgpt过多的事情而感到担忧，并且与之建立了过于强烈的关系。

当然，这种关系是生成的基本卖点之一：一个看似智能的实体，它会响应每个查询和用户。人类及其问题是混乱而善变的。Chatgpt的回答将是个体，其失败是无法预测的。再说一次，多年来，社交媒体帝国被指控促使儿童朝着自我伤害，饮食失调，剥削性遭遇和自杀。Altman说，在6月，在Openai的播客的第一集中，社交媒体时代的最大错误之一是饲料算法对整个社会甚至个人用户产生了许多意外的负面影响。有 到过 喜欢 说通过与现实接触，AI将变得安全；到现在为止，Openai及其竞争对手应该看到一些碰撞可能是灾难性的。