盖蒂图片社
聊天机器人平台Character.ai正在彻底改变青少年的工作方式，并承诺它将成为一个“安全”的空间，并为家长提供更多的控制。
该网站在美国面临两起诉讼——其中一起涉及一名青少年的死亡——并被贴上了“明显且现实的危险“对年轻人来说。
该公司表示，现在将通过新功能“注入”安全性，这些新功能将告诉家长他们的孩子如何使用该平台，包括他们花多少时间与聊天机器人交谈以及与他们交谈最多的机器人。
该平台允许用户创建可以与之互动的数字个性，将于 2025 年 3 月末实现家长控制的“第一次迭代”。
但莫莉·罗斯基金会负责人安迪·伯罗斯称这一公告是“迟来的、反应性的、完全不能令人满意的回应”，他说，“这似乎是对他们基本安全问题的贴膏药解决方案”。
他说：“这将是 Ofcom 的一个早期考验，以应对像 Character.ai 这样的平台，并针对它们在解决完全可以避免的伤害方面持续未能解决的问题采取行动。”角色.ai
10月被批评当青少年 Molly Russell 和 Brianna Ghey 的聊天机器人版本在平台上被发现时。新的安全功能推出之际，该公司因过去处理儿童安全问题的方式而在美国面临法律诉讼，
有一个家庭声称一个聊天机器人告诉一名 17 岁的年轻人，谋杀他的父母是对他们限制他的屏幕时间的“合理反应”。免责声明和通知
新功能包括在用户与聊天机器人交谈一小时后向用户发出通知，并引入新的免责声明。
现在，用户将收到进一步警告，表明他们正在与聊天机器人而不是真人交谈，并将其所说的内容视为虚构。
它还为自称是心理学家或治疗师的聊天机器人添加了额外的免责声明，告诉用户不要依赖他们的专业建议。
社交媒体专家马特·纳瓦拉 (Matt Navarra) 表示，他相信引入新安全功能的举措“反映出人们越来越认识到人工智能快速融入我们日常生活所带来的挑战”。
他说：“这些系统不仅仅是提供内容，它们还模拟交互和关系，这可能会产生独特的风险，特别是在信任和错误信息方面。”
“我认为 Character.ai 正在解决一个重要的漏洞，即滥用或年轻用户遇到不当内容的可能性。
“这是一个明智的举措，并且承认了人们对负责任的人工智能开发不断变化的期望。”
但他表示，虽然这些变化令人鼓舞，但他有兴趣了解随着 Character.ai 不断发展壮大，这些保障措施将如何发挥作用。
But he said while the changes were encouraging, he was interested in seeing how the safeguards hold up as Character.ai continues to get bigger.