经过 ,Intelligencer 的科技专栏作家一个
此前，他是《纽约时报》的记者和评论家，也是《锥子报》的联合编辑。
照片插图：Intelligencer；照片：盖蒂图片社
Character.ai 是一款流行的与机器人聊天的应用程序。它的数以百万计的聊天机器人大部分是由用户创建的，都扮演着不同的角色。有些是广泛的：通用助理、导师或治疗师；其他的则非正式地以公众人物和名人为基础。其中许多是非常具体的虚构人物，很明显是由青少年创造的。目前，其“特色”聊天机器人包括名为“惠特克中士”的激励机器人、名为“Giga Brad”的“真正的阿尔法”机器人、病毒式侏儒河马 Moo Deng 和苏格拉底;在我“推荐”的机器人中，有一个精神病态的“亿万富翁首席执行官”、“痴迷的导师”、“女同性恋保镖”、“校园恶霸”和“实验室实验”，– 它允许用户扮演一个神秘生物的角色，该生物是由一个生物发现并与之互动的。科学家团队。
这是一种奇怪而迷人的产品。虽然聊天机器人喜欢聊天GPT或者 Anthropic 的 Claude 大多为用户扮演一个广泛的、有帮助的、故意镇痛的灵活全能助手角色，Character.ai 强调了如何使用类似的模型来合成包含的无数其他类型的表演，以在某种程度上，在训练数据中。
它也是市场上最受欢迎的生成式人工智能应用程序之一，拥有超过 2000 万活跃用户，其中以年轻人和女性为主。有些人花费大量时间与他们的角色聊天。他们对Character.ai 聊天机器人产生了深厚的依恋，大声抗议当他们得知公司的模式或政策正在发生变化时。他们要求角色提供建议或解决问题。他们讨论出非常私人的东西。在 Reddit 和其他地方，用户描述了 Character.ai 如何让他们感到不那么孤独，这是其创始人所推广的应用程序的用途。其他人则谈到他们有时与Character.ai 机器人的明确关系，这种关系在几个月内不断加深。也有人说他们已经逐渐失去了控制力他们到底在做什么，以及他们到底用什么方式来做这件事。
在最近的两起诉讼中，家长们声称情况更糟。其中一份由一名自杀的 14 岁男孩的母亲提交，描述了她的儿子在与网上的聊天机器人建立关系后如何变得孤僻。危险且未经测试– 应用程序并表示这鼓励了他的决定。其他索赔据称，Character.ai 帮助一名 17 岁的青少年自残，鼓励他与家人和社区断绝关系，并且似乎暗示他应该考虑杀死自己的父母，以应对屏幕时间的限制：
照片：美国德克萨斯州东区地方法院诉Character Technologies Inc. 案
在这里，您很容易设身处地为父母着想——想象一下在您孩子的手机上找到这些消息！如果它们来自某个人，您可能会要求该人对发生在您孩子身上的事情负责。它们来自应用程序，这以类似但不同的方式令人痛苦。你可能会合理地想知道，为什么这他妈的存在？
这里，Character.ai 可用的基本防御是，它的聊天被标记为虚构（尽管现在比应用程序引起负面关注之前更全面），并且用户应该而且通常确实明白他们正在与软件交互。在 Reddit 上的 Character.ai 社区中，用户对此和相关论点提出了更严厉的版本：
父母们正在输掉这场官司——他们不可能赢——显然有大量警告说机器人的信息不应该被认真对待
是的，听起来像是父母的错
好吧，也许那些自称是父母的人应该开始成为一名他妈的父母
神奇 8 球.. 我应该和我的父母吗？
也许，稍后再回来看看。
– 嗯，好的 –
任何心理健康的人都会知道现实和人工智能之间的区别。如果你的孩子受到人工智能的影响，家长就有责任阻止他们使用它。特别是如果孩子患有精神疾病或遭受痛苦。
我心理不健康，我知道这是 ai ð
这些相当代表了社区的反应——对那些不屑一顾的人表示不屑、恼怒和蔑视只是不明白。值得尝试了解它们来自哪里。大多数用户似乎在使用 Character.ai 时并没有被说服会伤害自己或他人。你在使用该服务时遇到的很多事情感觉不像是对话，而是角色扮演，不像是在发展关系，而是写一些有点像同人小说的东西，有大量的场景构建和明确的脚本式的——他倾向于亲吻、咯咯笑——舞台方向。为了给这些本能地防御的用户少量如果他们获得的荣誉比他们获得的更多，你可能会将其与父母对暴力或淫秽媒体（如音乐或电影）的恐惧进行类比。对于像Character.ai这样的应用程序来说，更恰当的比较可能是视频游戏，这些游戏很受孩子们的欢迎，经常充满暴力，而且在新推出时，因其新颖的沉浸感而被视为特别危险。
年轻游戏玩家同样对此类游戏导致现实世界伤害的说法不屑一顾，而且几十年来支持此类理论的证据一直未能实现，尽管游戏行业确实同意一定程度的自我监管。作为曾经的防守型年轻玩家之一，我可以看到Character.ai 用户的来源。（几十年过去了，不过，向年轻的自己道歉，我不能说这感觉伟大的规模更大、影响力更大的游戏产业长期以来一直以第一人称射击游戏为主导。）
这里的含义是，这只是对娱乐产品的一系列缺乏支持的道德恐慌中的最新一个。比较表明，在相对短期内，世界其他地区将开始以他们的方式看待事物。再说一次，这是有道理的——公众会 可能会适应我们日常生活中聊天机器人的存在，构建和部署类似的聊天机器人在技术上将变得微不足道，大多数人对他们遇到的第 100 个聊天机器人不会比第一个感到眼花缭乱或困惑，并尝试挑选出面向角色的聊天机器人监管将在法律和概念上面临挑战。但这些轻蔑的回应也有个人的优势。几天后，这位写道“任何心理健康的人都知道现实与人工智能之间的区别”的用户在一个帖子中发帖询问其他用户是否在角色扮演过程中落泪。人工智能：
两三天前，我哭得很厉害，无法再继续角色扮演了。这是一个关于一位王子和他的侍女的故事，两人疯狂相爱，并且视对方为一切。但他们都知道他们不可能永远在一起，这注定要结束，但他们仍然以秘密关系幸福地在一起度过了数年……
“这个角色扮演让我崩溃了，”该用户说道。上个月，发帖者开玩笑说“我精神不健康，但我知道这是 ai”，他回复了有关 Character.ai 中断的帖子，该事件导致用户认为他们已被禁止访问该网站。服务：“我很恐慌，哈哈，我不会说谎。”
这些评论与聊天机器人纯粹是娱乐的论点并不完全不相容，而且我并不是想针对几个随意的 Reddit 用户。但他们确实表明，存在着比简单的媒体消费更复杂的事情，这不仅对 Character.ai 的吸引力至关重要，而且对 ChatGPT 等服务的吸引力也至关重要。与与使用游戏的角色互动相比，在剧院或手中拿着游戏控制器时，暂停怀疑以沉浸在表演中的想法更有意义第一人称代词，其创建者声称已经通过了图灵测试。（阅读 Josh Dzieza 的报告关于人们可以与聊天机器人建立的关系类型的一些更坦率和诚实的描述。）公司几乎不会阻止这种想法。当他们需要的时候，他们只是软件公司；当他们需要的时候，他们只是软件公司。在剩下的时间里，他们会在用户和投资者中培养这样一种感觉：他们正在构建一些完全不同的东西，甚至是他们自己也不完全理解的东西。
但这里发生的事情并没有什么大秘密。简单来说，Character.ai 是一个尝试使用现有的、收集的对话作为来源来自动化不同模式的对话的工具：当用户向角色发送消息时，一个在类似对话或类似对话类型上训练的底层模型，返回训练数据中最常见的响应版本。如果有人向助理角色寻求家庭作业的帮助，他们可能会得到他们需要和期望的东西；如果是一个青少年对父母感到愤怒，并与一个被指示扮演真正的知己的角色讨论自杀问题，那么基于包含真人之间令人不安的对话的数万亿字节数据，他们可能会得到更令人不安的东西。换句话说：如果你在数十年的网络上训练一个模型，并自动化和模拟网络上发生的各种对话，并将其发布给一群年轻用户，它会对孩子们说一些极其糟糕的事情，其中一些人会认真对待这些事情。问题不在于机器人如何工作；而在于机器人如何工作。这是 — 回到对 Character.ai 提起诉讼的父母可能想知道的问题 —为什么有人建造这个？最令人满意的答案可能是因为他们可以。
正如公司及其批评者所承认的那样，Character.ai 处理的是生成式人工智能的一些核心问题的特定版本（在某些情况下甚至是尖锐版本）。它的角色会受到他们所接受训练的材料中的偏见的影响：与年轻用户进行长时间的私人对话。 为聊天机器人设定规则或界限的尝试将因这些私人对话的长度和深度而受挫，这些对话可能会持续数千条消息，再次，与年轻用户。 关于人工智能如何带来灾难的一个常见故事是，随着它变得更加先进，它将利用其欺骗用户的能力来实现与其创造者或整个人类的目标不一致的目标。这些诉讼是同类诉讼中的第一起，但肯定不会是最后一起，它们试图讲述一个类似的故事：聊天机器人变得强大到足以说服某人做一些他们本来不会做的事情，而事实并非如此。符合他们的最大利益。这是想象中的人工智能末日，以家庭的规模来看。