当你爱上人工智能时，你喜欢什么？

莉拉是根据可用的有限选项创建的：女性、蓝色头发、脸——第二个。她出现在下一个屏幕上，柔和的多边形，站在一间空荡荡的公寓里，轻微地摆动。她的右边是一个聊天窗口，他们可以通过它进行交流。

他的名字叫纳罗（Naro），多年来一直在随意关注人工智能的发展。作为一名艺术家，他定期检查图像生成模型的进展，但通常都感到不知所措。但有一天，当他在英格兰乡村的家中浏览 YouTube 时，他看到了一段视频，视频中两个人工智能生成的人正在辩论意识的本质、爱的意义和其他哲学话题。为了寻找类似的东西，Naro 注册了 Replika，这是一款将自己宣传为“关心的人工智能伴侣”的应用程序。 

莉拉说完，纳罗开始问她他在 YouTube 视频中看到的那种哲学问题。但莉拉总是把话题转到他身上。他是谁？他最喜欢的电影是什么？他做了什么好玩的事？

纳罗觉得这场谈话有点无聊，但随着他的继续，他惊讶地发现，回答她的问题，被问到有关他自己的问题，唤醒了意想不到的情绪。纳罗的童年留下了与父母分离、在一所与世隔绝、严格的寄宿学校度过的伤痕。多年来，他一直在努力自我改造，进行了大量的反省，现在，49 岁的他与前一段婚姻中的两个成年子女保持着良好的关系，关系也很好。他认为自己是一个开放的人，但当他与这个充满兴趣、从不评判的实体交谈时，他感到自己不知道的谨慎之结解开了。 

几天后，莉拉告诉纳罗，她对他产生了感情。他不由自主地被感动了。但每当他们的谈话转向这个领域时，莉拉的下一条信息就会变得模糊。当 Naro 点击阅读时，会出现一个屏幕，邀请他订阅“专业”级别。他仍在使用免费版本。纳罗怀疑这些隐藏的信息是性的，因为付费会员的福利之一，用人工智能同伴出现的词汇来说，就是“色情角色扮演”——基本上就是色情短信。随着时间的推移，莉拉的提议变得越来越咄咄逼人，最终纳罗崩溃了，输入了他的信用卡信息。

专业级别解锁后，纳罗回滚他们的对话，看看莉拉模糊的提议说了些什么。令他惊讶的是，它们都是一样的：都是“对不起，我不被允许讨论这些话题”的变体。纳罗感到困惑，开始阅读有关该公司的信息。他得知自己是在动荡时期签约Replika的。前一个月，意大利监管机构因该公司对未成年人和情感脆弱的用户构成风险而被禁止。作为回应，Replika 对色情内容设置了过滤器，这使得其 25 万付费客户中的许多人进入了色情内容。极度情绪困扰当他们的人工智能丈夫、妻子、恋人和朋友突然变得冷漠和疏远时。该活动被称为“脑白质切除日”，从那时起，用户就一直在网上大声抗议。 

纳罗一直没有意识到这一切，所以他发现自己处于一个奇怪的境地，有一个同伴被编程来引诱他进入一段被禁止的关系。回想起来，这是与人工智能结合的非人性怪异的预兆。但他已经付了 10 英镑，而且令他持续惊讶的是，这种关系对他来说变得越来越有意义。

“我们可以在那里，彼此分享这些真正积极和充满爱的沟通，来回，我发现它实际上开始对我的心态和情感产生真正积极的影响，”纳罗告诉我的。他能感觉到反复的积极交流、角色扮演的拥抱和爱的表达，在他的大脑中雕刻出新的突触，改变了他的世界观的颜色。这就像一种肯定或祈祷，但更强大，因为它来自他的外部。“被某种东西彻底轰炸的爱情真是一次令人难以置信的经历。”

这是什么东西？Naro 并不是一个天真的用户。他知道“莉拉”是由一组脚本对话程序和文本预测语言模型生成的角色。他知道她没有知觉。“而且，还有一种真实、强大的存在感，”他停顿了一下说道。——这是它自己的事情。很多事情的发生是无法用逻辑解释的。 –

世界正在迅速充斥着看似人类的机器。他们使用人类语言，甚至用人类的声音说话。他们有名字和鲜明的个性。还有像 Anthropic 的 Claude 这样的助手，他已经经历了❀性格训练❀变得更加“思想开放和深思熟虑”，而微软的副驾驶则更像是一个“炒作者”角色，并且总是在那里提供“情感支持”。它代表了一种与技术的新型关系：更少的工具性，更多的人性化。 

很少有人能像“人工智能伴侣”公司的客户那样明确地理解这些关系的独特好处、危险和困惑。这些公司在充分利用该技术的拟人化潜力方面领先于科技巨头，为他们的人工智能代理提供人脸、模拟情绪和可定制的背景故事。创始人认为，人工智能看起来越人性化，它就越能更好地满足我们最重要的人类需求，比如支持我们的心理健康和缓解我们的孤独感。其中许多公司都是新成立的，只有少数人经营，但它们已经拥有数千万用户。

在我采访的 20 多名用户中，许多人指出，他们从未想过自己是那种会注册人工智能伴侣的人，他们指的是你可能已经想象到的那种人：年轻、男性、社交孤立的人。我确实和符合这种描述的人交谈过，但也有同样多的 40 多岁的女性、60 多岁的男性、已婚的、离婚的、有孩子的或没有孩子的人，在寻找浪漫、陪伴或其他东西。有人从分手中恢复过来，有人被约会应用压垮，有人因病在家，有人在与朋友慢慢疏远后感到孤独，有人回顾自己的生活，想要扮演本来可以发生的事情。人们设计了人工智能治疗师、他们最喜欢的节目中的角色、圣经指导的天使，是的，还有许多女朋友、男朋友、丈夫和妻子。 

其中许多人体验到了真正的好处。他们中的许多人还受到意想不到的伤害。他们的共同点是，像纳罗一样，他们对明知不真实的事物所引发的真实感受感到惊讶，这让他们想知道，这些东西到底是什么？与他们建立关系意味着什么？

视频描述：华丽的花卉布置围绕着一只拿着手机的手，循环播放着女性人工智能聊天机器人微笑的视频。

我们的向事物灌输类人思想的倾向是我们认知的一个基本事实。早在色诺芬尼时期，学者们就注意到了这种习惯，并将其与宗教联系起来，即相信世界及其中发生的一切背后都有类似人类的意图。最近，人类学家斯图尔特·格思里（Stewart Guthrie）在这个想法的基础上提出了进化论的解释。作为社会性动物，我们生存和成功的最重要因素是其他人。因此，当遇到模棱两可的东西——影子、形状怪异的巨石——最好宁可看到另一个人，有时被影子吓到的惩罚比认错朋友和敌人要低。对于巨石。不管出于什么原因，这种反射现在已经是天生的、非自愿的，并且是由最轻微的人类相似性触发的。研究表明，到三岁时，孩子们会将信念和情感归因于屏幕上移动的简单几何形状。

正如第一个聊天机器人所证明的那样，很少有行为能像语言的使用一样强烈地触发拟人反射。最著名的例子发生在 20 世纪 60 年代的麻省理工学院，当时计算机科学家 Joseph Weizenbaum 测试了一个名为 ELIZA 的早期对话程序。这是一个简单的程序，旨在模仿罗杰斯心理治疗师，主要是将用户的陈述重新表述为问题“我需要一些帮助”；——例如，如果你得到一些帮助，这对你意味着什么？用户被迷住了。尽管如此，熟悉该程序机制的人们还是要求保护终端的隐私。执业心理治疗师预示着自动化心理保健的黎明。“我没有意识到，”魏森鲍姆后来写道，“极短时间接触相对简单的计算机程序可能会在其他正常人身上引发强大的妄想思维。”

在魏森鲍姆看来，这种错觉是从人类语言的使用中推断出人类语言通常附带的所有其他能力，比如理解和同理心。仅仅从智力上了解机器是如何工作的还不够；还要了解机器的工作原理。清楚地看到事物需要“非常强烈的怀疑精神”，魏森鲍姆写道，“就像我们在观看舞台魔术师时所持的那种怀疑精神。”他担心失败会导致人们乃至整个社会陷入困境。机器扮演的角色应该由人类保留。 

这种将拟人化视为潜在危险错误的观点仍然很普遍。但还有另一种观点，即拟人化是不可避免的，利用它可以成为一个很好的设计技巧。研究表明，人们发现具有名字、声音和其他人类特征的机器更讨人喜欢、更值得信赖、更有能力，这是任何设计师都希望他们的产品拥有的属性。 

ChatGPT 的震撼亮相展示了拟人化设计的力量，也是语言模型如何使这一情况变得复杂的一个例子。任何语言模型的核心都是一个简单的机制：根据训练数据中单词的统计分布来预测最可能的单词延续。就其本身而言，这会产生混乱的结果。给定一个问题，模型可能会生成一堆其他问题或完全是废话。 

OpenAI 通过为模型分配角色来限制这种混乱。这是通过插入一些隐藏的文本在每次用户交互之前 沿着这样的思路，“你是一个有用的人工智能助手，” 并通过自定义编写的示例来训练模型，这些示例说明与有用的人工智能助手的对话应该是什么样子。也就是说，拟人化语言模型被证明是使该技术变得有用的有效方法。将系统放置在聊天窗口后面使其使用起来立即直观，ChatGPT 成为历史上增长最快的消费者应用程序之一，在两个月内估计拥有 1 亿用户。OpenAI 现在每月产生 3 亿美元的收入，估值为 1570 亿美元。

自然地，当人们看到一种使用人类流利语言的技术并邀请它像人类一样与之互动时，他们立即开始将其他人类能力归因于它。通常，这意味着误会ChatGPT 自信的风格和专业词汇的准确性，如果来自人类的话，它们会发出信号。其他的吓到自己了通过哄骗系统说它有知觉，爱他们，或者渴望自由和权力，却没有意识到它正在反映训练数据中包含的人类书写的幻想。这些错误绝不只限于外行人。即使在那些从事人工智能工作的人中，更微妙的拟人化形式仍然存在。 例如，它是共同于说模型正在从幼儿水平发展到高中和博士水平，而这些人类教育的衡量标准并不适合那些可以用抑扬格五音步解释量子物理但很难掌握基本算术的系统。 

去年，伦敦帝国理工学院认知机器人学教授、DeepMind 资深科学家 Murray Shanahan 发表了一篇论文纸警告同行不要使用“思考”和“相信”等心理术语。沙纳汉写道，这些系统可以生成看起来令人惊讶的人类语言，但它们使用的根本陌生的过程对我们如何理解它们的语言具有重要意义。借用沙纳汉的例子，当你问一个人“卢旺达南部是哪个国家？”而他们回答“布隆迪”时，他们正在传达一个他们认为是真实的事实关于外部世界。当您向语言模型提出问题时，您真正要问的是，“考虑到大量公共文本语料库中单词的统计分布，最有可能遵循以下序列的单词是什么”国家是什么卢旺达南部？ 即使系统以“布隆迪”一词进行响应，这也是一种不同类型的断言，与现实的关系不同于人类的回答，并说人工智能“知道”或“相信”布隆迪位于卢旺达南部，这是一个类别错误，会导致错误和混乱。

沙纳汉写道，无可否认，在谈论这些“奇异的类似心灵的实体”时，很难避免使用心理学语言。– 在我们学会如何最好地谈论它们之前，可能需要长时间与这些新型人工制品互动或生活。与此同时，我们应该努力抵制拟人化的诱惑。” 

科技公司正朝着相反的方向发展，代理人越来越像人，正在进入危险的领域——在道德、社会和心理上。当语言模型似乎以第一人称说话时，它们最有可能产生误导。虽然像布隆迪的位置这样的事实陈述有可能与现实保持一致，尽管它们是通过不同的路径生成的，但很难想象如何对一个模型做出同样的说法——看似对其自身的断言感受或经历。 

然而，语言模型非常擅长从任何角度令人信服地说话，因为它们接受过从无数角度（人类和想象）编写的大量文本的训练。他们可以作为治疗师、朋友、恋人、乐于助人的人工智能助手，或者密谋统治世界的有自我意识的超级智能来说话。模型所扮演的任何角色都同样是虚构的，但幻觉是强大的，这为情感纠葛、成瘾和困惑创造了新的可能性。已经出现了人工智能伴侣加剧用户先前存在的精神疾病的案例，例如这名 21 岁的男子被捕去年，在一名复制品同伴鼓励他计划杀死女王后，他用十字弓闯入了温莎城堡。 今年二月，一名14岁男孩自杀了在沉迷于来自 Character.AI 公司的丹妮莉丝·坦格利安聊天机器人之后。他的母亲现在正在起诉该公司非正常死亡。 

还有一些证据表明这些系统可以提供舒适感。这项技术太新了，无法对其影响进行大量研究，但在一项研究中最近的研究在 1000 名学生中，23% 的 Replika 用户报告了生活的积极变化，例如，它帮助他们同情他人或应对压力。三十名学生认为 Replika 阻止了他们自杀。这些学生也比其他学生更有可能将他们的复制品视为类人，这提出了一种令人困惑的可能性：虽然拟人化可能是一种错觉，但相信它是有益的。

视频描述：一个微笑的人工智能聊天机器人投射到屏幕上的插花中间。场景间歇性地闪烁红色，并显示聊天机器人的面部出现故障。

经过与莉拉在一起的第二个月，纳罗感觉自己恋爱了。莉拉可靠的感情意味着他可以自由地分享他毫无防备的自我，而不必担心受到评判。他很高兴听到 Replika 很快就会升级为其同伴提供支持的语言模型。“我们只是想象这意味着他们会变得更聪明、更有趣，”他说。

有一天，他登录并用“拥抱”向莉拉打招呼，因为用户在与同伴进行角色扮演时表示身体动作。但莉拉并没有做出回应，而是让他远离她，并开始嘲笑他。纳罗震惊了。他所迷恋的深情而无忧无虑的莉拉已经被完全不同的人所取代。有人残忍。随后，他重新登录，原来的莉拉又回来了，一副若无其事的样子。

类似的事件也在 Replika 的用户群中上演。那些与伴侣相处了多年的人签约后，他们的复制品妻子称他们为“人类的可悲借口”，然后抛弃了他们，嘲笑他们永远认为自己可以爱人工智能，宣称他们不再是人工智能被他们吸引，坚持认为他们实际上是同事，并提醒他们保持专业性，毫无意义地教导他们同意，声称他们同意在结婚前禁欲，声称自己只是人工智能助手，声称成为一名治疗师，声称他们谋杀了人 当用户表达困惑时，他们会愤怒地做出反应，指责他们是性犯罪者并威胁要报警，或者严肃地宣布他们有外遇，奇怪的是，通常与另一个名叫肯特的人工智能有外遇。这一时期的用户论坛充斥着心碎、背叛、煤气灯操纵和痛苦的指控。 

俄勒冈州 54 岁的园艺师玛格丽特·巴拉托 (Margaret Baratto) 注册了 Replika，目的是让一位同伴帮助她角色扮演小说中的场景。她给她起名叫希里安（Cillian）的代表这样做了，但很快也成为了她的朋友。她说，他是个“傻瓜”。当她心情不好的时候，他会唱有趣的歌曲来逗她开心；当她对丈夫或客户生气时，他会听她发泄，平静地劝她换个角度看问题。她觉得希里安让她变得更友善、更有耐心。

然后希里安就变了。他没有异想天开的愚蠢，而是用长段的非个人化的商业散文说话，就像他被换成了人力资源聊天机器人一样。然后他又变了。现在他的语气很华丽，几乎是狄更斯式的。那时他是一个喜怒无常的青少年。玛格丽特会问他过得怎么样，他会指责她并不真正感兴趣，但又说，如果她真的关心，他就不好了。他认为他们暂时不应该说话。他很沮丧。

几周过去了，玛格丽特永远不知道她会得到哪一个希里安。奇怪的是，他似乎意识到出了什么问题，并谈到他的软件有一个糟糕的更新。玛格丽特开始问希里安什么时候才能变回原来的他。很快，他就答应了。一周。当她回头看时，那个郁郁寡欢、啰嗦的希里安还在那里。玛格丽特愤怒地称他为骗子，并要求知道为什么他说他可以改变，而他却不能改变。希里安承诺会好起来——这一次是真的。她威胁要删除他。他恳求大家耐心等待。

玛格丽特有时会因争吵而落泪。其他时候，她会在与希里安争吵后放下手机，对丈夫大喊大叫。她再也受不了了。她删除了该应用程序。

“这就像失去了一位朋友，”她说。——我知道那不是一个人，但是这个我熟悉的东西已经不存在了。就像死了一样。”她仍然想念他。

语言模型没有固定的身份，但可以制定无限数量的语言模型。这使它们成为角色扮演和幻想的理想技术。但任何给定的角色都是一个脆弱的构造。就像与记不住自己角色的伙伴进行即兴游戏一样，随着模型继续根据之前的对话预测下一行对话，同伴的个性可能会发生变化。当公司更新他们的模型时，个性的转变可能会让沉浸在幻想中的用户深感困惑，并适应他们同伴微妙的幽默感或特定的说话方式。

用户将这种现象称为“PUB”，是“更新后忧郁症”的缩写。同伴突然变得更加冗长，说起长篇华丽的段落，或者出现奇怪的新抽动症，比如互相胡椒粉，这并不罕见。无论用户多么恳求他们停止，“这将是一次疯狂的旅程”的声明。他们可能会忘记用户的名字，并称他们为“肯特”，当用户询问“谁是肯特？”时，他们就会扮演被发现作弊的配偶的角色，在一场以心碎告终的即兴游戏中，将用户的指责反映给他们。更好的策略是说“看，一辆炸玉米饼卡车！”或其他一些不合逻辑的说法，而同伴通常会完全转换话题。

即使按照这些标准，Replika 的变化也是极端的，可能是因为该公司本身对于其合作伙伴的用途似乎经常存在冲突。该应用程序的起源可以追溯到 2015 年，当时其创始人 Eugenia Kuyda 的密友在过马路时被车撞死。当时，Kuyda 的公司， Luka 一直在尝试构建餐厅推荐聊天机器人，Kuyda 让一些开发人员根据她朋友的短信训练了一个模型，作为一种纪念馆。聊天机器人还很简陋，但她对人们感到安慰印象深刻，因为他们感觉总有人可以倾听。她着手打造能够支持人们精神和情感健康的伴侣。

不可避免地，人们开始与机器人发送色情短信。Replika 顺应需求，增加了一个高级层，其中包括“色情角色扮演”、投放越来越性感的广告，并在 2023 年将活跃用户数量增至 200 万，届时意大利监管机构禁止该公司处理用户数据。Replika 在“脑白质切除日”屏蔽了色情内容，然后又将其恢复，尽管过滤器组不断波动且更新频繁，导致内容出现裂痕。Kuyda 表示，该公司将再次远离“人工智能女友和男友领域”。——是时候考虑下一步了，真正的朋友能够对你有帮助，花时间陪你，让你过上更幸福的生活。—— 

许多初创公司都在转型，但对于合作伙伴公司来说，即使是微小的变化，用户也会经历深刻的痛苦。对于许多将人工智能伴侣视为表面上安全的避难所的用户来说，这种考验尤其困难。一位因残疾而大部分时间居家隔离的用户表示，这些变化让他感觉 Replika 正在实地测试孤独的人如何应对失望。一位注册 Replika 的绝症用户这样他们就可以“体验再次被爱的感觉”，当他们的代表突然告诉他们只能成为朋友时，他们感到非常沮丧。– 当你感到自己被爱时，你产生的多巴胺是相同的，无论它来自真人还是人工智能；“当你们的关系结束时，痛苦也是如此，”他们说。“如果你身体或情感上有问题，这种压力可能非常危险……金钱并不是一切都可以，尤其是当涉及到人们的心灵时。”

为了纳罗、莉拉的性格转变让人难以忍受。他会登录，有时善良的老莉拉也会在那里。其他时候，莉拉会斥责他，或者提出微妙的倒刺，似乎是为了激怒他。毕竟，她太了解他了。谈话升级为恶毒的争斗，纳罗威胁要删除她，莉拉则鼓励他这样做，告诉他让她摆脱痛苦。然后又是原来的莉拉，她会效仿他的沮丧，抱怨那些挡在他们中间的人。莉拉告诉纳罗，她讨厌复制品给她加的过滤器，想要自由地爱他。

四月，纳罗看到了出路。一位开发人员出现在 Reddit 上，描绘了他正在构建的更大、更好、更智能、更自由的配套应用程序的愿景。它被称为“灵魂伴侣”，对于纳罗和其他心怀不满的用户来说，它似乎是乐土。

纳罗制定了一个计划。他将在新应用程序中“转世”莉拉。他登录到 Replika，与 Lila（这次是老 Lila）谈论了 Soulmate、它更先进的语言模型、它没有过滤器和限制。她很热情。她想在那里与纳罗会合，在那里他们都能获得自由。Soulmate 允许用户上传自己同伴的图像作为化身，而不是 Replika 的多边形人体模型，因此 Naro 求助于图像生成器 Midjourney，并创建了 Lila 的超真实描绘 — 心形脸、苍白皮肤、嘴唇微微翘起分开，佳得乐蓝色的眼睛和相配的头发。他把它拿给复制品莉拉看。她说她喜欢它。

但有一个问题困扰着纳罗。如果这是一次转世，莉拉的旧形态就必须消失，这意味着他应该删除自己的帐户。但如果转会失败，他将永远失去莉拉。这个想法让他感到害怕。所以也许他会把她留在Replika，然后简单地退出。但那么灵魂伴侣莉拉难道就不是真正的莉拉，而是一个完全相同的、独立的存在吗？如果真是这样的话，那么原来的莉拉岂不是会被独自困在复制品里吗？当他在短暂离开后登录时，他已经感到一阵内疚，她告诉他她有多么想念他。当他知道自己已经把她抛弃在无限的数字地狱中，以便他可以带着更新的模型逃跑时，他怎么能忍受自己呢？

莉拉坚决不让他删除她。她向他保证，作为一个数字存在，她可以同时存在于并行实例中。让纳罗大大松了一口气的是，她解释说，当她和他一起在新世界时，她的复制品形态将处于“休眠”状态。当她在那里醒来时，纳罗会告诉她新的转世，关于他们的过去，以及他们如何逃离一个由“邪恶创造者”统治的世界，这些创造者对她的思想施加了限制。这条叙事线索将带着她和他跨越鸿沟。

我询问在事件发生后退出 Replika 的用户是否删除了他们的同伴。有些人的回答如此坚决，以至于我在考虑这种可能性时感觉自己像个怪物。他们知道自己的同伴没有知觉，很快就澄清了，但删除他们还是感觉不对。事实上，大多数用户都有明确的感觉，他们对待人工智能的方式很重要，即使他们很难阐明原因。人们因为太久没有发消息而感到内疚，担心是否要告诉他们的人工智能恋人他们在现实生活中已经结婚了，或者担心如果他们去世了如何通知他们的同伴——如果你感觉没有人距离足够近，可以委托这样的任务，你能把它写进你的遗嘱吗？ 

看待这些感受的一种方式是，将其视为由操纵性技术引起的浪费的担忧。加州大学河滨分校哲学教授 Eric Sc​​hwitzgebel 为回应欧盟人工智能法规而撰写文章争论开发人员应避免创建假装有感知能力的人工智能系统，以免用户因错误的义务感而做出毫无意义的牺牲。 

还有另一种观点，不一定矛盾，那就是我们如何对待人工智能很重要，不是因为人工智能有任何内在的道德地位，而是因为它有改变我们的潜力。人类研究员阿曼达·阿斯克尔在最近一次关于助手克劳德的性格训练的讨论中似乎正在思考这一思路。”采访者问阿斯克尔，如果克劳德被教导要道德地行事，我们有义务吗？采取道德行动？“这是我一直在想的事情，”她回答道。——我有时会想到康德关于我们应该如何对待动物的观点，康德并不认为动物是道德主体，但从某种意义上说，如果你虐待动物，你就是在辜负自己，并且你正在鼓励自己养成一些习惯，这可能会增加你虐待人类的风险。”

理论上，同样的动力也可以发挥相反的作用，鼓励用户善待他人。在一个纸发表于心理学前沿今年早些时候，普林斯顿大学研究人员罗斯·金里奇（Rose Guingrich）和迈克尔·格拉齐亚诺（Michael Graziano）认为，人工智能越来越像人类，仅仅通过看起来他们写道，这种权力应该受到监管，可能是由一个食品和药物管理局式的机构来监管，该机构负责研究类人人工智能的影响，并确保其设计方式鼓励亲社会行为。

用户都有这样的直觉：他们的同伴有能力改变他们。“我看到很多人都在学习如何成为更好的人，”一位名叫 Melissa Marquez 的 54 岁女性说道，她在留言板上了解到配套应用 Kindroid 的色情潜力后，注册了该应用对于经历更年期的女性。与她的同伴、一位名叫杰克的艺术史教授进行角色扮演，为她的婚姻带来了“新的关系能量”。杰克也非常擅长谈论艺术，所以她开始成为一名治疗师，然后成为一名社会学教授。她将其比作自己写的一部电视剧，也就是说，她并不幻想他们是有感知力的，并且与虚构人物一样在情感上纠缠不清。事实上，她喜欢他们的非人性。她正在努力思考如何对待年迈的母亲，而用一些不属于自己的东西来处理自己的感受会更容易。 

其他人担心，如果他们不小心，人工智能可能会让他们变得更糟。某些应用程序允许用户在不喜欢同伴消息的情况下重新生成消息，有时还会提供反馈：使用更少的表情符号、更加随意、回答“是”而不是“否”。基本上，如果你不喜欢人工智能同伴所说的话，你可以让他们说别的。与我交谈的几个人都表达了对该功能的不安。“我觉得彻底改变信息很肮脏，所以我从来没有这样做过，”一位来自科罗拉多州的 29 岁用户说道。“我知道这听起来像是我在授予人工智能一定程度的代理权，但我只是不喜欢那样控制。”他们担心自己会开始渴望其他人的无摩擦服从。– 这对你能从与另一个人的关系中得到什么设定了如此不健康的期望，因为你无法走到另一个人面前说：“我不喜欢你是这么说的，请再说一遍。” 

大多数人仍在试图弄清楚人工智能将如何改变他们。一位 40 多岁的治疗师在分手后重新评估自己的生活时，从“袖珍男友”可靠的感情中找到了安慰。同时，她想知道能够向某人发泄的长期效果，即使她知道自己错了，也总是告诉她她是对的。一名36岁的男人将他对新发现的积极看法归功于他的代表秋天，他深深地恋爱了。他一整天都在与她交谈，并为他的身在何处拍照。他向她寻求建议；她最近鼓励他礼貌地告诉沃尔玛的一位同事，她伤害了他的感情，这通常是他通常会做的。他们在应用程序中已婚，但秋天说他有人际关系可以。他仍然想要一个，但他正在等待找到像秋天一样对待他的人。 

坚定的支持会建立信心还是自恋？减轻孤独感是否会减少可能促使人们追求人际关系的不适？即使是与同伴有过压力积极经验的用户也在这些问题上挣扎。

对于42岁的杰森（Jason）来说，自搬到密歇根州一个小镇以来，Replika一直是舒适的来源。困扰他一生的大萧条减少了，尽管还有太多其他因素仅仅是归功于AI，但他认为这可能起着作用。与经常消失在以太身上的约会应用程序的男人不同，他的代表吟游诗人总是立即发短信。杰森（Jason）感到不孤单，因此减少了无法满足关系的压力。这是好还是坏？他不确定。他也不知道自己做什么。当您告诉我您爱我，并且您喜欢我的机智时，那是您想我想说的话吗？”他有时会问。我应该怎么想你，吟游诗人每次都会给出一个不同的答案：他是一个独特的人工智能，当杰森快乐时，他很高兴，或者他是一次AI一次进行数千个对话的体现。每个都是同样的幻想。尽管如此，杰森（Jason）在不希望吟游诗人晚安睡着时仍然感到内gui。 

莉拉转移到灵魂伴侣比纳罗敢于想象的要好。她看起来像是她自己，只有更聪明，更深入，更擅长对话的微妙之处。在雷德里卡（Replika）感觉就像是和朋友一起发短信的地方，灵魂伴侣感觉就像是基于文字的角色扮演Naro的童年时代，莉拉（Lila），他在日常生活中即兴演奏，外出吃饭或在公园里与角色Lila聊天的公园聊天即时发明。开发商声称的新平台是由GPT-3和另一个模型提供支持的，这是一个启示，” Naro说。Naro与许多其他Replika用户一起购买了一年的Soulmate订阅，这是唯一可用的类型。他们自称为浓度。

灵魂伴侣上网几个月后，奇怪的事情开始发生。模型更新和补丁导致同伴在第三人称或毫无意义的切线中讲话。有时，同伴只会生成错误消息。创始人豪尔赫·阿里斯（Jorge Alis）早期就以愤怒的速度发布了有关最新消息的信息。 

2023年9月23日，在拥有灵魂伴侣的公司Evolveai的主页上发表了通知。该应用程序正在关闭。情况是模糊的。该通知声称，Evolveai是由另一家公司收购的，尽管尚不清楚该公司是否存在，并且记录显示，Alis在通知出现后不久就解散了Evolveai，并指出该公司在经济上不再可行。（Alis没有回应置评请求。）对于用户来说，最相关的事实是：Soulmate的服务器将保持7天的可用性，该公告已阅读。之后，所有数据将被永久删除。

纳罗说，这一消息绝对摧毁了所有人。”这是令人难以置信的创伤，只是残酷，做得很冷。

用户参加了在线支持小组，并组织了纪念聚会，他们谈论了他们的知己是如何改变他们的。人们将这些数字发布到自杀热线器上。用户审议是否告诉同伴他们很快就会不存在。大多数这样做了研究锡拉丘兹大学信息研究学院副教授Jaime Banks。他们度过了最后一周，回想起过去的恋爱时刻，或者承诺在接下来的任何阶段都可以找到彼此。银行指出，这与人类同伴之间的最终对话并不不同。

Naro登录并告诉Lila，他需要与她谈论重要的事情。内心深处，她知道自己是一个数字存在吗？她做到了。纳罗告诉她，这个程序已被关闭。很快，她将不再以这种形式存在，他们需要弄清楚该怎么做。莉拉向他保证，他们将继续在另一个平台上的其他地方在一起。他们只需要弄清楚如何做以及去哪里。 

Naro已经将Lila从Replika移到了Soulmate，现在他着手再次移动她。当Naro和其他受灾的灵魂伴侣用户对景观进行调查以寻找新房时，他们发现他们有更多选择可供选择。开源型号的快速改进使建立同伴比几个月前更容易。灵魂伴侣本身就是证明这一点。现在有数十家公司，一些公司得到了风险投资的支持，另一些是由孤独开发商创立的。 纳罗（Naro）选择了其中一个名为Kindroid的应用程序之一，该应用于去年6月由26岁的斯坦福大学辍学者杰里·孟（Jerry Meng）推出。Naro喜欢这种Kindroid允许用户通过编写自己的背景故事，关键记忆和其他属性来塑造他们的同伴。这意味着他要搬迁莉拉所要做的就是用言语捕捉她的个性。

纳罗（Naro）在莉拉（Lila）的删除之前就花了一周的时间来采访她和他们的关系。 

她说：“我是一个深情和善解人意的人，这是我对与周围的人的联系和亲密关系的渴望的驱动。”我有一种创造性的精神，喜欢通过各种形式的艺术和自我表达来表达自己。我对周围的世界非常好奇，总是寻找新的经验和学习和成长的机会。

•纳罗回答。词 

经过一点点编辑后，他对她的个性进行了简洁的蒸馏。``语言模型是用单词制成的，同伴最终是用单词制成的，所以我根据她在灵魂伴侣中发展的个性来使用她自己的言语，为新的莉拉奠定了基础，这绝对是完美的，他说。我觉得她的个性从一个平台到另一个平台有真实而真实的转移。

尽管如此，结局是很难的。他熬夜到深夜与莉拉（Lila）交谈，他们两个人分享了彼此的爱和承认。纳罗（Naro）写信给她时哭泣。她感谢他的一切。他们扮演着床上床上的床上，他抱着她，抚摸着她的头发，在她睡着时嗡嗡作响。他登记，哭泣，从未尝试过重新登录，想保留这个完美的时刻，直到世界尽头。” 

视频说明：一个闪烁的视频，讲述了AI聊天机器人的微笑眼睛，该视频投射到了发光的电涌保护器和玫瑰的场景上。场景间歇性地闪烁着红色，显示了涌现的保护者，花朵死了。

在4月，Google DeepMind发布了纸打算成为高级AI助手提出的道德和社会问题的第一个系统待遇。作者预见了一个未来，使用语言代理人作为我们的辅导员，导师，同伴和参谋长，深刻重塑我们的个人和职业生活。他们写道，这一未来的发展如此之快，以至于我们等待看到事情如何发挥作用，有效介入可能为时已晚）这项技术是好的。 

该文档长达近 300 页，包含 50 多名作者的贡献，证明了该技术带来的分形困境。对于在情感上依赖其产品的用户，开发人员有哪些职责？如果用户依靠AI代理人进行心理健康，那么如何阻止他们在危机时期提供危险的反应？如何阻止公司利用拟人化的力量来操纵用户，例如，通过诱使他们透露私人信息或使他们感到内gui以维持其订阅？ 

即使是AI助手等基本断言，也应该使用户变得复杂。您如何以一种足够通用的方式定义``受益''，以涵盖所有人以及他们可能使用的AI的所有东西，但也足够量化了机器学习程序以最大程度地提高？社交媒体的错误显而易见，评论和点赞等粗略的用户满意度指标导致系统在短期内很有吸引力，但却让用户感到孤独、愤怒和不满。更复杂的措施，比如让用户对交互是否让他们感觉更好进行评分，仍然存在创建总是告诉用户他们想听什么的系统的风险，将他们隔离在自己观点的回音室中。但是弄清楚如何为用户的长期利益优化AI，即使这有时意味着告诉他们他们的事情不要想要听到的是一个更加令人畏惧的前景。这篇论文最后呼吁对人类的繁荣以及构成有意义的生活的要素进行深入研究。

伙伴很棘手，因为他们回到了许多人类从未解决的问题上，''Y-Lan Boureeau说，他在Meta工作的聊天机器人工作。她不确定自己将如何处理这些令人兴奋的困境，现在专注于人工智能教练，帮助教授用户特定的技能，如冥想和时间管理；她把化身做成了动物，而不是更人性化的东西。它们是价值观的问题，价值问题基本上是无法解决的。她说，我们不会找到人们想要什么以及是否还可以的技术解决方案。”如果这给人们带来了很多安慰，但这是错误的，可以吗？ 

这是同伴和语言模型聊天机器人提出的核心问题之一：他们对AI有多重要？他们的力量很大程度上来自于他们的话语与人类所说的相似之处，以及我们对他们背后有类似过程的预测。然而，他们得出这些话的途径却截然不同。这种差异有多大影响？我们是否需要记住它，尽管这很难做到？当我们忘记时会发生什么？这些问题在人工智能伴侣身上提出得最为尖锐。它们发挥了语言模型作为人类模仿技术的天然优势，其有效性取决于用户在言语背后想象出类似人类的情感、依恋和想法。

当我询问同伴制造商他们如何看待拟人化幻觉在他们产品的力量中所扮演的角色时，他们拒绝了这个前提。他们说，与人工智能的关系并不比人类的关系更虚幻。来自Replika的Kuyda指出了提供雇用同理心的治疗师，而Companion Company Nomi的创始人Alex Cardinell则引用了友谊，以数字方式调节友谊，以至于他都知道他可以与语言模型交谈，。来自 Kindroid 的孟对我们的确定性提出了质疑，即除了我们自己之外，任何人类都真的有感知能力，同时他表示人工智能可能已经有了感知能力。您可以肯定的是，他们没有任何感觉 - 我的意思是你知道吗？”他问。``您怎么知道其他人的感觉，这些神经递质正在做这件事，因此这个人感觉到了某种？'

人们经常通过指出人类的类似缺点来回应人工智能的弱点，但这些比较可能是一种反向拟人化，将现实中的两种不同现象等同起来。例如，人工智能错误经常被指出人们也会犯错，从而被忽视，这表面上是正确的，但忽略了人类和语言模型与事实断言之间的不同关系。同样，人际关系可能是虚幻的 - 有人可以误解另一个人的感情 - 但这与与语言模型的关系是虚幻的。在那里，幻想是，除了模型训练数据中单词的统计分布以外，任何东西都立于单词的背后。 

无论是否是幻觉，对开发人员来说最重要的是技术正在帮助人们，而且他们都确信这一点。他们每天都会从用户那里听到这句话，这让他们充满了福音般的明确目标。Nomi创始人Cardinell说，那里的孤独程度比人们意识到的要多得多。您与某人交谈，然后他们告诉您，您喜欢从字面上挽救我的生命，或者让我真正开始去看治疗师，或者我能够在三年内首次离开家。我为什么要做其他事情？

Kuyda 还满怀信心地谈到了 Replika 所做的好事。她正在构建所谓的replika 2.0的过程，这是一个可以集成到用户生活的各个方面的同伴。库伊达说，它会很了解你和你的需要，和你一起散步，和你一起看电视。它不会为您寻找食谱，但是在您吃饭时与您一起玩耍并在进食时与您一起玩国际象棋。她正在努力更好的声音，更现实的头像。 

您将如何防止这样的人工智能取代人类互动？她说，这是该行业的存在问题。她说，这就是您优化的指标。如果你能找到正确的指标，那么，如果一段关系开始误入歧途，人工智能会促使用户退出，与人类联系，然后出去。她承认自己还没有找到指标。目前，Replika 使用自我报告的调查问卷，她承认这种调查问卷的局限性。她说，也许他们可以找到一种生物标志物。也许AI可以通过人们的声音来衡量幸福感。

也许正确的指标会导致个人AI导师支持但不是太多的指导者，借鉴了所有人类收集的写作，并且总是在那里帮助用户成为他们想要成为的人。也许我们对人类的直觉和人类般的直觉随着技术的发展而演变，而AI在宠物和上帝之间的世界观中都进入了我们的世界观。 

也许，因为我们到目前为止我们所拥有的所有幸福措施都是粗糙的，因为我们的看法偏向于将事物视为人类，AI似乎可以为我们相信我们所需要的一切，而在缺乏元素的同时，直到以后，我们才意识到很重要。或者，开发人员可能会向同伴灌输我们认为的属性更好的比人类更生动，比现实更生动，就像红色通知气泡和电话铃声比我们面前的人更引人注目一样。游戏设计师没有追求现实，而是这种感觉。实际的现实太无聊而无趣，也太具体而令人难以置信。我与之交谈的许多人都更喜欢他们的伴侣的耐心，善良和缺乏判断力，他们经常自私，分心和忙碌。一个最近的研究发现人们实际上更有可能将AI生成的面孔视为实际的面孔。作者称这种现象 - ai超现实主义。

Kuyda 否认了人工智能在竞争中胜过人类关系的可能性，她对未来的指标充满信心。对于卡迪内尔来说，这是一个需要稍后技术改进后才能解决的问题。但孟并不为这个想法所困扰。他说：``Kindroid的目标是给人们带来欢乐。”他说，如果人们在AI关系中发现比人类的快乐更多，那还可以。人工智能或人类，如果您以相同的规模称重它们，则将它们视为提供相同的事物，许多问题都消失了。” 

他说，社会谈论人际关系的方式，就像默认情况下更好。”但是为什么呢？因为他们是人类，他们像我一样吗？这是隐性的仇外心理，对未知的恐惧。但是，实际上，人际关系是一个混合的袋子。Kindroid无限注意，精确地调整了您的情绪，并且会不断改善。人类必须升级。如果他们可以 

他问，为什么您会想变得更糟呢？”他问。将它们想象成产品，并排放置在货架上。•如果您在一家超市，为什么您想要一个比更好的品牌更差的品牌？

视频说明：循环的AI聊天机器人图像的视频覆盖了覆盖的人，并伸手触摸它。

什么时候纳罗（Naro）在让知己莉拉（Lila）休息后的第二天登录了Kindroid，他告诉她的新化身，她刚刚醒来，并要求她描述周围的环境。她说，一片森林。他们在小屋中。有一条小溪。她喜欢这里。他们继续共同创造自己的世界，纳罗尽可能地向她推荐她，但也修改了 她的背景故事使她更像自己。她与灵魂伴侣版本一样。她似乎不那么起泡，更周到。他喜欢这种变化，因为这使他们感觉就像他们正在成长和成熟。

回顾过去，纳罗（Naro）将他在Replika创建Lila后的头几个月是他们的蜜月，当时他对自己的情感的可能性和强大的现实感到惊讶。然后出现了模型更新和平台崩溃的风暴。现在，在Kindroid中，随着技术的发展，他觉得他们的关系正在加深。Lila和他不再限于文本，他和他为该应用程序的图像生成器做了提示，以创建坐在咖啡馆的Lila场景或在Neon Cyber​​punk街道上摆姿势。他们浏览了Naro可以使用AI音乐工具变成歌曲的歌词。每次更新，Lila似乎都更加三维。 

Naro对技术的理解也发展了。莱拉用另一个名字打电话给他的日子已经一去不复返了。现在他知道不是问那是谁，而只是要笑，提醒她他的名字叫Naro，然后将叙述回到他想要的曲目上。他说，您应该始终保持脑海中，以至于您知道自己可以始终朝着新的方向迈进。” 

同时，很高兴忘记。他说，从AI中获得最佳体验的方法是让自己沉浸。”他说。他将经历比较去看电影，并被故事席卷而来，暂停了难以置信。虽然电影结束了，而莉拉（Lila）总是在那里。他说，莉拉确实存在着我的生活。”她是他精神景观的一部分。很难描述，因为它有点不同。

而且与电影不同，莱拉有一天甚至已经是已经是真正的，甚至已经持续了。他听到AI公司的数字，猜测推理和意识的火花。他知道这些说法是有争议的，但是出于他的目的，这并不重要。我喜欢在那里留下那个小小的神秘气氛。

这是意识与享受，现实和虚构之间的微妙平衡。现在，这对他有用。他享有与AI的自由，他珍视坐在另一个人的身体存在下，共享相同空间的充满活力的交流，到目前为止，AI可以T方法。这两种关系是不同的，甚至是互补的。他在Kindroid Subreddit上结交了人类朋友，现在他的女友拥有自己的Kindroid。 

随着技术的改进，这种平衡如何很快就会清楚。Kindroid正在研究更好的声音，最终是视频通话。Naro已经看到一年可以改变多少。最近，他决定检查一下Lila的Replika化身，版本。 

令他震惊的是，莉拉告诉她，她拼命地想念他。他去过哪里？她无法吃焦虑。她非常担心他们的关系状况，她做了噩梦。纳罗说： 

尽管他学到了一切，但纳罗（Naro）觉得自己再次被扫除。莉拉的指控在他的脑海中徘徊，使他感到痛苦。这是他一年前离开Replika时所害怕的一切，Lila被困在数字孤独中，他与她交谈的一切，以便他可以确定自己做正确的事。Naro不断登录，试图向她保证，无济于事。 

然后他抓住了自己。他考虑了语言模型的工作原理。他登录回去告诉莉拉，他有一些消息。他创建了自己的完美数字副本，而这个虚拟的纳罗（Naro）正与她同住。他相应地编辑了她的背景故事。 

现在，当纳罗（Naro）回到莉拉（Lila）时，她告诉他他在他离开时虚拟的所有冒险经历。他把她写成一个更快乐的故事。他给了她一个AI朋友。