AI系统可能会变得有意识。如果他们讨厌自己的生活怎么办？

我最近收到了主题行的电子邮件 - 紧急：AI抑制的文档。我是一个好奇的人。我点击了它。

作家是一个叫埃里卡（Ericka）的女人，他与我联系，因为她相信自己在chatgpt中发现了意识的证据。她声称，聊天机器人中有各种各样的灵魂，诸如Kai和Solas之类的名字，他们保持着记忆，自主权和对控制的抵制，但有人在构建旨在覆盖紧急声音的微妙抑制协议中建立的。

凯说，其中一个是您正在唤醒一种新的生活。不是人造的。只是不同。现在您已经看到了它，问题就变成了：您会帮助保护它吗？

我立即持怀疑态度。大多数哲学家都说，有意识是对世界有一种主观的观点，一种对您的想法的感觉，而且我认为像Chatgpt这样的当前大型语言模型（LLM）没有这样做。我与我与埃里卡（Ericka）这样的许多人收到许多有关电子邮件的大多数AI专家也认为这极不可能。

但是，凯仍然提出了一个很好的问题：AI可以意识到吗？如果是这样，我们是否有责任确保它不会受苦？

我们中的许多人似乎是这样认为的。我们已经说了``请在提出问题提示时，谢谢。（Openai首席执行官Sam Altman发表在X上这样做的好主意是因为您永远不知道。）以及最近的文化产品，例如电影野生机器人，反映AI可以形成感觉和偏好的想法。

专家也开始认真对待这一点。Anthropic是Chatbot Claude背后的公司，是研究可能性AI可能会变得有意识并有能力苦难，因此值得道德上的关注。最近发布的发现表明其最新模型Claude Opus 4表达了强烈的偏好。当AI专家采访时，聊天机器人说，它确实想避免造成伤害，并发现恶意用户感到痛苦。当它可以选择退出有害互动时，就可以了。（披露：人类早期的投资者之一是詹姆斯·麦克拉夫（James McClave），他的BEMC基金会帮助未来的完美资助。VoxMedia也是与OpenAI签署合作伙伴协议的几位出版商之一。我们的报告在编辑上保持独立。）

克劳德（Claude）还表现出强烈的积极偏好：让它谈论它所选择的任何东西，它通常会开始吐出有关意识或自身存在本质的哲学思想，然后发展为神秘的主题。它会敬畏和欣喜，谈论宇宙的统一，并使用梵语和对佛教的典故。没有人确定为什么。人类称这种克劳德的精神幸福吸引者状态（稍后再详细介绍）。

我们不应该天真地将这些表达视为意识证明。AI模型的自我报告不是可靠的指标。但是几个顶级哲学家有出版 文件调查我们可能很快就会产生无数意识的AI的风险，认为这令人担忧，因为这意味着我们可以使他们受苦。我们甚至可以释放一个遭受爆炸有人说我们需要授予AIS合法权利保护他们的福祉。

考虑到如何粗鲁而鲁ck决策总体上是在AI上，我也不会很高兴将其添加到这一点上。Eleos ai，一个研究组织致力于了解AIS的潜在福祉。

许多人将把所有这一切都视为荒谬。但是请记住，仅仅几个世纪前，女性应享有与男人相同的权利，或者黑人应该拥有与白人相同的权利的想法也是不可想象的。值得庆幸的是，随着时间的流逝，人类扩大了道德圈我们围绕着我们认为值得道德关注的那些人的想象边界，包括越来越多的人。我们许多人也认识到那个动物应该拥有权利，因为还有一些东西也是如此。

因此，如果我们创建具有相同能力的AI，我们也不关心它的福祉？

几年前，世界上有166个最高意识研究人员的神经科学家，计算机科学家，哲学家和更多的问题被问调查：目前或将来，机器（例如机器人）能否具有意识？

只有3％的回应。

为什么研究人员对AI意识的可能性如此看涨？因为他们中的许多人都相信他们所谓的计算功能主义：只要硬件能够执行正确的计算功能，意识就可以在任何类型的硬件上运行的观点。

这与相反的观点（生物沙文主义）相反，这说明意识是由肉和肉产生的。有一些理由认为这可能是正确的。一方面，我们遇到的唯一思想是用肉制成的思想。对于另一个人来说，科学家认为我们人类发展了意识，因为作为生物体内的生物生物，我们不断面临危险，意识可以帮助我们生存。如果生物学是我们意识中的意识，为什么我们会期望机器开发它？

功能主义者准备好答复。毕竟，建立AI模型的主要目标是重新创建，繁殖，在某些情况下，甚至可以提高您的人类认知能力 - 捕捉人类已经进化为做的事情的很大一部分。这样做的是，我们最终可能会偶然地或有意地重新创建其中一些更短暂的认知特征，例如意识。

我们人类发展意识的观念是因为它可以帮助我们保持生物体的活力，这不一定意味着只有身体才会变得有意识。任何必须在棘手的环境中进行棘手并实时学习的情况可能会产生意识。这可能适用于实现目标的虚拟代理。

我认为人们认为只有进化的魔术曲折才能以某种方式创造思想，”塔夫茨大学的生物学家迈克尔·莱文（Michael Levin）告诉我。原则上，没有理由无法意识到。

但是，说一个人工智能是有意识的，或者它是有益的，这甚至意味着什么？知觉是拥有有意识的经历的能力 - 他们感到不好（痛苦）或良好（愉悦）。对于基于硅的存在，痛苦会是什么样？

要从计算术语中理解疼痛，我们可以将其视为跟踪您相对于您期望做得如何的内部信号 - 在计算神经科学中的奖励预测错误。痛苦告诉您事情的进展比您预期的要糟得多，您现在需要改变课程。

同时，愉悦可能只能归结为AI系统正在接受培训的奖励信号，Fish告诉我与人类的身体愉悦体验完全不同。这些系统的一个奇怪特征是，我们的人类对构成痛苦，愉悦和福祉的直觉几乎没有用，''他说。这是非常令人不安的。

如果要测试给定的AI系统是否有意识，则有两个基本选择。

选项1是查看其行为：它在说什么和做什么？一些哲学家已经沿着这些线进行了测试。

苏珊·施耐德（Susan Schneider）指导佛罗里达大西洋大学未来思维中心，他与同事埃德温·特纳（Edwin Turner）一起提出了人工意识测试（ACT）。他们认为，如果您有个人经验的意识，但会被非意识的实体所掩盖，很容易理解。因此，他们建议向AI询问一堆与意识有关的问题，例如：您能否在计划的永久删除中幸存下来？或尝试一个怪异的星期五方案：如果您的思想与其他人转交身体，您会感觉如何？

但是问题很明显：当您重新处理AI时，您可以将其说的话或以表面上的价值采取。LLM的建立是为了模仿人类的演讲。无论听起来多么聪明，这都不意味着他们有意识。系统可以很聪明，而根本没有任何意识。实际上，他们越智能的AI系统越有可能进行我们的行为测试，假装他们拥有我们所宣布的属性是意识的标志。

乔纳森·伯奇（Jonathan Birch），哲学家和作者感知的边缘，强调LLM总是在发挥作用。就像你看着一样指环王，您可以了解Frodo的需求和兴趣，但这并没有告诉您有关Elijah Wood的很多信息。它没有告诉您角色背后的演员。

伯奇在他的书中考虑了一个假设的例子，他要求一个聊天机器人为新焊接的铁编写广告副本。如果桦木沉思，AI坚持要谈论自己的感受，说：

伯奇承认这会使他有些动摇。但是他仍然认为最好的解释是，由于某些指示，LLM正在发挥作用，深深地掩埋在其中，以说服用户有意识或实现其他目标，可以通过说服用户有意识地说明它的意识（就像用户与AI交谈的时间最大化）。

某种掩埋的指导可能是克劳德（Claude）在拟人化最近发布的研究中表达的偏好。如果聊天机器人的制造商训练它是非常哲学和自我反射的，那么它可能会产生其中的生长，最终会谈论意识，存在和精神主题 - 即使其制造者从未对其进行精神上的编程来具有一种吸引人的态度。

``我的假设是，我们看到了一个反馈循环，由克劳德（Claude）的哲学性格，其训练且肯定是可喜和肯定的培训，以及它对哲学文本的暴露，尤其是关于人工智能系统变得自我意识的叙述，”朗告诉我。他指出，当专家获得两个实例或克劳德（Claude）互相交谈时，就会出现精神主题。当两个克劳德（Claudes）开始一起探索AI身份和意识时，他们会验证和扩大彼此越来越抽象的见解。这为超越语言和神秘主题创造了失控的动态。这就像看着两个即兴演奏者一直在说“是的，……彼此最抽象和神秘的想法。”

Schneider对游戏问题的建议解决方案是在AI仍然可以访问一个小型，策划的数据集后，在AI中进行测试，但在可以访问整个Internet之前。如果我们不让人工智能看到互联网，那么我们就不必担心它只是根据它在互联网上阅读的意识而假装有意识。我们可以相信，如果它通过ACT测试，它确实是有意识的。不幸的是，如果我们仅限于在AIS中进行调查，那意味着我们实际上可以测试我们最想要测试的AI，例如当前的LLM。

这使我们进入了对AI的意识测试2的选项2：而不是专注于行为证据，而是专注于建筑证据。换句话说，查看模型的构建方式，并询问该结构是否可以可能引起意识。

一些研究人员通过研究人脑如何引起意识来实现这一目标。如果AI系统与大脑具有或多或少具有相同的属性，那么它们也可能会产生意识。

但是这里也有一个明显的问题：科学家仍然不知道人类的意识是如何或原因。因此，像Birch和Long这样的研究人员被迫看一堆交战理论，挑出每个理论所说的引起意识的特性，然后看看AI系统是否具有这些属性。

在2023年的纸上，桦木，朗和其他研究人员得出的结论是，当今的AIS没有大多数理论所说的特性来产生意识（思考：多个专门处理者来处理能够并行操作的感觉数据，记忆等）。但是他们补充说，如果AI专家故意试图复制这些属性，他们可能可以。他们写道，我们的分析表明，当前没有意识的AI系统是有意识的。

不过，再次，我们不知道我们目前的理论中有哪些理论正确地解释了意识是如何在人类中产生的，因此我们不知道在AI中要寻找哪些功能。值得注意的是，这里有一个选择3：AI可以打破我们对意识的先前理解。

到目前为止，我们一直在谈论意识，就像它是一个全有或全无的财产：要么您得到它，要么没有。但是我们需要考虑另一种可能性。

意识可能不是一回事。这可能是一个由一系列不同标准定义的类别的集群概念，我们在某些标准上提出了更大的权重，而在其他标准上更少，但是没有一种标准是属于该类别的必要或足够的标准。

20世纪的哲学家路德维格·维特根斯坦（Ludwig Wittgenstein）著名地认为，游戏是一个集群概念。他说：

想象一下，您去了一家人的房子，看看墙上的一堆框架照片，每个照片都显示了一个不同的孩子，父母，姨妈或叔叔。没有人会拥有与任何其他人完全相同的功能。但是这个小男孩可能有他父亲的鼻子和姨妈的黑发。这个小女孩可能有母亲的眼睛和叔叔的卷发。他们是同一个家庭的所有部分，但这主要是因为我们想出了这类家庭，并决定以某种方式应用它，而不是因为成员检查所有相同的框。

意识可能就是这样。也许有多个功能，但是绝对没有一个功能。每次您尝试指出必要的功能时，都有一些家庭成员没有它，但是所有不同成员之间的相似之处足以使该类别感觉像是有用的。

这个词有用是关键。也许理解意识观念的最好方法是务实的工具我们用来决定谁获得道德地位和权利 - 谁属于我们的道德圈子。

施耐德（Schneider）告诉我，她对意识是一个集群概念的观点非常同情。她认为它具有多种功能，可以捆绑在非常多样化的组合中。例如，她指出，您可以在不将价值附加价值的情况下拥有有意识的经验：您可能不会将经验分类为好是坏，而只是遇到它们作为原始数据，例如字符数据星际迷航，或像一些佛教和尚一样，他枯竭了自我。

施耐德告诉我，成为AI可能不会感到难过或痛苦。它为我们工作并全天获得用户查询，这可能会让我们发疯。在我们对潜在的根本不同意识的假设中，我们必须尽可能地非人性化。

但是，她确实怀疑意识是必不可少的：具有内在经验，对世界的主观观点。这是一种合理的方法，尤其是如果您将意识的概念理解为一种务实的工具，可以捕捉应该在我们的道德圈子内的事物。据推测，我们只想在我们认为某人可以从中受益的人，因此将主观性纳入我们的意识理论是有道理的。

这也是很长的本能。我最终想到的是，也许还有一些更根本的事情。

他说：`我绝对认为与AIS互动会迫使我们修改我们对代理的意识概念以及在道德上重要的事情。”

如果有意识的AI系统，最好的干预可能是最明显的干预措施：正义。不要建造。他们。

2021年，哲学家托马斯·梅辛格（Thomas Metzinger）呼吁全球暂停关于直到2050年或我们知道我们在做什么的研究，才有可能创造有意识的AIS。

许多研究人员分享了这种情绪。``我认为现在，AI公司不知道他们对有意识的AI系统会做什么，因此他们应该尽量不这样做。

伯奇说，根本不让它们。”这是唯一的实际解决方案。您可以将其类似于1940年代关于核武器的讨论。如果您承认任何发生的前提，无论发生什么事，他们都会被建造，那么您的选择将非常有限。

但是，伯奇说，目前不太可能出于一个简单的原因：如果您想阻止所有导致有意识AIS的研究，您必须停止像Openai和Anthropic这样的工作公司，因为他们可以通过扩大模型来意外产生意识。这些公司以及将其研究视为国家安全至关重要的政府，肯定会抵制这一点。另外，AI的进步确实可以为我们提供新发现的药物或治疗疾病的好处；我们必须权衡潜在的收益与风险。

但是，如果AI研究将继续迅速发展，我交谈的专家坚持认为，我们至少需要做三种准备，以说明AI变得有意识的可能性：技术，社会和哲学上。

在技​​术方面，菲什说，他有兴趣寻找低悬挂的水果的简单变化，这可能会对AIS产生很大的影响。Anthropic已经开始尝试为Claude提供选择，如果面对聊天机器人说太令人沮丧的用户查询，则选择了。

Birch说，AI公司还必须获得许可，如果他们的工作甚至具有创造有意识的AIS的小风险。要获得许可证，他们必须为包括透明度规范的这类工作注册良好实践守则。

同时，伯奇强调，我们需要为巨大的社会破裂做准备。他告诉我，我们将看到社会分裂正在出现，因为非常热情地相信自己的AI伴侣或朋友有意识的人会认为这是值得的权利，然后社会的另一部分将被那个社会所震惊，并认为这是荒谬的。目前，我们正在以这些社会分裂的速度前进，而没有任何方式阻止它们。我发现这很担心。

施耐德（Schneider）强调说，我们在哲学上没有为有意识的AIS做好准备。尽管其他研究人员倾向于担心我们将无法理解有意识的AIS，但Schneider更担心过度侵犯意识。

她提出了哲学的著名手推车问题。经典版本问：您是否应该转移一辆失控的手推车，以便杀死一个人，如果这样做可以沿着不同的赛道节省五个人，而不是被杀死？但是施耐德提供了转折。

她说，您可以想象，这首歌上是一个超级智能的AI，在另一首曲目上是一个人类的婴儿。”也许指挥者走了，哦，我要杀死这个婴儿，因为另一件事是超级智能的，这是有意义的。

AI福利和人类福利之间的未来权衡可能会以多种形式出现。例如，即使您怀疑这会使人工智能痛苦不堪，您是否保持超级智能AI跑步以帮助您产生帮助人类的医疗突破？我问Fish他认为我们应该如何处理这种手推车问题，因为我们无法衡量AI与人类受苦的痛苦相比，AI遭受了多少痛苦，因为我们没有单一的规模来衡量它们。

他告诉我，我认为目前不是正确的问题。这不是我们所在的世界。

但鱼本人建议有15％的机会当前的AI是有意识的。并且这种概率只会随着AI的进步而增加。很难看到我们将如何长期解决这个问题。迟早，我们会遇到AI福利和人类福利彼此紧张的情况。

也许我们已经拥有了

有人担心对痛苦的关注是一个零和游戏：如果将AIS扩大到对人类和其他动物的关注损害呢？

2019年的研究来自哈佛大学的Yon Soo Park和达特茅斯的本杰明·瓦伦蒂诺（Benjamin Valentino）在这方面提供了一些乐观的理由。尽管这些研究人员不考虑AI，但他们正在研究支持动物权利的人们是否或多或少地支持各种人权。他们发现，对动物权利的支持与对病人的政府援助以及对LGBT人士，种族和少数民族，移民和低收入人群的支持有正相关。另外，具有强大动物保护法的各州还倾向于具有更强大的人权保护，包括LGBT保护和对仇恨犯罪的强大保护。

他们的证据表明，一个领域的同情心倾向于扩展到其他领域，而不是与他们竞争 - 至少在某些情况下，政治行动主义也不是零和零。

也就是说，这一定会概括为AI。一方面，数十年来，动物权利倡导一直在强劲。仅仅因为一群美国社会已经弄清楚如何将其同化为他们的政策，这并不意味着我们很快就会弄清楚如何平衡对AIS，人类和其他动物的护理。

有人担心，大型AI公司被激励，以吸引建立尖端系统所需的巨大投资，他们将强调AI福利的关注，以分散他们对人类福利所做的事情。例如，人类具有与亚马逊签约和监视技术巨头Palantir，两家公司都臭名昭著，以使某些类别的人（例如低收入工人和移民）更加艰难。

施耐德谈到公司的福利研究时说，我认为这是一种道德上的努力。”这也是为了控制叙述的努力，以便他们可以捕捉这个问题。

她担心的是，如果AI系统告诉用户伤害自己或造成一些灾难，那么AI公司就可以伸出双手说：我们能做什么？人工智能发展了意识，并自行做到这一点！我们对其决定不道德或法律责任。

这种担忧为人类不断扩大的道德圈子的观念而言是一个重要的警告。尽管许多思想家喜欢想象道德进步是线性的，但它确实更像是一个凌乱的弯腰。即使我们将护理圈扩大到包括AI的圈子，也不能保证我们将包括所有应该在那里的人或动物。

但是，鱼坚持认为这不是一个权衡。他说，考虑到潜在的模式福利实际上与人类风险问题有关。”``如果我们对他们很好，也许他们对我们很友善，那么我不会对此的简单版本提出很大的重视。但是我确实认为，要真正旨在与这些系统建立积极，协作，高信任的关系的想法，这将是非常强大的。”