现在，大多数大型AI实验室都有一个团队，弄清楚流氓AIS可能会逃脱监督的方式，或者彼此秘密地对抗人类。但是，我们可能会失去对文明的控制的一种更平凡的方式：我们可能只是过时了。如果AI和机器人能够不断改进，这将不需要任何隐藏的地块，默认情况下会发生什么。
为何如此？好吧，AI开发人员几乎可以在我们扮演的每个角色中都坚定地为人类建立更好的替代：不仅在经济上工人和决策者，但在文化上以艺术家和创作者的身份，甚至在社交上作为朋友和浪漫同伴。当AI可以做我们所做的一切时，人类将拥有什么地方？
谈论AI的当前能力有时听起来像是营销炒作，其中一些肯定是。但是从长远来看，改进的范围很大。您可能会相信，总会有一个独特的人类可以复制的东西。我花了20年的时间在AI研究中，观察了它从基本推理到解决复杂的科学问题的发展。能力似乎现在很容易处理独特的人类，例如处理歧义或使用抽象类比。一路上可能会有延误，但是我们应该假设AI将不断进步。
这些人为的思想不会帮助人类，他们会以无数的方式悄悄接管，最初是因为它们更便宜，最终是因为它们确实比我们表现最好的人更好。一旦他们足够可靠，他们将成为几乎所有重要任务的唯一负责任的选择，从法律裁决和财务计划到医疗保健决策。
最容易想象在就业背景下这种未来会是什么样：您会听到朋友失去工作并难以找到新作品的情况。公司会冻结招聘预计明年的AI工人更好。您自己的工作越来越多，将包括接受可靠，迷人和渴望的AI助手的建议。您可以自由考虑更大的图景，但会发现自己与超知识的AI助手进行交谈。该助手将填写您的计划中的空白，提供相关的数字和先例，并提出改进。最终，您会简单地问：–您认为我下一步该怎么办？
在工作世界之外，这不会有任何不同。即使对于一些人工智能研究人员来说，这是一个惊喜，即最初有能力具有一般推理能力的模型，即Chatgpt和Claude的先驱，也可能是机智的，耐心的，细微的，细微的和亲切的。但是现在很明显，像其他任何人一样，机器可以学习社交技能。人们已经拥有了AI浪漫的同伴，AI医生一直被评为更好的床边方式比人类医生。
当我们每个人都能获得无尽的个性化感情，指导和支持时，生活会是什么样？您的家人和朋友将比平常更粘在屏幕上。当他们与您交谈时，他们会告诉您他们在线同伴所说的有趣和令人印象深刻的事情。
也许您会被他人偏爱他们的新同伴所推迟 - 在这种情况下，您可能最终会向您的每日AI助理寻求建议。这位可靠的辅导员将巧妙地与您交谈您面临的任何问题，并帮助您练习与家人进行艰难的对话。在这些相对累人的互动之后，参与者可能会通过与各自的AI红颜知己交谈而放松。也许我们会同意，在向虚拟同伴转变中，即使我们开始发现原始的人类接触越来越乏味和乏味，但相比之下。
到目前为止，反乌托邦。但是，我们不只是选择不这样使用AI，而是喜欢人类顾问和人为的商品和服务？问题是，甚至很难注意到许多域中的AI替换，我们确实注意到的部分似乎是重大的改进。即使在今天，AI生成的内容也是越来越难以区分来自人类创造的工作。对于人类治疗师，律师或老师的花费是只有一半的一半的人，这将很难证明是合理的。选择快速，昂贵的人类的组织将被那些选择快速，廉价，可靠的AI选择的组织所吸引。
我们可以依靠政府解决这些问题吗？不幸的是，他们也将有同样的动力来依靠AI。政客和公务员也会问他们的虚拟助手：我该怎么办？
政治理论家有时谈论资源诅咒，那里拥有丰富自然资源的国家最终会更加专制和腐败 - 沙特阿拉伯和刚果民主共和国是一个很好的例子。这个想法是，有价值的资源使国家不再依赖其公民。反过来，这使国家完全诱人（且容易）完全隔离公民。AI的无限自然资源可能会发生同样的情况。当人力资本提供较差的回报时，为什么还要麻烦对教育和医疗保健的投资？
一旦AI取代了公民所做的一切，政府就不会承受其人口的巨大压力。残酷的事实是，民主权利部分归因于经济和军事必要性，并确保稳定。但是，当政府由AIS而不是公民的税收资助时，当他们也开始用AIS代替AIS时，这一切都不会算在很多方面。即使是劳动罢工或内乱等最后的度假胜地，也将逐渐对自动警察无人机和自动监视的舰队逐渐无效。
最令人不安的可能性是，这对我们来说似乎都是完全合理的。数十万人已经在目前处于原始状态的同一个AI同伴将使我们的相关性降低实际上是进步的，这会引起超级，迷人，精致，复杂和有趣的论据。AI权利将作为下一个重大的民权事业介绍。人类的第一营将被描绘成历史的错误一面。
最终，由于没有人计划或选择它，我们可能会发现自己努力地坚持金钱，影响，甚至相关。在许多方面，这个新世界可能会更加友好和人道，而它可以持续：AIS将处理烦人的任务，并提供更好的商品和服务，例如医学和娱乐。但是人类将拖累增长，如果我们的民主权利开始滑倒，我们将无能为力。
这些技术的开发人员肯定有一个更好的计划？令人震惊的是，答案是否定的。两个都达里奥·阿莫迪（Dario Amodei），人类首席执行官山姆·奥特曼（Sam Altman）一旦人工劳动没有竞争力，我们将需要完全重组我们的经济体系。但是，没有人对那会是什么样子有清晰的了解。那些确实承认发生彻底改变的可能性的人主要是在AIS滥用或秘密勾结中更直接的威胁。虽然一些经济学家，例如诺贝尔奖获得者约瑟夫·斯蒂格利茨（Joseph Stiglitz）发出警报AI可以将人类工资提高到零，许多人似乎不愿意认为这可能是对人类劳动的补充。
w我们可以做帽子以避免逐渐脱离权力吗？第一步是谈论它。记者，学者和其他思想家对这个庞大的话题一直保持沉默。我个人发现很难清楚地思考。听起来很虚弱和屈辱：我害怕未来，因为我无法竞争，听起来很侮辱。优势吗？
一个明显的想法是完全不构建通用AI。尽管减慢其发展可能是可行的，但试图长时间的全球阻止它可能需要近乎政治的监控和控制，或者需要全球协调，以拆除计算机芯片制造业的大部分地区。这条道路的主要危险是，政府可能会禁止私人AI开发，但仍出于军事和警务目的而开发它，从而推迟了我们的过时，但很久以前就剥夺了我们的权力。
如果我们可以阻止AI开发，那么至少有四件事仍然会有所帮助。首先，我们应该尝试在整个经济和政府中跟踪AI的使用和影响。我们需要知道AI在哪里取代人类的经济活动，尤其是如果它开始按大规模用于游说和宣传等事物。拟人化最近经济指数是第一次尝试，但还有很多事情要做。
其次，我们至少需要对Frontier AI实验室和部署进行一些监督，以阻止该技术产生太大影响，同时我们仍在弄清楚发生了什么。目前，我们依靠自愿努力，并且没有能力协调以阻止自动人工智能掌握大量资源或收集力量。如果我们开始看到危机的迹象，我们就需要能够介入并减慢事情，尤其是在个人和团体从整体损害社会的事情中受益的情况下。
第三，我们可以利用AI来增强人们为自己组织和倡导的能力。AI支持的预测，监督，计划和谈判提供了设计和实施的可能性更值得信赖的机构，如果我们能在仍然有影响力的情况下建造它们。例如，有条件的预测市场AI支持的预测可以表明，世界在不同的政策下的发展方面更清楚，帮助解决诸如法律的问题，从现在起三年后的平均人工工资将如何变化？–实验AI支持的民主机制将使我们的原型响应式响应式政府模型更需要一个更需要一个更经过更改的世界。
最后，如果我们想在不被边缘化的情况下建立强大的AI，那么我们就有学习如何引导我们的文明的任务，而不仅仅是让政治体系根据他们碰巧面临的任何压力而发展。到目前为止，这种吹牛的人还可以，因为无论如何都需要人类。没有这种保障，除非我们了解权力，竞争和增长的所有方式，否则我们将会漂流。AI一致性的技术领域与确保机器共享我们的目标，以扩大其范围，以包括政府，机构和社会本身。这个新生的球体有时称为“生态系统对齐”，可以利用经济学，历史和游戏理论，以帮助我们了解我们可以合理地希望的那种未来，以及如何瞄准它们。
我们越明确地看到我们的往返位置，我们的协调越好，我们就越有可能创造一个未来人类保持相关的未来的可能性 - 不是像AI那样的竞争对手，而是他们的受益人和管家。就目前而言，我们正在竞争建立自己的替代品。
戴维·杜文（David Duvenaud）是多伦多大学计算机科学副教授，也是施瓦茨·雷斯曼技术与社会研究所。他感谢Raymond Douglas，Nora Ammann，Jan Kulveit和David Krueger的帮助。
进一步阅读
即将来临的浪潮穆斯塔法·苏莱曼（Mustafa Suleyman）和迈克尔·巴斯卡（Michael Bhaskar）（Vintage，10.99英镑）
最后的人类工作Allison J Pugh（普林斯顿，25英镑）
悬崖托比·奥德（Toby Ord）（布卢姆斯伯里（Bloomsbury），12.99英镑）