照片插图:Intelligencer;照片:盖蒂图片社照片插图:Intelligencer;照片:盖蒂图片社
2026 年的头几周,有关人工智能的流行叙事再次发生转变。
去年年底,著名的人工智能内部人士对研究的未来表示怀疑,金融泡沫已成为公开讨论的话题,甚至在受牵连的首席执行官之间也是如此。不过,很快,一些主要型号的更新将再次转移行业的焦点:突然之间,它们被很多更擅长编写软件。
人们对人工智能编码的热情高涨驱动的由 Claude Code 开发,这是一款深受开发人员欢迎的产品,由 Anthropic 开发,Anthropic 是一家很久以前就押注于科技行业自动化作为其赚钱的途径。这意味着 Anthropic 及其联合创始人兼首席执行官 Dario Amodei 受到关注。现在,他拥有了业界的麦克风。当然,他想谈谈克劳德·科德。但更重要的是,他想谈谈他认为事情可能会变得非常非常错误。
他经常这样做。2024 年,阿莫代出版了《爱的机器》,——一篇长篇、谨慎乐观、被广泛阅读的文章,讲述了他所说的“强大的人工智能”的可能性,将其部署比作“数据中心里天才的国家”,并提出,通过付出巨大的努力,它可以被用来实现“战胜大多数疾病、促进生物和认知自由、使数十亿人摆脱贫困并分享知识”。新技术、自由民主和人权的复兴。”这篇文章的部分目的是为了回应阿莫代是人工智能“厄运者”的看法,这篇文章试图勾勒出人工智能的长期结果,如果如他所写,“一切顺利”。尽管有这个目标,“机器” 这篇文章充满了威胁和“风险”,无论是一般意义上的还是更专业的、以人工智能为中心的含义。从那以后,他花了很多时间在会议和电视上谈论中国、工作中断以及更普遍的问题准备好了。本周,他出版了《机器》的后续作品 被称为“技术的青春期” 毫无疑问,这是对可能发生的事情的警告沿着通往繁荣的道路,定位为“面对成人仪式本身”并概述“我们即将面临的风险”的尝试。
在人工智能开发和安全方面,它是具有挑衅性的、有趣的,而且从根本上来说仍然是乐观的,这是由一个以权威的立场和作为其行业时刻的代表而有说服力地为这些观点辩护的人堆积起来的一大堆狂野的前提。。然而,它呼吁采取行动的意义却大不相同:一份不情愿的政治宣言,看似意义深远。出与周围更广阔的世界步调一致,一串半信半疑的应该和也许与充满了人工智能进步和安全性的描述形成尴尬的对比会s 和可以s。作为一部关于难以想象的非凡技术的推理小说,它为一个奇怪、极端但可控的未来提供了理由。作为针对此类技术需要采取哪些措施的劝告Ø作为美国政治可能如何处理这些问题的预演,情况确实很严峻。
这里有一些注意事项和一些背景:Amodei 是一家营利性公司的领导者,据报道,该公司在经过一次重组后估值约为 3500 亿美元。提高本月早些时候关闭,所以他所说的任何内容都应该考虑到这一点。Anthropic 也长期以来一直将自己视为负责任的 实验室并经常通过阿莫迪和其他人发表的研究和公开声明,竭尽全力展示和宣传其致力于降低风险和避免不良结果的奉献精神。(他的写作显然受到了有效的利他主义运动的影响,人类与该运动有很多联系。)阿莫迪向自由主义事业和候选人捐款,公开批评唐纳德·特朗普,并在 X 上的“青春期”介绍中提到“我们在明尼苏达州看到的恐怖”;反过来,他也一直演员表白宫人工智能沙皇戴维·萨克斯(David Sacks)将其视为一群“坚定的左派”和“末日论者”的一部分,他们要么阻碍人工智能的进步,要么试图从意识形态上塑造它。他的公司目前不和与与其签订合同的国防部就如何使用其模型进行沟通。
研究人员、理性主义者和技术领导者之间的长期争论已经开始将——或者更准确地说,被强行分类——归入一个不恰当但强制性的美国党派框架中,在这个框架中,阿莫迪(AI 评论家),也许还有 DeepMind 的德米斯·哈萨比斯 (Demis Hassabis) 与自由主义联系在一起;马斯克(人工智能高音喇叭)也许还有扎克伯格,MAGA 加速主义者;和萨姆·奥尔特曼(人工智能博主) 正是他在特定地点和时间所需要的。事实上,他们各自的人工智能开发方法——花尽可能多的钱筹集资金并参与明确的竞赛,向他们需要的任何人捐款——有很多共同点。(在更愚蠢但同样重要的框架中超在线人工智能产业——X 的 feed 以及他们重叠的派系和奇异的粉丝圈,你可能会说达里奥是马斯克的马里奥瓦里奥?无论如何,回到避免世界末日的问题。)
阿莫迪在《青春期》一书中提出了自己的许多警告,承认“我在这篇文章中提出的担忧在很多方面可能是没有意义的”,要么是因为人工智能的进步停滞不前,要么没有像他想象的那样“快得快”发生,要么是因为危险根本无法实现。由于其他原因“实现”。事实上,虽然它作为对人工智能感兴趣的人讨论的人工智能风险的总结很广泛,但它的想象力仅限于未来,基本上,人类和类似的公司能够建立超级智能。不过,考虑到这一点,他要求读者——他希望其中包括监管者、政治家和商界领袖——设想一个他认为有“很大机会”的场景:人工智能模型“在大多数相关领域比诺贝尔奖得主还要聪明”,能够使用“人类工作可用的接口”。实际上,它可以“给定需要数小时、数天或数周才能完成的任务”,并且可以并行运行数百万次。他的“强大的人工智能”是一个更窄、更实用的人工智能。AGI的替代品,他倾向于避免使用这个术语;实现这一目标需要构建能够开始自我改进的人工智能模型,他说,像克劳德代码这样的工具代表了这一目标的进一步进步。他的时机很好:自《青春期》出版以来,Moltbook,人工智能代理的社交网络——借用和贬低 Amodei 的构建方式,人们可以将其描述为“聊天机器人的 Reddit 克隆”,它在人工智能社区中疯传,将安全和一致性讨论——以及欣喜和不安的新鲜感觉——带回到了讨论中。
“青春期”或多或少是一系列风险和补救措施。(您可以完整阅读它们这里)。第一部分概述了一个“天才之国”如何有“相当好的机会”接管世界并“将自己的意志强加于每个人”,并援引研究表明人工智能系统可能“难以精确控制”并进入“奇怪的心理状态”。他说,这种情况是可以缓解的。说,通过确保模型更“可解释”,但也通过赋予模型“几乎总是”遵循的“宪法”,引导模型表现得像一个“道德但平衡和体贴的人”,带有“已故父母密封直到成年的一封信的氛围。”(不把阿莫迪放在沙发上,但这也许是可操作的拟人化的一个新领域:阿莫迪是明智而道德的父亲,而克劳德是青春期的儿子吗?)
他写道,Anthropic 或许可以处理这样的事情,但他对其他人不太确定,除了呼吁埃隆·马斯克和 xAI 建立模型之外,还有其他不良行为。他说,也许一些全行业的协调是可能的,但对于社会层面的规则,补救措施是民主,通过它,公民必须“团结起来”。第二部分从追求权力的超级智能神学向下游移动到坏人类行为者,描述失调或恶意的个人或团体突然被人工智能工具赋予权力,例如制造生物武器。在这里,他描述了对于 Anthropic 来说这是一个可以克服的问题的方法,该公司认真对待这一威胁,但担心其他公司不会或不会,特别是在缓解措施成本高昂的情况下。也许利用 mRNA 技术进行更“快速的疫苗开发”会有所帮助,推广空气净化器和更好的个人防护装备的努力也可能有所帮助。
您可能会在这里注意到一个主题 - 关于人们构建技术应该做什么的对话逐渐变成关于其他人将如何处理它或在某种意义上可能会如何处理它的建议失败它。第三部分是我们更清楚地进入政治和人民领域的地方。在这里,我们远离机器,去担心古老的人类错位。阿莫代表示,假设一个“[人工智能]天才的国家”本身没有掌权,它可能会被用来进行国内镇压或实现“全球极权主义独裁统治”的目标。人们可以想象更完全自主的武器、一个拥有比以往更多数据的圆形监狱,同时也有“理解它的意义”的手段,以及新的品种和运载系统。以达到有效宣传的目的。威胁不仅限于国家——阿莫代再次强调几乎提到马斯克,谈到了“人工智能公司本身”的威胁,这些公司大多缺乏国家的“合法性和基础设施”,但却可以操纵庞大的消费者基础。他说,中国正走在成为“人工智能驱动的极权主义噩梦”的最明显道路上,但每个人都需要保持警惕。
这里的解决方案超出了他的模式,无论是从这个词的两个意义上来说,还是监管、贸易和激进主义的内容:禁止向中国和其他国家出口芯片,阿莫迪认为这是显而易见的;利用人工智能“赋予民主国家抵抗独裁国家的力量”,并提到了台湾和乌克兰;使用人工智能进行国防——除了那些会让我们更像我们的专制对手的方式。”他表示,在国内,我们需要——而这就是“我们”不仅从人类扩展到科技行业,而且扩展到整个国家——以公民自由为中心的立法——甚至是一个“宪法修正案”并且应该将人工智能用于国防——以各种方式使用人工智能,除了那些会让我们更像我们的专制对手的方式。“他写道,美国及其民主盟友的联盟如果在强大的人工智能领域取得了主导地位,那么它不仅能够防御独裁政权,而且能够遏制和限制它们他们对人工智能的极权主义滥用。
在关于劳动力市场流离失所(公众最关心的风险)的第四部分中,阿莫代谈到了潜在的长期“下层阶级”的产生以及严重的“短期冲击”,这种冲击的展开速度快于经济此前能够代谢的技术变革。现在这种情况“不太可能”大规模发生,但当人工智能工具扩散到经济中并变得更像“一般劳动力替代品”时,这种情况就有可能发生。”他说,也许“公司应该考虑如何照顾员工”,并且“即使在人类员工不再以传统方式提供经济价值很久之后,仍然向人类员工支付工资”可能会变得合理。他说,富有的人“有义务帮助解决这个问题”,而其他人却采取了“愤世嫉俗和虚无主义的态度,认为慈善事业不可避免地具有欺诈性或无用性”,这对他来说是“悲伤的”。“政府干预”,“累进税”,或专门对超大型人工智能公司征收的税款。(就马斯克而言,他对人工智能风险的克制是,它是存在的,但如果每个人都不死,我们最终会丰富又轻松。换句话说,他现在向世界请求的唯一一件事就是为他让路并给他钱。)
在第五部分中,阿莫代解释了一些“未知的未知因素”,例如,所有这些变化是否会让我们感到悲伤或疯狂,并想知道“我们是否可以利用人工智能本身来预测和预防”不太明显的问题。他以突然的结束我们得到了这个,希望“当人类处于最黑暗的环境中时,似乎在最后一刻,能够聚集获胜所需的力量和智慧。”
阿莫迪对未来的警告性愿景可以用两点来描述。在其中一篇文章中,他详细说明了公司喜欢什么他的可能需要响应公司的喜好他的正在建设。在另一部分中,他概述了其他人随着这个不可阻挡的过程的展开,可能需要做一些事情。无论第一个故事提供了多少安慰——一些评论家认为他实际上是太不屑一顾直截了当的“人工智能只会杀死所有人”的场景,现在很难判断这种讨论的中心在哪里,而他反复提出的论点(以观察的形式呈现)让事情变得复杂,即放慢速度根本不是、而且也不是一种选择。(“如果一家公司不建造它,其他公司也会以同样快的速度建造它。如果民主国家的所有公司通过共同协议或监管法令停止或减缓发展,那么专制国家就会继续发展。”)如果我们正在进入他想象的世界,在这个世界中,令人难以置信的新风险只能通过公司、监管机构和国家之间前所未有的协调来解决,那么我们肯定会面临最糟糕的情况开始。
一个更大的问题是阿莫代所诉求的实际政治和经济环境,它几乎笼罩在《青春期》中与人性本身无关的每一个句子中。一旦我们离开了理论上令人恐惧但在修辞上被沙盒化的纯粹技术变革和风险的世界 – 我们正在构建一些非常强大的东西,但别担心,我们可以确保它是有用且道德的 -Amodei 提出了解决“强大的人工智能”和自动化的下游后果的补救措施,时间安排在 2028 年之前!– 读起来就像一份国内和全球反趋势的清单。其中包括大公司之间的无私协调;贵族义务作为政策;扩大福利国家;公民“联合起来”反对独裁;“疫苗的快速开发”以及在试图忘记新冠病毒的世界中普及的空气净化器;在一个公民无法购买足够的环形摄像机的国家,监视被大规模拒绝,政府监视合同是继人工智能之后第二热门的初创类别。当“我们的对手”这个类别似乎在不断变化,而旨在“遏制”独裁政权的“美国及其民主盟友的联盟”正在努力维系在一起之际,关于“我们的对手”的讨论非常多。关于负责任的人工智能部署的宪法修正案?科技公司最近为了加大对人工智能的投资而大量裁员,留住员工只是因为什么?在这样的经济环境下?
很难知道如何解读科技界最有权势的人物之一发表的这样的宣言。它是下一届政府政策文件的清醒的战略前兆吗?迄今为止最引人注目的人工智能精神病事件?用明天的技术方言写下的对今天问题的哀叹?如果你去掉人工智能,它读起来就像是一个充满改革和规范期望的社会民主选举平台,美国进步人士会觉得有吸引力,类似于将科技行业未来的财富积累视为类似于北欧主权财富基金的请求。同样清晰的是一系列关于“我们”很久以前就应该开始解决的问题的争论,比如财富不平等——部分是过去大规模自动化的结果——或者在最后一个国家的帮助下,在名义上的民主国家内逐渐建立一个可怕的监视国家。 一代大型科技公司。阿莫代伊应该值得赞扬的是,这比 UBI 的模糊姿态或从他的一些同行那里得到的过度富裕更诚实,但这也意味着他们可以接受审查。在某种程度上,你可以在“青春期”中感受到恐惧, 它似乎并不是围绕恐怖分子利用人工智能创造可能毁灭地球的“镜像生命”或那个“天才之国”掌权的前景,而是围绕事情已经发生的情况以及多年来的发展方向。
一家公司的领导人读到这样的言论是很奇怪的,而该公司所在的国家正在迈向全民医疗保健(举个例子)的最后一小步。“青春期”的一个重要含义 问题在于,虽然美国可能没有做好应对即将到来的变化的准备,政策制定者也可能将头埋在沙子里,但突然的颠覆可能会迫使每个人最终采取一些行动——不仅仅是解决阿莫迪人工智能场景中出现的新问题,还要处理长期存在的问题,这些问题很快就会因加速自动化和剥夺权力而加剧。(这遵循阿莫代愿景更广泛的确定性逻辑,其中特定技术是来,无法阻止,可以调整和引导,但大多只是预期、推动和适应。)但是,如果人工智能发展迫使这样的对抗,“青春期”并没有充分证明它所主张的补救措施——更多民主、更多外交、更多合作和更大的安全网——很可能会 占上风,即使,正如阿莫代所暗示的那样,关于建立更强大的福利国家的利他主义论点可能突然对更多人来说是不言而喻的。换句话说:从本文或历史来看,这一点并不明显!– 为什么突然的外源性冲击(甚至更多的冲击)渐进的一)有利于合作、协商和民主扩张,至少首先要经历很多痛苦。技术法西斯主义在硅谷盛行的一个被低估的原因是,与人工智能发展本身的预测不同,它最近的基准似乎确实符合一条陡峭的曲线。
这可能正是阿莫代的出发点,因为他目睹了人工智能领域的同行们要么是超级富有的冷漠,要么是对各种后民主、后人类思想的日益开放的奉献,这些思想曾经被归为理论讨论。少错。(奥特曼在 OpenAI 起飞之前就是一名末日准备者,当时他只是有钱;马斯克明确地认为他应该而且有一天也能统治世界。)他的时间表和 Anthropic 的时间表恰好与唐纳德·J·特朗普的时间表重叠,这当然很容易让人感到深深的沮丧。但在阐述他重新致力于自由民主作为一个国家的理由时反应阿莫代强调技术发展和政治倾向已经令人担忧,他提请人们注意其核心脆弱性。我的意思是,看看已经发生了什么!民主国家内受监管的市场经济现在狂热地专注于建造一台机器来取代和剥夺其臣民的权力,而一些整合其资源的人同时告诉我们,这可能是一场灾难,但他们别无选择,只能继续尽可能快地前进。我们正在谈论一个未能包含超级智能的系统在它存在之前。阿莫迪关于人们在当今存在的政治结构中“团结在一起”的愿景听起来与他所说的他的公司试图召唤的东西不太相符,甚至在它被召唤出来之前也是如此。(在《机器》中,他承认自己“没有充分的理由相信人工智能会优先或结构性地推进民主。”阅读《青春期》让人怀疑我们是否会找到答案。)
再说一次,也许不一定是这样:在许多可能的情况下,除了几乎不受控制的“数据中心里的天才国家”之外,具有硅谷特色的社会民主主义听起来像是在为后特朗普民主党做宣传。和科技行业,某种程度地回归奥巴马时代的舒适关系,以及一套合理的进步目标,在这个世界中,不平等正在加剧而不是爆炸,新形式的自动化在整个经济中扩散而不是彻底消失。在这样的世界中,这也是对现任政府的人工智能战略的合理回应,该战略是放松管制且极不关心外部性的。
但你甚至不需要半途而废地实现科技领导者向投资者承诺的“强大的人工智能”场景,普通公众和焦虑的精英就会开始感到规则、监管和合作不足以完成手头的任务(分别是重新获得权力、自由或繁荣和保存权力)。工人们已经开始担心劳工动荡,而与人工智能相关的一段经济困境将是一个明显的坏蛋。再加上技术是威权主义的天然工具的感觉——这种感觉最近再次变得更加直观,即使对于自由民主国家的公民来说也是如此——而且你显然不会进入他想象的那种世界。
相反,也许你会发现自己在更熟悉的地方,有很多人担心这个系统,现在由具有名字和个性的机器代表,并由一小群非常富有的人拥有,再次被操纵来对付他们。在这个世界上,关于“应该做什么”的大型国内和国际讨论不会由科技公司主导——只要它们作为讨论和政治行动而一致,它们似乎更有可能被引导反对它们,无论它们是否将自己定位为正派企业。从直接、表面的意义上来说,人工智能的政治已经是残酷的,那是在预言成真之前,或者没有实现。如果你负责一家人工智能公司,这可能是值得担心的事情。