OC

Knowledge OS
鹦鹉螺口语
即将到来的人工智能超级风暴
2026-04-10 06:48:53 · 英文原文

即将到来的人工智能超级风暴

作者:Dean Ball

将任何文章变成播客。立即升级开始聆听。

会员可以与朋友和家人分享文章以绕过付费墙。

编者注:这篇论文是以前发表过在 Dean Ball 的 Substack 上,超维度,并经许可转载。

最近,我偶然发现了一幅我小时候曾经很喜欢但早已忘记的画作。我留下的女孩,伊士曼·约翰逊 (Eastman Johnson) 于 1872 年左右创作,描绘了一个面临暴风雨的年轻女孩。风把她的头发和衣服吹得笔直向后,但她还是靠在其中。她把小书抱在胸前以求保护,并挑衅地把脚踩了下来。她凝视着风景。从她的侧面看,她的脸传达出一种期待的等待感,以及为可能发生的一切做好严格准备的感觉。

她面临的风暴还没有结束。黑暗的气氛表明风暴只会变得更加严重,而且它正向女孩袭来。然而她却对未来充满期待,除了书本之外没有什么可以保护她。

在过去六周左右的时间里,至少一家美国公司拥有一种可能损害包括美国在内的地球上每个国家的关键基础设施和政府服务运营的工具。再过六周左右的时间(如果还没有的话),将有两到三个美国公司拥有这种能力。在那之后的一段时间,也许根本没有多少时间,美国的对手——主要是中国——将拥有如此大规模的工具。

我指的公司是Anthropic,它拥有的工具叫做Claude Mythos。公司研究员说过新模式将从根本上颠覆网络安全。至少,目前是这样。他们假设,在过渡期之后,世界最终将进入稳定状态,先进的人工智能有利于防御者而不是网络攻击者。然而,过渡期可能是一场漫长而残酷的风暴,我们不知道它来袭时会带来什么后果。

“威胁不是假设的,”他们总结道。– 高级语言模型就在这里。 –

我们下一步做什么,无论是集体还是个人,都将决定我们能否渡过难关。

平淡地说,神话的能力意味着什么?这很难说,因为我无法访问它,很可能你也无法访问它。该模型目前尚未公开,并且可能永远不会处于当前的形式。但从广义上讲,如果人们相信 Anthropic 的话,该模型可以进行自动化软件漏洞发现,在某些领域具有近乎超人的性能。

该模型可以发现软件中的安全漏洞,包括现代文明所依赖的软件系统,这些漏洞多年来一直困扰着安全研究人员,有时甚至是几十年。到目前为止,该模型已经发现了数千个漏洞,其中大部分尚未修复(因此,Anthropic 尚未公开这些漏洞,但已将其报告给相关软件的开发人员)。从银行到医疗保健、教育再到人工智能本身,众多消费者和商业服务似乎都受到牵连。

我的现代软件模型是,如果你足够仔细,你会发现严重的漏洞。然而,过去的努力成本很高——只有世界上最优秀的黑客才能做到,而且他们的时间也很有限。有了 Mythos,“认真寻找”软件的价格已经大幅下降,而且每个月都会变得更便宜。

这并不完全是坏消息。毕竟,“认真研究”软件也是软件改进的方式。从这个意义上说,来自其他公司的神话和类似功能的模型很快就会跟进,是有史以来给予网络安全的最伟大的礼物之一。

然而,就目前的情况来看,世界非常脆弱。每天,您都依赖于全球数百万开发人员维护的数百万行代码。明天、下个月或明年不会全部解决。现实情况是,在所有“关键”软件得到修补之前,这种能力级别(以及能力更强)的模型几乎肯定会广泛传播。到底会造成多大的损失,谁也说不准。

如果您怀疑人工智能系统是否可能对国家安全产生影响,那么现在我们有明确的证据。美国情报界一些最有能力、最受尊敬的团队所做的正是克劳德·米索斯自动化的工作。中国也是如此。你可能倾向于相信这一切最终都会顺利进行,但认为大型语言模型不会对国家安全产生任何影响,从而对整个政府产生影响,这种说法根本不再可信。

在过去的两年里,坦诚讨论这个问题一直是一个令人沮丧的问题。原因是,在人工智能政策和讨论的青少年时期——我希望——即将结束,认真对待人工智能风险被认为是不礼貌的。谈论近期的模型如何具有直接危险的能力就足以引起怀疑:你是一个秘密的“厄运者”还是有效的利他主义者?您是否参与了为前沿人工智能公司实现“监管捕获”的大阴谋?您是否试图“禁止开源”?这类问题限制了辩论,并使大量原本理智的政策制定者和其他有影响力的人士蒙蔽了双眼。而这些限制反过来又意味着人们必须小心翼翼地回避现实。

但我现在已经不再需要踮着脚尖了,其他人也应该如此。感受到刺骨的风吹在脸上,虽然也有点不舒服,但还是一种很大的解脱。

本着这种精神,以下是我认为正确的一些事情:

  1. 敌视美国的演员将在一两年内拥有神话的能力,甚至更好。我们不会通过“防扩散”或其他一些巧妙的监管计划来阻止这种情况。我们只能通过迅速加强网络防御来削弱这一现实的影响。
  2. 加强网络防御需要州和地方政府实体、私营部门关键基础设施运营商、前沿实验室、更广泛的私营部门以及联邦政府之间的协调。但更重要的是,它将需要数据中心。在最近的证词在向联邦能源管理委员会 (FERC) 提交的报告中,我讨论了加快传输选址以促进国家安全超级计算基础设施建设的紧迫性。运行大量自动化软件漏洞研究人员正是我在该证词中引用的用例之一。除了通过行政行动加快 FERC 进程外,我们还迫切需要进行许可改革。
  3. 说到国家安全:国防部和更广泛的联邦政府正在开展针对 Anthropic 的法律运动,其根本动机尚不清楚,而且攻击美国核心价值观。现在,战略智慧看起来每周都在变得越来越糟糕。我们正在与伊朗作战,伊朗是一个能力很强的网络攻击者。政府在试图摧毁可以说是该领域领先公司的同时,与前沿人工智能行业保持健康的关系,这是不可思议的。为了美国国防的利益,人类和国防部必须尽快达成休战协议,即使不能达成解决方案。
  4. 在与国家安全相关的网络安全能力方面,美国和中国之间的主要区别不在于我们的“创新生态系统”,而在于一个简单的现实:我们的公司拥有训练和操作像今天的神话这样的模型的计算能力,而他们的公司则不具备。就是这么简单。中国正在优先发展自己的计算制造能力,而这种神话的发展可能会进一步激励它。打破这种局面的最好方法是大幅增加针对半导体制造设备的出口管制如今,其中太多的资金从美国及其盟国自由地流向中国。国会和特朗普政府早就该做出重大努力了。
  5. SB 53 的效用要求前沿人工智能公司披露对其自身模型网络安全风险的评估,这一点现在有望变得更加明显。对该立法框架的一些批评声称,它试图控制前沿人工智能或微观管理公司。但事实上,该框架基于这样的观念:人工智能是不可控的——阻止潜在危险能力的扩散是不可能的——因此今天的“前沿”能力将在短时间内广泛分散。这正是为什么我们需要对开发人员在前沿看到的情况保持透明度,以便大量社会参与者能够针对我们在前沿看到的发展做好适当的防御准备。
  6. 如今,Mythos 只能在 Anthropic 内部以及 Anthropic 选定的合作伙伴中使用。由于计算限制和安全问题,这种有限发布可能会成为一种增长趋势。Mythos 的运行成本似乎是 Opus 的五倍左右,Opus 本来就已经不便宜了,但对于 Anthropic 来说,问题不在于成本,而在于分配足够的计算来为公众提供 Mythos 服务。这意味着未来最好的人工智能模型可能会不成比例地(如果不是完全)在前沿实验室中用于其自身目的,至少首先将是自动化人工智能研发。这些所谓的“内部部署”促使我自己追求透明度和私人治理框架,后者是私人组织,将审核前沿人工智能公司的安全和安保状况,包括其内部部署。我

写在X上这个神话意味着人工智能政策的训练轮即将失效。用另一个比喻来说,也许国防部试图扼杀人类的行为也表明他们已经放弃了手套。如果说上个月已经说明了什么,那就是我们正处于一个人工智能话语、政策以及人工智能开发和使用更肮脏、更尖锐、更严厉、更刻薄的时代。

老实说:我不认为神话级别的能力如何能够在不造成至少一些重大安全危机和经济破坏的情况下扩散到世界各地。当然,这一计算基础设施建设周期才刚刚开始。在一年左右的时间内,数千兆瓦的额外人工智能计算能力将上线。

人工智能和人工智能政策的青春期和畸形的青春期已经结束。第一个成熟期现在已经开始。

它是压倒性的,而且随着时间的推移它只会变得更加迷失方向。随着未来几年事件的展开,我预计包括亲人在内的许多人会对我和其他参与青少年时期人工智能政策的人说,“你们就不能做点什么来阻止这种情况吗?”也许是这样。我只能对自己说的是,我做了我认为谨慎且可能的一切。

最终,没有计划如何应对即将到来的时代。开阔的平原上没有护栏。令我感到鼓舞的是,美国一直在即兴发挥。

在他们召开的制宪会议之前的几周内,那些后来成为我们开国元勋的年轻人对于我们的宪法应该包含什么内容没有太多的想法。年轻的美国面临着看似不可调和的结构性紧张局势,他们对如何解决这些问题只有最模糊的想法。他们所武装的只是原则、知识、智慧和胆量。

我们的国家是在即兴创作中诞生的,当我们仅凭原则、知识、智慧和大胆进行即兴创作时,美国人往往处于最佳状态。美国总是迎风而行,即使风猛烈地吹在我们脸上。当我们处于最佳状态时,我们会勇敢地面对风暴。归根结底,我们对更多知识的追求和我们的建国理想是我们唯一的防御手段,是我们抵御狂风的唯一镇流器。

所以,要像画中的女孩一样。放下你的脚,把你的智慧抱在胸前,凝视风暴。

迪恩·伍德利·鲍尔 (Dean Woodley Ball) 是美国创新基金会的高级研究员。他最近担任白宫科技政策办公室人工智能和新兴技术高级政策顾问以及国家科学基金会人工智能战略顾问。

关于《即将到来的人工智能超级风暴》的评论

暂无评论

发表评论

摘要

Anthropic 的 Claude Mythos 工具有可能严重损害全球(包括美国)的关键基础设施和政府服务,因为它能够以近乎超自然的准确性发现软件漏洞。虽然从长远来看,这种能力可以通过识别研究人员多年来未能发现的漏洞,极大地有益于网络安全,但它也带来了直接的风险,因为像中国这样的对手可能很快就会获得类似的工具。作者认为,迅速加强网络防御是必要的,并呼吁改善数据中心基础设施和半导体制造设备的出口管制,以应对这些威胁。在这种背景下,要求人工智能公司披露网络安全风险评估的立法变得越来越重要。尽管面临挑战,应对此类进步的方法与美国历史上面对重大技术变革时即兴发挥和适应的能力相呼应。