Glasswing 项目:保护人工智能时代的关键软件
简介
今天我们宣布推出 Glasswing 项目1是一项新计划,汇集了 Amazon Web Services、Anthropic、Apple、Broadcom、Cisco、CrowdStrike、Google、摩根大通、Linux 基金会、Microsoft、NVIDIA 和 Palo Alto Networks,共同努力保护世界上最关键的软件。
我们之所以成立 Project Glasswing,是因为我们在 Anthropic 训练的新前沿模型中观察到的功能,我们相信该模型可以重塑网络安全。克劳德·神话2Preview 是一个通用的、未发布的前沿模型,它揭示了一个严峻的事实:人工智能模型已经达到了一定的编码能力水平,在发现和利用软件漏洞方面,它们可以超越除了最熟练的人类之外的所有人。
Mythos Preview 已经发现了数千个高严重性漏洞,其中包括一些每个主要操作系统和网络浏览器。考虑到人工智能的进步速度,用不了多久,此类功能就会激增,甚至可能超出致力于安全部署这些功能的参与者。这对经济、公共安全和国家安全的影响可能会很严重。Glasswing 项目是将这些功能用于防御目的的紧急尝试。
作为 Glasswing 项目的一部分,上面列出的启动合作伙伴将使用 Mythos Preview 作为其防御安全工作的一部分;Anthropic 将分享我们所学到的知识,以便整个行业都能受益。我们还扩大了对 40 多个构建或维护关键软件基础设施的组织的访问权限,以便他们可以使用该模型来扫描和保护第一方和开源系统。Anthropic 承诺在这些努力中为 Mythos Preview 提供高达 1 亿美元的使用积分,并向开源安全组织直接捐赠 400 万美元。
Glasswing 项目是一个起点。没有一个组织能够单独解决这些网络安全问题:前沿人工智能开发人员、其他软件公司、安全研究人员、开源维护者和世界各地的政府都可以发挥重要作用。保卫世界网络基础设施的工作可能需要数年时间;前沿人工智能能力可能会在未来几个月内大幅进步。为了让网络防御者脱颖而出,我们需要立即采取行动。
人工智能时代的网络安全
我们所有人每天依赖的软件(负责运行银行系统、存储医疗记录、连接物流网络、保持电网正常运行等等)始终存在错误。其中许多是轻微的,但有些是严重的安全缺陷,如果被发现,网络攻击者可能会劫持系统、破坏操作或窃取数据。
我们已经看到网络攻击对重要领域造成的严重后果企业网络,医疗保健系统,能源基础设施,交通枢纽,以及信息安全政府 机构 跨越世界。在全球舞台上,中国、伊朗、朝鲜和俄罗斯等国家发起的攻击可能会危及支撑平民生活和军事战备的基础设施。即使是小规模的攻击,例如针对个人的攻击医院或学校成为目标,仍然可能造成重大经济损失、暴露敏感数据,甚至危及生命。当前网络犯罪的全球经济成本难以估计,但可能会大约$500B每年。
软件中的许多缺陷多年来一直未被注意到,因为发现和利用这些缺陷只需要少数熟练的安全专家具备的专业知识。借助最新的前沿人工智能模型,查找和利用软件漏洞所需的成本、工作量和专业知识水平都大幅下降。过去一年,人工智能模型在阅读和推理代码方面变得越来越有效——特别是,它们表现出了惊人的发现能力漏洞并找出方法剥削他们。Claude Mythos Preview 展示了这些网络技能的飞跃——它发现的漏洞在某些情况下经受住了数十年的人工审查和数百万次自动化安全测试,而且它开发的漏洞也越来越复杂。
第一次之后的十年DARPA 网络挑战赛,前沿人工智能模型现在在发现和利用漏洞方面正在与最优秀的人类竞争。如果没有必要的保障措施,这些强大的网络功能可用于利用世界上最重要的软件中存在的许多缺陷。这可能会使各种网络攻击更加频繁和更具破坏性,并增强美国及其盟友的对手的能力。因此,解决这些问题是民主国家的重要安全优先事项。
尽管人工智能增强型网络攻击的风险很严重,但我们有理由乐观:人工智能模型如果落入坏人之手就会变得危险,而这些能力却使它们对于发现和修复重要软件中的缺陷以及生产安全漏洞少得多的新软件具有无价的价值。Glasswing 项目是在即将到来的人工智能驱动的网络安全时代为防御者提供持久优势的重要一步。
使用 Claude Mythos Preview 识别漏洞和漏洞
在过去的几周里,我们使用 Claude Mythos Preview 识别了数千个零日漏洞(即软件开发人员以前不知道的缺陷),其中许多漏洞在每个主要操作系统和每个主要 Web 浏览器以及一系列其他重要软件中都是至关重要的。
在我们的帖子中前沿红队博客,我们提供了已修补的这些漏洞子集的技术详细信息,以及在某些情况下 Mythos Preview 发现的利用这些漏洞的方法。它能够完全自主地识别几乎所有这些漏洞,并开发许多相关的漏洞,无需任何人工指导。以下是三个例子:
- Mythos Preview 在 OpenBSD 中发现了一个已有 27 年历史的漏洞,该系统被誉为世界上最安全的操作系统之一,用于运行防火墙和其他关键基础设施。该漏洞允许攻击者仅通过连接到任何运行该操作系统的机器即可远程使其崩溃;
- 它还在 FFmpeg 中发现了一个已有 16 年历史的漏洞(无数软件都使用该漏洞对视频进行编码和解码),自动化测试工具已经在一行代码中检测了 500 万次,但从未发现该问题;
- 该模型自主地发现了 Linux 内核(运行世界上大多数服务器的软件)中的多个漏洞并将其链接在一起,以允许攻击者从普通用户访问权限升级到对机器的完全控制。
我们已将上述漏洞反馈给相关软件的维护人员,目前已全部修复。对于许多其他漏洞,我们今天提供了详细信息的加密哈希(请参阅红队博客),我们将在修复到位后透露具体信息。
CyberGym 等评估基准强化了 Mythos Preview 与我们次佳模型 Claude Opus 4.6 之间的实质性差异:
网络安全漏洞复现
除了我们自己的工作之外,我们的许多合作伙伴已经使用 Claude Mythos Preview 几个星期了。这是他们的发现:
– 人工智能能力已经跨越了一个门槛,从根本上改变了保护关键基础设施免受网络威胁所需的紧迫性,并且没有回头路。我们对这些模型的基础工作表明,我们可以以以前不可能的速度和规模识别和修复硬件和软件的安全漏洞。这是一个深刻的转变,也是一个明确的信号,表明旧的强化系统的方法已不再足够。技术提供商现在必须积极采用新方法,而客户需要做好部署准备。这就是思科加入 Glasswing 项目的原因——这项工作太重要、太紧迫,无法单独完成。”
– 在 AWS,我们在威胁出现之前就建立了防御措施,从我们的定制芯片一直到技术堆栈。对我们来说,安全不是一个阶段;而是一个阶段。它是连续的,并嵌入到我们所做的一切中。我们的团队每天分析超过 400 万亿的网络流量是否存在威胁,而人工智能是我们大规模防御能力的核心。我们一直在自己的安全操作中测试 Claude Mythos Preview,将其应用到关键代码库,它已经帮助我们增强了代码。我们正在为与 Anthropic 的合作伙伴关系提供深厚的安全专业知识,并帮助强化 Claude Mythos Preview,以便更多的组织能够利用设定标准的安全性来推进他们最雄心勃勃的工作。
– 随着我们进入网络安全不再受纯粹人类能力束缚的阶段,负责任地使用人工智能来大规模提高安全性和降低风险的机会是前所未有的。加入 Project Glasswing 并访问 Claude Mythos Preview,使我们能够及早识别和降低风险,并增强我们的安全和开发解决方案,以便我们能够更好地保护客户和 Microsoft。当针对我们的开源安全基准 CTI-REALM 进行测试时,Claude Mythos Preview 与以前的模型相比显示出显着的改进。我们期待与 Anthropic 和更广泛的行业合作,改善所有人的安全成果。”
伊戈尔·茨甘斯基
微软网络安全和微软研究院执行副总裁
– 漏洞被发现和被对手利用之间的时间间隔已经消失 – 过去需要数月才能完成的事情,现在对于人工智能而言仅需几分钟即可完成。克劳德神话预览展示了防御者现在可以实现的大规模功能,而对手将不可避免地寻求利用相同的功能。这不是放慢脚步的理由;而是放慢脚步的理由。这是一起更快行动的理由。如果你想部署人工智能,你需要安全。这就是为什么 CrowdStrike 从第一天起就参与到这项工作中。 –
– 过去,安全专业知识一直是拥有大型安全团队的组织的奢侈品。开源维护者——他们的软件支撑着世界上大部分关键基础设施——历来都是由他们自己解决安全问题。开源软件构成了现代系统中的绝大多数代码,包括人工智能代理用来编写新软件的系统。通过让这些关键开源代码库的维护者能够访问新一代人工智能模型,这些模型可以主动识别并大规模修复漏洞,Glasswing 项目提供了一条改变这一现状的可靠途径。这就是人工智能增强安全性如何成为每个维护人员值得信赖的助手,而不仅仅是那些能够负担得起昂贵安全团队费用的维护人员。
– 促进金融体系的网络安全和弹性是摩根大通使命的核心,我们相信,当领先机构共同应对共同挑战时,该行业就会变得最强大。Glasswing 项目提供了一个独特的早期机会,可以根据我们自己的条件并与受人尊敬的技术领导者一起评估下一代人工智能工具,以实现关键基础设施的防御性网络安全。我们将采取严格、独立的方法来确定如何进行以及我们可以在哪些方面提供帮助。Anthropic 的举措反映了当前所需要的前瞻性协作方法。”
帕特·奥佩特
摩根大通首席信息安全官
– Google 很高兴看到这一跨行业网络安全计划的达成,并通过 Vertex AI 向参与者提供 Mythos Preview。业界在新出现的安全问题上合作始终至关重要,无论是后量子密码学、负责任的零日泄露、安全开源软件还是防御基于人工智能的攻击。长期以来,我们一直相信人工智能在网络防御方面带来了新的挑战并带来了新的机遇,这就是为什么我们构建了由人工智能驱动的工具(例如 Big Sleep 和 CodeMender)来查找和修复关键软件缺陷。我们将继续投资于我们领先的网络安全平台和专注于保护用户、客户、生态系统和国家安全的文化。”
– 在过去的几周里,我们可以访问 Claude Mythos 预览模型,用它来识别上一代模型完全忽略的复杂漏洞。这不仅改变了寻找以前隐藏的漏洞的游戏规则,而且还标志着一个危险的转变,攻击者很快就能发现更多的零日漏洞并比以往更快地开发漏洞。显然,这些模型需要掌握在各地的开源所有者和维护者手中,以便在攻击者访问之前找到并修复这些漏洞。也许更重要的是:每个人都需要为人工智能辅助的攻击者做好准备。将会有更多的攻击、更快的攻击和更复杂的攻击。现在是对各地网络安全堆栈进行现代化改造的时候了。我们赞扬 Anthropic 与业界合作,确保这些强大的功能将防御放在首位。”
Claude Mythos Preview 强大的网络功能源于其强大的代理编码和推理能力。例如,如下面的评估结果所示,该模型在各种软件编码任务上开发的所有模型中得分最高。
• SWE-bench 已验证、专业版和多语言:我们的记忆屏幕标记了这些 SWE-bench 评估中的部分问题。排除任何表现出记忆迹象的问题,Mythos Preview 相对 Opus 4.6 的改进幅度仍然存在。SWE-bench Multimodal:我们对 Mythos Preview 和 Opus 4.6 使用了内部实现。分数不能直接与公共排行榜分数进行比较。Terminal-Bench 2.0:我们使用了具有自适应思维的 Terminus-2 安全带,每个任务的总任务预算为 100 万代币。所有实验均使用 1 × 保证/3 × 上限资源分配,平均每个任务尝试五次。当我们将超时限制增加到四小时并使用 Terminal-Bench 2.1 更新时,Mythos Preview 得分为 92.1%。
神话预览无需工具
使用工具进行神话预览
Humanity 的最后一次考试:我们发现 Mythos 在 HLE 上仍然表现良好,且工作量不大,这可能表明了一定程度的记忆力。
BrowseComp:Claude Mythos Preview 的得分高于 Opus 4.6,同时使用的令牌少 4.9 美元。
有关该模型的功能、安全特性及其一般特性的更多信息,请参阅克劳德神话预览系统卡。
我们不打算普遍提供 Claude Mythos 预览版,但我们的最终目标是使我们的用户能够安全地大规模部署 Mythos 级模型,以实现网络安全目的,同时也实现这种高性能模型将带来的无数其他好处。为此,我们需要在开发网络安全(和其他)保障措施方面取得进展,以检测和阻止模型最危险的输出。我们计划在即将推出的 Claude Opus 模型中推出新的保障措施,使我们能够使用不会造成与 Mythos Preview 相同风险水平的模型来改进和完善它们3。
Glasswing 项目计划
今天的宣布是长期努力的开始。要取得成功,需要整个技术行业及其他领域的广泛参与。
Glasswing 项目合作伙伴将获得 Claude Mythos Preview 的访问权限,以查找并修复其基础系统中的漏洞或弱点,这些系统代表了世界共享网络攻击面的很大一部分。我们预计这项工作将重点关注本地漏洞检测、二进制文件黑盒测试、保护端点和系统渗透测试等任务。
Anthropic 向 Project Glasswing 和其他参与者提供 1 亿美元的模型使用积分,将涵盖整个研究预览中的大量使用。之后,Claude Mythos Preview 将以每百万输入/输出代币 25 美元/125 美元的价格向参与者提供(参与者可以在 Claude API、Amazon Bedrock、Google Cloud 的 Vertex AI 和 Microsoft Foundry 上访问该模型)。
除了我们对模型使用积分的承诺之外,我们还通过 Linux 基金会向 Alpha-Omega 和 OpenSSF 捐赠了 250 万美元,并向 Apache 软件基金会捐赠了 150 万美元,以使开源软件的维护者能够应对这一不断变化的形势(对访问感兴趣的维护者可以通过克劳德开源程序)。
我们打算扩大这项工作的范围并持续数月,并且我们将尽可能多地分享,以便其他组织可以将经验教训应用到自己的安全中。合作伙伴将在力所能及的范围内相互分享信息和最佳实践;在 90 天内,Anthropic 将公开报告我们所了解到的情况,以及可以披露的已修复的漏洞和所做的改进。我们还将与领先的安全组织合作,针对人工智能时代的安全实践应如何发展提出一系列实用建议。这可能包括:
- 漏洞披露流程;
- 软件更新流程;
- 开源和供应链安全;
- 软件开发生命周期和设计安全实践;
- 受监管行业的标准;
- 分类扩展和自动化;和
- 修补自动化。
Anthropic 还一直在与美国政府官员就 Claude Mythos Preview 及其进攻和防御网络能力进行讨论。正如我们上面指出的,确保关键基础设施的安全是民主国家国家安全的首要任务——这些网络能力的出现是美国及其盟友必须在人工智能技术方面保持决定性领先地位的另一个原因。政府在帮助保持领先地位以及评估和减轻与人工智能模型相关的国家安全风险方面可以发挥重要作用。我们准备与地方、州和联邦代表合作,协助完成这些任务。
我们希望 Glasswing 项目能够在整个行业和公共部门做出更大的努力,让各方帮助解决有关强大模型对安全影响的最大问题。我们邀请其他人工智能行业成员加入我们,帮助制定行业标准。从中期来看,一个独立的第三方机构——能够将私营和公共部门组织聚集在一起的机构——可能是继续开展这些大规模网络安全项目的理想场所。