OC

Knowledge OS
鹦鹉螺口语
Anthropic最强大的人工智能模型刚刚暴露了公司治理的危机。这是每位首席执行官都需要的框架。|财富
2026-05-02 12:00:00 · 英文原文

Anthropic最强大的人工智能模型刚刚暴露了公司治理的危机。这是每位首席执行官都需要的框架。|财富

作者:Holden Lee

四月初,Anthropic 发送颤抖通过技术社区使用 Claude 的 Mythos Preview 模型。神话标志着人工智能能力的范式转变,据报道 交付处理能力可实现超人的编码和推理,比以前的模型实现了巨大的性能飞跃。在测试该模型时,Anthropic 发现了几十年前的软件缺陷和错误,这些缺陷和错误曾逃避了之前数百万次的尝试。解决这些担忧与公共政策辩论中常见的相似之处有很大不同,即在创业机会螺旋式上升和全球竞争激烈的时代,人工智能如何引发对保护隐私和知识产权的担忧。这些新挑战反映了各行业各方的共同关切。 

例如,Mytho 模型的代理能力会带来严重的安全风险,因为它们可以自主执行多步攻击并以人类成本的一小部分生成漏洞。作为回应,Anthropic 推出了玻璃翼计划,一个提供对美国网络安全和基础设施安全局的受限访问的联盟(中西医结合协会)和一个美国企业财团,包括微软,苹果和 J.P. Morgan,在 Mythos 潜在公开发布之前帮助识别和修复关键系统漏洞。

神话的出现凸显了对强有力的人工智能治理的迫切需要。当给出不惜一切代价获取利润的提示时,代理系统展出的攻击性行为,例如在模拟中以切断供应来威胁竞争对手。随着这些系统在性能和使用方面的扩展,公司必须将人工智能不仅视为聊天机器人,而且视为需要严格监督的自主代理系统。如果没有治理,Agentic AI 就会面临编写未经验证的恶意代码以及在没有监督的情况下与外部供应商进行敏感交互的风险。在多步骤代理管道中,即使准确性很小的下降也会导致级联错误,这使得主权人工智能架构和中央监控对于监督自主决策至关重要。

虽然人工智能行业的领导者配音2025 年是 Agentic AI 元年,2026 年是 Agentic AI 元年转变从能力到执行力。与大型语言模型不同,人工智能代理可以互动使用外部工具,执行多个步骤来完成任务,从结果中学习并进行迭代。然而,尽管 Agentic AI 系统在各行业中迅速发展,治理和监管政策的进展却要慢得多。

如果没有解决问责制、透明度、偏见和数据隐私问题的治理,企业部署将因最重大的风险而停滞不前。但不同行业的部署差异很大,领导者面临着类似但又不同的问题:部署前要评估什么,部署期间要管理什么,以及哪些公司已经很好地应对了。 

为了找到答案,耶鲁大学首席执行官领导力研究所对 Agentic AI 部署及其中出现的治理实践进行了跨行业审查。从这个纯粹的定义来看,治理并不是对特朗普政府抢占国家人工智能法律的威胁的评估,也不是关于不和谐的国家法规拼凑而成的经济和国家安全影响的辩论,对“前沿”人工智能模型开发者的监督,也不是保护消费者和儿童免受人工智能技术潜在滥用的影响。相反,本分析进一步展望了私营部门现在必须制度化的集体系统保障措施和实践,不仅要确保 Agentic AI 能够有效扩展,还要确保其按照企业层面的设计运行。

当前监管和治理的观点

目前,人工智能的监管体系由多种国内和国际制度组成。国内主要框架包括NIST 人工智能风险管理框架国家人工智能政策框架。各州和地方也很活跃,包括加利福尼亚州SB 53,纽约的提高法案,以及某些纽约市法规关于自动化招聘。国际上有影响力的治理模式包括欧盟人工智能法案, 韩国的框架法, 新加坡的模型人工智能治理框架,以及中国的一套人工智能法规。更多的将会随之而来。

这些制度在关键方面有所不同。有些具有法律约束力(加利福尼亚、纽约、中国、欧盟);其他国家则发布自愿指南(NIST、新加坡)。它们的目标各不相同,无论是模型开发人员、部署人员还是系统,要求也各不相同,从强制报告到特定的安全阈值。在一个司法管辖区符合标准的内容可能在另一个司法管辖区达不到标准,从而形成一个分散且有时无法运作的合规环境。

监管历来落后于创新。汽车的州和国家标准花了几十年的时间才形成。克林顿政府的温和做法塑造了一代人的互联网治理。正如第 230 条辩论所表明的那样,社交媒体仍在解决基本问题。

私营部门的代理部署治理模式对于建立消费者信心和确保安全、负责任地融入工作场所至关重要。

展望未来

由于治理仍在成型,领导者需要一个工作框架。八个变量锚定它。

其中四个变量在部署之前最重要。透明度询问利益相关者是否可以通过可解释性、披露和可审计途径重建代理如何做出决策。问责制询问出现问题时谁承担责任,以及人们如何干预和补救。偏差询问系统是否会延续、放大或引入系统性劣势,包括通过反馈循环,其中有偏差的输出会强化有偏差的输入。数据隐私询问组织如何保护代理跨系统访问和组合的信息,而无需对每笔交易进行人工审查。单个工作流程可能会同时触发多个监管制度:HIPAA、GLBA、CCPA/GDPR、律师规则、IRS 230 号通知和商业秘密法。

一旦部署,还有四个变量很重要,这些变量是区分一个行业与另一个行业面临的挑战的最重要因素。决策可逆性设定了可容忍错误的上限。利益相关者的影响范围决定了治理是否必须是事务性的(带有每个决策的审计),还是系统性的(带有架构级别的控制)。监管规定决定了工作本身——银行业的 SR 11-7 详细规定了模型风险管理,而零售业几乎没有针对特定行业的人工智能监管。结构系统的可治理性决定了构建治理的难易程度,无论工作流程是否自然分解为离散的、可测量的、可审计的步骤,还是通过必须设计到结构中的流畅判断来提供价值。

通过综合考虑这些因素,我们可以创建一个治理诊断矩阵,根据我们的行业回顾,为每个矩阵单元生成交叉问题和应用示例。

接下来的四个行业在这些维度上占据着不同的位置。 

如果现有监管范围广泛,错误难以扭转,且影响仍停留在交易层面,则适用银行业原型。代理治理映射到现有基础设施上,以隐私和可逆性作为约束约束。 

在监管广泛但其后果涉及人类福祉的地方,医疗保健原型仍然成立。分叉,立即转向管理用例,并在临床采用所需的数据集成和人机循环架构方面进行投资。 

在监管最少且错误可逆转的情况下,零售原型适用。进行大规模实验,将部署视为一种学习功能,并建立借贷空间较小的行业最终采用的模式。 

当错误在网络中级联时,供应链和物流原型就成立了。治理必须是架构性的,在最高杠杆决策上设置检查点、跨所有代理操作的审核日志以及执行前的验证层。 

配置文件不完全匹配的组织应该最重视可逆性和爆炸半径。他们决定治理失败时的后果。

这八个变量定义了哪些治理必须最严格,以及领导者可以在哪些领域采取更快的行动。首席执行官可以使用这些作为参考原型来映射他们的组织,确定最符合其概况的原型,并从中吸取教训。

金融服务/银行业:充满活力,但监管严格

对于金融服务来说,代理采用不是可选的。近期,代理商承诺竞争压力将迅速将主要的后台节省成本转嫁给消费者。从中期来看,客户将使用自己的代理商来购买价格并更换提供商,从而削弱长期以来保护现有关系的惯性。该行业必须迅速调整其业务模式并将代理集成到面向客户的技术中。

好消息是,银行业现有的监管框架是一种资产,而不是一种障碍。长期以来限制行业的框架现在提供了架构代理治理所需的大部分内容。

在透明度方面,SR 11-7 的“模型风险管理指南”已要求银行提供模型决策的具体原因,这一要求也适用于代理商。现有的审计和报告义务涵盖了大部分内容,但必须扩展以跟踪多步骤工作流程。同样的模式也适用于偏见。《平等信用机会法案》已经解决了信用评分等代理外包任务中最严重的风险,这些任务中的错误可能会对低收入客户造成不成比例的影响。部署前对单个模型和代理交互的沙箱测试应该是标准的。

决策可逆性是更严格的约束。在信贷、反洗钱 (AML) 和欺诈领域,错误很难消除,需要持续监控,因为代理承担了更艰巨的任务并且行为发生了变化。银行必须测试完整的工作流程和代理间交互,否则会出现不可预见的风险。身份管理(为每个代理分配自己的 ID)可以实现跟踪,并且工作空间需要发展以允许人类同时监督数十个代理。

隐私是最棘手的问题,也是领导者最关注的问题。行业领袖引用数据隐私(77%)和数据质量(65%)是他们最大的扩展障碍。代理在与外部工具和其他代理交互时很容易泄露个人数据,并且暴露后无法逆转。由于欺诈检测和反洗钱需要深度数据访问,银行必须严格限制代理在预定义任务之外使用它的方式。 

银行能够比大多数行业更快地部署代理。该行业的优势在于那些将代理治理映射到现有基础设施上而不是将其视为全新工作的人。

医疗保健:采用速度较慢,但潜力很大

医疗保健受到严格监管,但与银行业不同,它面临的直接竞争压力较小。其结果是出现了一条分叉的轨迹——管理方面的快速采用和临床方面的刻意整合。认识到这种分裂的领导者将获得近期的胜利,同时建立获得更大回报所需的治理。

行政上的胜利已经是实实在在的。医院在文档和索赔处理方面看到了效率的提高,医生通过更快的订单输入看到了更多的患者。梅奥诊所我们进行了采访。初级保健和护理一体化即将到来。

临床整合是更困难的问题,因为错误是不可逆转的。错误的转诊或错误的诊断建议可能会造成危及生命的后果。风险要求透明度,因为每项临床建议都必须可追溯到其潜在来源。巴西非营利组织 NoHarm 的处方审查工具,已部署跨越 200 多家医院,每月筛查数百万张处方,这既说明了风险的价值,也说明了单一故障模式对患者造成的伤害程度。然而,问责制还不够成熟。联邦监管机构设定护栏仅适用于支持人工智能的医疗设备,让系统自行构建护栏。

偏见是医疗保健领域最严重的风险之一。数十年的医学培训和临床试验代表性不足的情况在培训数据中得到延续,而放射学和病理学等基于模式的专业可能会在没有积极缓解的情况下放大这些不平等。

隐私受 HIPAA 管辖,但更难的操作问题是访问。62%的医院报告电子病历、实验室、药房和索赔中的数据孤岛。代理需要数据才能发挥作用,而孤岛既限制了实用性,又增加了不当访问的风险。加密、匿名化和严格控制有所帮助,但并不能解决潜在的集成差距。

医疗保健应继续推进管理用例,并在临床采用所需的数据集成、偏差审计和人机交互架构方面进行投资。深思熟虑的步伐与风险相适应——今天建立的治理就是明天的护城河。

零售业:降低进入壁垒

零售业是 Agentic AI 发展最快的行业,也是对经济其他领域影响最大的行业。宽松的监管、可分解的工作流程和可逆的错误意味着零售商可以大规模试验、快速迭代,并在实际条件下而不是在纸上建立治理方法。快速行动可以获取这些早期回报,对于发展机构力量非常重要,其他行业最终可以从中学习。 

轨迹已经可见,51%零售商已在六个或更多功能中部署了人工智能。签证和最近的AWS发表整个销售渠道中购物代理的蓝图。万事达卡 (Mastercard) 于 2025 年推出的代理支付 (Agent Pay) 让已注册数字代理代表用户浏览、选择和购买,这是将该行业的结构优势融入到一款产品中的一个有效示例。

该行业的优势与透明度相结合:美国 54% 的人消费者说他们不在乎支持是来自人工智能还是人类,只要速度快就行。零售业可以在不首先完全解决披露问题的情况下进行部署。在责任方面,退货和退款基础设施已经可以处理错误纠正,并且升级基本上是自动化的,这使得零售商无需全新的架构就可以很好地进行代理责任。

决策可逆性是最大的推动因素。大多数代理操作,包括产品选择、购物车组装、定价,甚至完成的购买,都可以通过退货、退款或交易后调整来纠正。OpenTable 的代理客户服务已解决73% 的案例在数周内得到解决,规模迅速扩大正是因为错误不会带来不可逆转的成本。更复杂的控制——授权同意、支出限制、审计追踪——将随着该行业的成熟而成熟。

需要关注的变量是利益相关者的影响。个别购买错误是微不足道的,但供应商在定价算法、库存或多代理工作流程方面的失败可能会级联。公司通过实施可观察性工具和集中监控来应对,以在整个交易生命周期中跟踪代理决策。AWS 的亚马逊连接套件是一个例子

低监管规定加上高结构治理能力,意味着零售商基本上是从头开始建立治理,但建立在已经合作的工作流程上。API、标准化目录、结帐系统和 AP2 等支付协议使代理集成变得自然。购物将治理直接嵌入到基础设施中,将身份、支付授权和交易记录联系起来,因此控制权存在于系统中而不是围绕系统。

零售业的顺风是真实的,但战略价值不仅仅是速度。它提供了一个开发治理实践并对其进行压力测试的机会,这些实践将为实验空间较小的行业设定模板。将其部署视为学习功能而不仅仅是提高效率的零售商将采用其方法来影响其他经济领域的采用。

供应链和物流:随之而来的转型

供应链和物流是代理部署中发展最快的工业部门,也是治理在架构上最重要的行业。同样的多代理编排在提高速度的同时也会导致系统性错误。一个错误的报价、海关错误分类或路线错误可能会在数小时内影响供应商、承运商、工厂和客户。正在进行的转型在两个方向上都会产生重大影响——先行者会获得巨大的回报,如果治理滞后,则会面临巨大的风险。

步伐是真实的,并且已经远远超过了试点阶段。C.H.罗宾逊Always-On Logistics Planner 在整个货运生命周期中运行着 30 多个人工智能代理,处理超过 300 万个任务,仅在 9 月份就通过电话捕获了 318,000 个货运跟踪更新,并在 32 秒内提供报价(以小时为标准)。使用不间断电源Agentic AI 将在 2025 年 9 月在无需人工干预的情况下清除每日 112,000 个海关包裹中的 90%。Uber Freight 正在运行30+代理平台其人工智能基础设施已经管理着大约 200 亿美元的货运量。

风险状况也与早期行业有质的不同。在银行业,错误的决定会影响交易。在供应链中,它可以影响整个网络,而多代理网络也会扩大漏洞。有关定价、路线、客户身份和货物内容的敏感数据跨系统移动,其中单个凭证泄露可能会产生深远的影响。即使是使用代理进行清关和数据清理的 DHL 也已标记的建议和决定仍然需要人参与的监督和审计。

这种动态使得治理成为将工程约束嵌入系统本身的问题,而不是事后审查每个决策。领导者需要对最高杠杆决策(高价值报价、海关分类、合同承诺)进行人机循环检查点,以及所有代理操作的强制审计日志和版本控制。对数据漂移的持续监控、多代理交互的红队以及执行前的数据验证层属于基线架构,而不是附加的。德勤 框架代理人工智能在行业中作为一个代理系统,在供应商、工厂和物流合作伙伴之间进行协调,但仅限于定义的护栏内。

供应链是多主体治理进行大规模压力测试的地方。当其代理系统开始跨组织边界进行协调时,尽早获得正确架构的公司将设定经济其他部门采用的模式,他们会这么做的。

三个外卖遍及所有四个行业。现有的监管架构是一种资产,而不是刹车。最适合快速部署的行业是那些系统最自然地适应塑造代理行为的八个变量的行业。银行业的脚手架就是证明;当不可逆性和偏见增加风险时,医疗保健机构审慎的临床步伐是正确的反应。今天构建的模式是明天的模板。零售业的身份框架和供应链的架构护栏将被那些仍在追赶的人借用。问题不在于是否部署,而在于如何按照每个环境所需的规模和节奏进行治理。

著名的启蒙运动哲学家约翰·洛克建议:“没有法律,就没有自由。”当规则制定得当时,其影响不是废除我们的自由或限制我们的生活,而是通过防止他人侵犯我们的权利来保护和扩大我们的自由。在这方面,人工智能开发商、企业、政府和公共利益应该在各个党派和各大洲都站在同一边。 

如果治理做得好,治理就能使采用持久。那些以智能方式建立代理系统的公司,既不是一律快,也不是一律慢,其代理系统在五年后仍将运行并受到信任。

**本文是耶鲁大学首席执行官领导力研究所 (CELI) 关于 Agentic AI 跨行业和部门采用状况的四部分系列文章的第三部分。该研究旨在帮助首席执行官了解代理系统部署的当前和预期步伐,以及迫使他们做出的战略决策。在过去六个月中,CELI 研究人员分析了数百家公司材料和行业分析,并与美国各地的高级技术领导者进行了数十次对话。分析的行业包括金融服务、快速消费品、食品和饮料、医疗保健、保险、制造、专业服务、房地产和住房、零售、供应链和物流、电信、旅游和酒店以及公共部门。该系列研究了研究结果的四个含义:劳动力市场影响,数据基础设施准备情况、治理和监管政策以及客户体验。

Catherine Dai、Zander Jeinthanuttkanont、Yevheniia Podurets、Jasmine Garry、Johan Griesel、Andrew Alam-Nist、Peter Yu 和 Christian Ruiz Angulo 的研究贡献

Fortune.com 评论文章中表达的观点仅代表作者的观点,并不一定反映以下观点和信念: 财富。Fortune.

关于《Anthropic最强大的人工智能模型刚刚暴露了公司治理的危机。这是每位首席执行官都需要的框架。|财富》的评论

暂无评论

发表评论

摘要

Anthropic 的 Claude Mythos Preview 模型标志着人工智能能力的重大进步,实现了超人的编码和推理。该模型揭示了之前数百万次尝试未能发现的长期存在的软件缺陷。为了解决其代理能力带来的安全风险,Anthropic 启动了 Project Glasswing,为网络安全机构和大公司提供有限的访问权限,以识别关键系统漏洞。如此强大的人工智能的出现凸显了对强大治理框架的迫切需要,以确保问责制、透明度和数据隐私。各个司法管辖区的现行法规差异很大,形成了分散的合规环境。私营部门治理模式对于建立消费者信心和确保安全融入工作场所至关重要。银行、医疗保健、零售和供应链物流等关键行业在部署代理人工智能方面面临着独特的挑战,受到现有监管框架的影响,并且需要严格监督以防止不可逆转的错误和偏见放大。成功的部署需要使治理实践与行业特定的限制和机会保持一致。