首席信息官们求助于 NIST 来解决生成式人工智能的诸多风险 - CIO Dive

2024-09-30 11:02:42 英文原文

Discover Financial Services 正在采用经过计算的方法来实现生成式 AI。

从实验和试点到整个企业的用例,该金融机构通过分配特定的防护栏来评估如何最好地使用生成式 AI基于风险。无论该技术是面向客户还是用于后台任务,该流程都可以通过清晰的视角更好地识别价值并确定项目的优先级。

该方法还为 Discover 提供了更多保护,使其免受产生巨大风险的影响人工智能带来了。

所有这些都满足我们的标准、期望和相关政策,但它仍然是人为因素,Discover 首席信息官 Jason Strle 告诉 CIO Dive。这是我们如何减轻风险的一个非常重要的部分,[并且]这将持续一段时间。

发现风险降低策略严格遵循美国国家标准与技术研究所制定的指导,该公司于 7 月发布了生成式人工智能风险管理框架草案。

NIST 人工智能风险管理框架与金融风险管理、非金融风险管理或银行的操作风险管理非常非常一致。“需要做,”斯特尔说。这种模式非常熟悉。

随着企业谨慎对待生成式人工智能,NIST 的风险缓解指南是企业在技术快速发展时试图确定最佳起点的起点。即使领导者渴望获得广泛、大规模的生成式人工智能集成的潜在回报,他们也会优先考虑避免失误和制定整体采用计划的努力。

NIST 框架的受欢迎程度并不高。巧合。该政府机构多年来一直致力于强化网络安全标准,这些标准得到了广泛认可,现在也正在为成为生成人工智能的标准机构奠定基础。

丰富的选择

对于 Discover,Strle 将 NIST 自愿框架分为三个步骤:

  • 确定能力在何处产生风险。
  • 证明组织了解如何量化和减轻风险。
  • 每日监控。

NIST 文本的最终版本是乔·拜登总统去年 10 月行政命令的结果,提供了 200 多个风险 -为部署和开发生成式人工智能的组织采取缓解措施。这是 4 月份发布的初始迭代中 400 个步骤的精简版本。

NIST AI 指南重点关注一系列广泛的风险,包括信息完整性、安全性、数据隐私、有害偏见、幻觉和环境影响。该框架为组织提供了情境化和降低风险的方法。

例如,为了防止生成错误的输出,NIST 提供了企业可以采取的大约 19 种不同的行动,例如建立最低绩效阈值和审查作为部署审批政策。

NIST 并不是唯一致力于提供生成式 AI 采用指导的公司。

随着供应商急于将生成式 AI 嵌入到解决方案中,行业团体和倡导机构努力澄清围绕模型评估、风险管理和负责任的流程的混乱。

这些努力产生了大量的指导方针、政策建议和护栏选项,但没有单一的事实来源。

国际标准化组织于 12 月发布了以人工智能为重点的管理系统标准。麻省理工学院在 8 月份推出了人工智能风险数据库,呼吁人们关注 700 多种威胁,几家专业服务公司已经创建了治理框架。

越来越多的选择是否让首席信息官们陷入困境,或者实际上有帮助,这取决于“我认为这不是一个简单的答案,”Strle 说。拥有更多方法来缓解威胁并不总是富有成效,因此企业领导者需要弄清楚业务需要保护哪些内容。

长期袖手旁观只是一种选择。

>

高管们正在应对世界各地对人工智能的收紧监管,从欧盟人工智能法案到加州颇具争议的参议院第 1047 号法案,加州州长加文·纽瑟姆 (Gavin Newsom) 周日否决了该法案。大多数领导人预计未来会有更严格的要求,企业正在审查和更新其现有做法以走上正轨。

我必须做好准备,因为最终它会推广到其他州AAA(汽车俱乐部集团)的执行副总裁、首席运营官和技术官 Shohreh Abedi 表示。该组织去年专注于嵌入生成式人工智能,业务遍及 14 个州、加拿大一个省、波多黎各和美属维尔京群岛。

我们不能把头埋在沙子里,阿贝迪说。

首席信息官们划清界限

首席信息官们越来越厌倦了关于生成式人工智能可能做什么的看似空洞的承诺,并希望将言论转化为行动。然而,技术的风险清单需要更细致的安全概述,需要新的框架、最佳实践和培训。

虽然有数百种方法可以减轻生成式人工智能的风险,但技术领导者不一定需要分析师告诉 CIO Dive,不要急于部署全部风险。

Prevalent 合规专家兼内容经理 Thomas Humphreys 表示,CIO 应该识别最关键的风险,无论是声誉损害还是知识产权角度。。这样的思考将开始帮助确定哪些缓解技术对企业最有用。

使用生成式人工智能工具时保护知识产权已成为持续争论的焦点,因为第三方访问的便利性工具和员工的渴望导致了影子人工智能的激增。

Gartner 分析师预测,企业用于遏制知识产权损失的支出将损害未来两年的投资回报率并减缓采用速度。

NIST 建议组织定期监控并解决敏感数据泄露问题。在 AAA 北美第二大俱乐部,阿贝迪表示,该组织禁止员工自由地将敏感信息放入模型中或使用专有数据来训练模型。

我们说的第一件事是,你不能使用我们的任何数据Abedi 告诉 CIO Dive,“你可以利用这些资源来开发你自己的生成式人工智能”。我们将进行监控,如果我们发现您从我的资产中创建了一个帐户,我们就会来找您并将其关闭。

鼓励员工提出解决痛点的用例想法,阿贝迪说,但该组织不愿意潜在地允许未经授权的第三方提供商完全访问其专有信息。

在与利益相关者对话和风险评估之后,NIST 强调了这一策略,从而达成了平衡。

了解风险承受能力

NIST 建议组织将风险承受水平作为核心管理原则来缓解风险。

友好且可接受的电气和电子工程师协会高级会员 Rahul Vishwakarma 表示,方法将是首先评估实施人工智能的业务需求,而不是仅仅将所有人工智能风险缓解指南视为灵丹妙药。

当Discover 考虑将生成式人工智能添加到工作流程中,企业会牢记当前的界限。

如果它完全自主并回答最近的 ATM 在哪里,那就是一种风险状况,Strle 说。当您做出的决定将影响客户的财务生计或财务结果时,您拥有完全的自主权,嗯,这是一组非常非常高的风险状况需要管理,但目前还没有。

发现有控制和护栏到位,但它依赖于经过培训并有权访问使用政策和程序指南的员工来区分生成式人工智能输出的价值。NIST 在其指南中也推荐了这一策略。

联络中心所做的很多事情都是人在循环中进行的,您可以利用这些生成式 AI 功能,而这与联络中心并行发生特工正在做他们的工作,斯特尔说。最终决定权在人类手中,人类遵守所有培训和流程。

当生成式人工智能在特定用例中确实具有一定程度的自主权时,首席信息官需要制定一个计划,以应对模型出错时会发生的情况。对于一些技术领导者来说,关闭开关至关重要。

亚利桑那州格伦代尔市在批准对其市政厅进行重大翻修时,转向生成人工智能来解决紧迫的支持问题,据前 CIO 和 CISO Feroz Merchhiya(现任加利福尼亚州圣莫尼卡市 CIO 职位)所说。

我完全控制了数据,并且控制了系统,如果它Merchhiya 表示,如果它不起作用或发出错误的建议,我可以将其关闭。他指的是该公司以企业为中心的 IT 支持副驾驶工具。我有一个机制来纠正问题,通过部署人力资源来解决问题。

技术领导者告诉 CIO Dive,风险缓解和实施计划一起设计时效果最佳。

Strle 表示,Discover 的前期工作是为了了解如何在联络中心最好地使用生成式人工智能,同时还对与已确定的用例相关的风险进行评估。

我们创建的所有控制措施和金融服务都必须是可持续的斯特尔说,在无限期的时间内,它[必须]考虑到我们所经营的行业的所有动态,而这个行业是不断变化的。在我看来,NIST 框架是同一基本模式的延伸。

CIO 的下一步

虽然有些企业在风险管理方面取得了进展,但研究表明存在一致的差异部署生成式人工智能的企业数量与负责任、安全实践的普及程度之间的差距。

分析师将这种滞后归因于技术创新和采用的快速步伐。

我对首席信息官的看法Forrester 高级分析师 Rowan Curran 表示,他们面临的挑战更大,因为他们必须就技术做出非常困难的决策,甚至比以往任何时候都更困难,因为这些工具、技术和模型的发展速度非常快。

虽然它引起了企业的兴趣,但生成式人工智能仍在不断发展,其最佳实践尚未固化。

此外,管理风险并不总是那么简单。毕马威 (KPMG) 最近的一项调查显示,超过五分之三的高管预计未来三到五年内他们将承担的风险水平显着增加。大约五分之二的人预计其风险管理预算的一半以上将用于技术。

Freshworks 首席信息官 Ashwin Ballal 告诉 CIO Dive,目前尚未制定规定性标准,但这些标准将随着时间的推移而发展。现在,就像我们都有一把人工智能锤子,我们认为一切都是钉子。

但转变正在发生。

企业很快就厌倦了实验和试点阶段。随着领导者将用例与成功指标联系起来,充满炒作的面纱正在揭开早期采用者的面纱。

据德勤称,自今年年初以来,高级管理人员和董事会对生成式人工智能的兴趣有所下降研究于 8 月发布。

根据 Arize AI 研究的结果,财富 500 强公司也更有可能在证券备案中将人工智能列为潜在风险因素,而不是强调其好处或用例。最近的年度报告。

热情下降之际,大多数组织除了风险管理之外,还面临着与技术债务和基础设施不足相关的采用障碍。尽管如此,企业仍然希望他们的人工智能计划能够取得成果,使用 NIST 建议采取的行动等框架来遏制采用风险。

Curran 说,你必须向领导层提出建议和建议。成为教育人们了解这项技术如何产生影响、它如何与业务目标联系以及实现目标的途径是什么的人。

编者注:本文已更新,以反映州长加文·纽瑟姆 (Gavin Newsom) 的情况周日否决了加州的人工智能法案提案。

关于《首席信息官们求助于 NIST 来解决生成式人工智能的诸多风险 - CIO Dive》
暂无评论

摘要

Discover Financial Services 正在采用计算方法来实现生成式 AI。从实验和试点到整个企业的用例,该金融机构通过根据风险分配特定的防护栏来评估如何最好地使用生成式 AI。随着企业谨慎对待生成式人工智能,NIST 的风险缓解指南是企业在技术快速发展时试图确定最佳起点的起点。使用生成式 AI 工具时保护知识产权已成为持续争论的焦点,因为第三方工具的便捷性和员工的渴望导致了影子 AI 的激增。Gartner 分析师预测,企业用于遏制知识产权损失的支出将损害投资回报率并减慢投资速度未来两年内采用。Merchhiya 表示,我可以完全控制数据,也可以控制系统,如果它不起作用或发出错误的建议,我可以将其关闭。他指的是该公司以企业为中心的 IT 支持副驾驶工具。首席信息官的下一步虽然有些企业在风险管理方面取得了进展,但研究表明,部署生成式人工智能的企业数量与负责任、安全实践的普及程度之间始终存在差异。