建立人工智能信任：可解释性的关键作用

人工智能有潜力交付经济生产力的巨大提高并启用积极的社会变革世界各地。因此，采用人工智能驱动的软件、工具和平台（包括生成式人工智能 (gen AI)）的公司数量不断增加也就不足为奇了。2024年全年飙升。但这种热情伴随着相当多的恐惧：在麦肯锡的研究中，91% 的受访者怀疑他们的组织是否“做好充分准备”安全、负责任地实施和扩展该技术。¹快速、安全地实施生成式人工智能,——麦肯锡季刊，2024 年 3 月 13 日。这样的疑问是可以理解的。除了提高生产力和创新的潜力外，新一代人工智能还带来了新的风险——例如幻觉和不准确或有偏见的输出——这可能会破坏人们对这项技术的信任。

为了充分发挥人工智能的潜在价值，组织需要建立信任。事实上，信任是采用人工智能产品和服务的基础。毕竟，如果客户或员工对人工智能系统的输出缺乏信任，他们就不会使用它们。对人工智能的信任来自于了解人工智能驱动的软件的输出以及它们是如何创建的（至少在高水平上）。组织越来越认识到这一点。在一个麦肯锡 2024 年人工智能现状调查，40% 的受访者认为可解释性是采用 gen AI 的一个关键风险。但与此同时，只有 17% 的人表示他们目前正在努力缓解这一问题。²2024 年初人工智能的状况：新一代人工智能的采用激增并开始产生价值，麦肯锡，2024 年 5 月 30 日。

这一难题提出了增强人工智能可解释性 (XAI) 的需求，这是一种构建人工智能系统的新兴方法，旨在帮助组织了解这些系统的内部工作原理并监控其输出的客观性和准确性。通过揭示所谓黑盒人工智能算法的复杂性，XAI 可以提高人工智能工具使用者之间的信任和参与度。这是至关重要的一步，因为人工智能计划经历了从早期用例部署到大规模企业范围采用的艰难历程。

为什么投资此功能：从 XAI 获得投资回报

与在不确定环境中进行的任何投资一样，寻求增强人工智能可解释性的组织必须考虑收益和成本，以在缺乏有关潜在优势和风险的完整信息的情况下决定如何以及何时采取行动。当今的人工智能领域充满了不确定性，在这种背景下，像 Anthropic 这样的领先人工智能实验室正在押注，对 XAI 的投资将获得回报，作为在拥挤的基础模型构建器领域实现差异化的一条途径（参见侧栏）[XAI 的演变和当今的挑战]）。与此同时，企业也在寻求满足利益相关者和监管者的期望。

有一点是肯定的：对 XAI 的需求正在上升。随着全球人工智能法规开始形成，对可解释性和解释性的需求不断增加，越来越多的组织正在寻求指导方针，以确定采用何种程度的可解释性以及发布多少有关其模型的信息。这欧盟人工智能法案例如，针对根据其基于风险的框架分类的不同人工智能用例提出了特定的透明度要求。例如，对于高风险人工智能系统（例如招聘中使用的系统，如 rsum 排名软件），组织需要提供有关系统的信息其功能、限制、数据沿袭及其决策背后的逻辑。

想象一下驾驶汽车。如果您的车辆没有车速表来指示您相对于标准的位置，那么设置 45 英里/小时的速度限制是没有用的。同样，为了响应人工智能法规，组织需要提供一些方法来了解人工智能模型的构建方式以及发布前如何进行测试。组织还需要可观察性解决方案，能够充分洞察其人工智能模型，以确保它们遵守法规以及自己的价值观和标准。这就提出了关键问题：组织是否准备好提供这种级别的透明度？他们是否具备必要的能力和技术？平台和创新者是否创建了可靠的测量方法？

XAI 最好被认为是一组工具和实践，旨在帮助人类理解人工智能模型为何做出特定预测或生成特定内容。最终目标是确保这些输出具有高质量，不受偏见、不准确或幻觉的污染。这需要对工具、人员和流程进行多种投资。构建更可解释的人工智能机器学习解决方案– 需要从一开始就在软件交付生命周期 (SDLC) 中部署新技术，即模型经过训练和测试或预训练模型经过微调时，到代码投入生产并需要持续监控和可观察性时结束。XAI 技术的专业知识必须通过招聘和/或培训来建立，并且专家必须从新的人工智能产品的概念开始就融入到 SDLC 中。这些专家可以组建 XAI 卓越中心 (COE)，为跨团队提供专业知识和培训，重塑软件开发生命周期并确保协调企业范围内的工具和培训投资。COE 还可以满足额外计算能力和云消耗的需求，以提供对于增强可解释性至关重要的额外培训、培训后和生产监控。

我们如何确保这些通常处于早期阶段的技术投资获得回报？虽然 XAI 仍在从学术界和研发实验室的以研究为重点的努力转向现实世界的应用，但它的好处比通常想象的要明显得多。我们认为 XAI 可以在五个领域带来回报，从而推动积极的投资回报率：

1. 降低运营风险。通过揭示人工智能模型如何处理数据和产生结果，XAI 能够及早识别和缓解潜在问题，例如偏见或不准确，从而降低运营失败和声誉受损的风险。例如，许多金融服务公司在欺诈检测中使用人工智能，但往往很难控制或理解为什么他们的人工智能系统会这样做——这是一个潜在的问题，考虑到欺诈误报对公司和公司都有多大的破坏性和客户。可解释性可以增加组织对为什么模型标记某些交易的理解，使他们能够微调他们的系统或引入更多的人为监督。
2. 监管合规性和安全性。XAI 确保人工智能系统在行业、道德和监管框架内运行，最大限度地降低违规处罚的风险并保护品牌诚信。例如，在人力资源领域，许多招聘人员使用人工智能工具来帮助筛选和选择候选人。可解释性确保招聘决策公平且基于相关标准，避免偏见和歧视。
3. 持续改进。XAI 通过深入了解系统的运行方式、促进有针对性的调试和迭代改进来支持人工智能系统的不断完善，从而帮助开发人员保持人工智能系统与用户和业务期望保持一致。例如，许多在线零售商利用可解释性来改进其推荐引擎，以便更好地将推荐与客户偏好相匹配。
4. 利益相关者对人工智能的信心。通过尝试让人工智能系统变得易于理解，XAI 将重点从模型的技术功能转移到这些模型的用户身上，培育以人为本的方法，通过增强用户对人工智能输出如何生成的理解来增强用户的能力。例如，在医疗保健领域，人工智能系统越来越多地用于识别潜在疾病。XAI 可以帮助医生更好地理解这些模型的行为原因，从而提高信心和采用率。
5. 用户采用。XAI 帮助组织监控模型输出与用户期望之间的一致性。反过来，更大的一致性可以提高采用率、满意度，并最终通过创新和变革管理实现营收增长。

XAI 不是也不可能是事后的想法。相反，通过将可解释性集成到人工智能系统的设计、开发和治理中，组织可以通过促进采用、提高人工智能模型性能和增强用户信心来释放有形价值。XAI 也不仅仅是合规问题或要求。它是采用、信任和最终业务成功的战略推动者，是在整个组织内最大化人工智能技术价值的关键工具。

XAI 是以人为本的人工智能方法的催化剂

当组织考虑投资以获得 XAI 回报时，他们首先必须了解所涉及的不同群体的多样化需求，并根据这些需求调整其可解释性工作。不同的利益相关者、情况和后果需要不同类型的解释和格式。例如，人工智能驱动的贷款审批系统所需的可解释性水平与了解自动驾驶汽车如何在十字路口停车所需的可解释性水平不同。高风险情况（例如癌症诊断）可能需要快速提供准确的解释，而餐厅推荐的理由则可以不那么紧迫地处理。无论什么情况，所需的解释类型（告知所需的 XAI 技术）都应通过以下方式得出：以人为本的方法“它植根于人们寻求人工智能输出解释的需求（参见侧边栏“以人为本的人工智能可解释性方法”）。

将人工智能的可解释性视为跨越鸿沟的桥梁是有帮助的。一方面是在学术界和研究实验室研究和设计可解释性技术的工程师和研究人员，而另一方面是最终用户，他们可能缺乏技术技能但仍然需要人工智能理解。介于两个极端之间的是精通人工智能的人文主义者，他们寻求翻译研究人员和工程师开发的人工智能解释，以响应不同利益相关者和用户群体的需求和问题。这些新兴人才将成为设计适合所有人的 XAI 的关键。

利益相关者的需求可以分为六个角色，每个角色都受益于不同的技术和解释：

• 行政决策者需要对模特有足够的了解和信息，以便对其针对客户和员工的行为负责，特别是确保模特的行为符合组织的战略、品牌精神和价值观。
• 人工智能治理领导者组成一个跨职能小组（由法律、风险、信息安全、工程和产品等职能部门组成），负责根据政策、标准和法规塑造人工智能系统。
• 受影响的用户需要解释他们从人工智能模型中得到的结果。
• 商业用户需要洞察力来增强日常决策、改进流程并优化运营效率。
• 监管机构/审计机构需要模型的解释和可解释性，以确保它们随着规则和法规的发展而安全且合规。
• 开发商需要对模型的功能进行解释，以便他们可以改进和调试这些不确定性系统，添加训练后增强功能，并确保人工智能模型提供预期结果。

除了这些不同的利益相关者之外，不同的背景和风险场景也会影响所提供解释的格式。解释可以采用数据可视化或文本报告的形式，并且在技术细节上会有所不同。了解每个利益相关者在特定时间的具体需求对于提供有效且有意义的人工智能解释来满足他们的独特需求至关重要。

XAI 是如何工作的，有哪些技术可用？

为了满足这些多样化的需求，XAI 社区不断创建新的可解释性技术，其中涉及使 AI 模型的决策过程更加透明的算法。这些可以根据利益相关者的意图和目标进行分组。一般来说，技术可以沿着两个维度进行分类：解释产生的时间（模型训练之前或之后）和解释的范围（全局或局部）。

XAI 技术的第一个宏观类别包括“事后方法”，它涉及在训练模型后对其进行分析，与“事前方法”相反，指的是本质上可解释的模型，例如决策树。例如，当人力资源部门试图预测哪些员工更有可能离开组织时，决策树可以透明地显示为什么某些员工根据工作满意度、任期和工作量等因素被识别为流动风险。在这种情况下，事前解释是人工智能模型及其功能所固有的。相比之下，使用神经网络来预测医疗保健环境中糖尿病或心脏病等疾病风险的人工智能模型需要事后或在生成结果后提供解释。大多数情况下，它通过应用技术（例如 SHAP 或 LIME）来确定哪些因素（例如年龄、生活方式或遗传）对风险评分影响最大，并确定风险评分是否准确且公正。

第二个维度区分全局解释和局部解释。全局解释帮助我们了解人工智能模型如何在所有情况下做出决策。想象一下一家银行使用人工智能模型来评估贷款申请。通过使用全局解释工具（例如布尔规则列生成），银行可以了解哪些因素（例如收入、债务和信用评分）通常会影响所有客户群的贷款审批决策。全局视图揭示了该模型在整个客户群中遵循的模式或规则，使银行能够确认该模型符合公平贷款法规并公平对待所有客户。在贷款申请模型上部署 XAI 算法为信贷员提供了丰富的信息基础和统计见解，以了解驱动系统决策的因素，使他们能够自信地向客户和监管机构解释审批模式。

相比之下，本地解释则侧重于具体决策。考虑一个医疗保健环境，医生使用人工智能来帮助诊断患者。通过应用本地解释工具（例如 SHAP），医生可以准确地了解为什么模型预测了特定患者的某种状况 - 例如，显示患者的年龄、医疗状况历史和最近的测试结果影响了模型的预测。这种详细程度可以帮助医生了解模型对个别病例的推理，因此他们对其建议更加信任，并可以提供更明智的个性化护理。

除了这两个宏观类别之外，人工智能可解释性技术还可以根据用例及其上下文映射到不同角色的需求，例如帮助开发人员调试系统以提高准确性或加强偏差检测或协助产品领导者改进个性化工作。AI 实验室正在进行大量学术和研究工作，以增强和改进可用的功能范围，以满足对 XAI 不断增长的需求，并与以用户为中心的设计有效配合，以满足本文前面描述的六种角色的需求。

如何开始使用 XAI

鉴于用于获取人工智能模型解释的适当技术是由在不同上下文中需要解释的角色告知的，组织应该考虑几个步骤将可解释性方法嵌入到其人工智能开发中。

建立合适的 XAI 团队

组织应该创建真正的跨职能团队，包括数据科学家、人工智能工程师、领域专家、合规领导者、监管专家和用户体验 (UX) 设计师。这个多元化的团队确保可解释性工作能够解决技术、法律和以用户为中心的问题。数据科学家和人工智能工程师将专注于技术方面，而领域专家和设计师则提供针对具体情况的见解并塑造解释的内容和格式。

树立正确的心态

XAI 团队应该由建设者组成，而不是法官。它应该专注于加速创新，同时确保对正在构建的产品或服务提供正确的见解。要做到这一点，团队需要在想法被塑造成可构建的概念时参与进来，而不是在后期阶段。早期参与有助于在人工智能领域建立以人为本的工程文化，同时避免“工程师”和“解释者”之间的下游冲突。

定义明确的目标

为每个利益相关者角色设定人工智能可解释性的明确目标。确定需要解释什么、向谁解释以及为什么。这涉及采访主要利益相关者和最终用户并了解他们的具体需求。建立明确的目标有助于选择正确的技术和工具并将其集成到构建计划中。

制定行动计划

创建嵌入可解释性实践的策略，从人工智能解决方案的设计到向不同利益相关者传达解释的方式。前者确保在整个人工智能生命周期中采用可解释性工具。后者涉及决定格式（可视化、文本描述、交互式仪表板）和技术细节级别（高管的高级摘要与开发人员的详细技术报告）。确保解释清晰、简洁并适合受众的理解。

衡量指标和基准

人工智能的可解释性还需要大力推动全行业的透明度和标准化基准，这不仅可以帮助用户更好地理解人工智能系统，还可以符合监管期望。例如，Hugging Face 的基准测试工作，其中衡量和跟踪欧盟人工智能法案的遵守情况，以及计算机辅助人工智能该倡议专注于评估和衡量模型透明度，是加强问责制的重要步骤。随着这些框架的成熟，它们对于在整个行业中培养信任和推进负责任的人工智能实践至关重要。

选择或构建适当的工具

采用并集成符合组织需求和技术堆栈的可解释性工具。一些广泛使用的工具包括开源算法，例如 LIME、SHAP、IBM 的 AI Expandability 360 工具包、Google 的 What-If Tool 和 Microsoft 的 InterpretM。确保XAI核心团队密切关注该领域的快速创新。

监控和迭代

持续监控可解释性工作的有效性并收集利益相关者的反馈。使用此反馈来迭代和改进可解释性流程。定期更新模型和解释，以反映数据和业务环境的变化。

通过遵循这条路径，组织可以成功地将可解释性嵌入到他们的人工智能开发实践中。那么，人工智能的可解释性不仅会提高透明度和信任度，还能确保人工智能系统符合道德标准和监管要求，并达到创造真正成果和价值的采用水平。

随着企业越来越依赖人工智能驱动的决策，对透明度和理解的需求在组织的各个层面变得至关重要。那些未能建立信任的企业将错失为客户和员工充分发挥人工智能潜力的机会，并将落后于竞争对手。

最终，信任将成为负责任地采用人工智能并弥合变革性技术与其人类用户之间差距的关键。然而，信任不能独立存在。作为桥梁，必须有坚固的柱子支撑。对于人工智能信任来说，这些支柱是可解释性、治理、信息安全和以人为中心。这些支柱将使人工智能及其人类用户能够和谐互动，使人工智能为人类服务，而不是相反，并为确保人工智能系统为用户提供有形价值的同时保持对人类的尊重奠定基础。自主权和尊严。