人工智能解释性：如何避免橡胶stamping建议

连续第四年，麻省理工学院斯隆管理评论波士顿咨询集团（BCG）组建了一个国际AI专家小组，其中包括学者和从业人员，以帮助我们了解全球范围内如何在整个组织中实施负责任的人工智能（RAI）。在2025年春季，我们还进行了全球执行调查，该调查产生了1,221个回复，以了解组织正在处理负责人AI的程度。在今年的第一篇文章中，我们专注于对通用AI生产商的问责制。在本文中，我们研究了解释性与人类监督之间在为AI系统提供责任制时的关系。

在AI治理的背景下解释性是指为人类提供清晰，易于理解和有意义的解释的能力为什么AI系统做出了一定的决定。它与更具技术性的概念密切相关，但更广泛解释性，重点是理解如何模型的输入会影响其输出。这两个概念都旨在提高日益复杂和不透明的AI系统的透明度，并且在最近的调节努力中也反映了这些概念。例如，《欧盟AI法案》需要这一点高风险AI系统的设计旨在实现有效的人类监督并授予个人有权获得清晰有意义的解释来自部署系统的实体。韩国全面的人工智能法引入了对高影响力系统（例如医疗保健，能源和公共服务等领域）的类似要求，以解释AI基本决定背后的推理。公司通过启动商业治理解决方案来响应这些要求仅解释性市场预计到2028年将达到162亿美元。对解释性和监督的越来越重视导致一个自然的问题，即一个人是否可以在没有另一个的情况下存在，这就是为什么我们要求小组对以下挑衅做出反应：

有效的人类监督减少了对AI系统中解释性的需求。明显的多数（77％）不同意或强烈不同意这一说法，认为解释性和人类的监督是互补的，而不是竞争的AI问责制的各个方面 - 一个人的存在并不会减少对方的需求。除了解释性在帮助人类对AI输出的控制方面发挥的实际作用外，我们的专家还强调，它促进了更深层次的社会价值观，例如信任，透明度，公平和正当程序。

在没有解释性的情况下，他们警告说，人类的监督者被简化为机器做出的橡胶stamp制决定，从而对这些价值产生了威胁。尽管如此，他们仍然承认解释性在实践中仍具有其限制。下面，我们分享小组成员的见解，并借鉴自己的RAI经验，推荐组织如何通过有意义的解释性和人类的监督来加强AI问责制。

解释性和人类的监督是AI问责制的互补性，而不是竞争。我们的大多数小组成员都相信这一点，因此认为有效的人类监督不会减少对解释性的需求。如Bruno Bioni，Brasile Brasil的创始董事Bruno Bioni所说，解释性和人类的监督构成了AI治理框架内的补充和相交的保障措施。

他进一步解释说，“他们的相互关系并不能使他们相互排斥，也没有否定或减少另一个人的相关性。作为补充力量而不是替代力。

这种互补性源于以下事实：人类的监督和解释性具有不同的用途。Formanity的S Ryan Carrier解释说，“人类的监督与解释性有很大不同的目的，因此不应将它们视为彼此的权衡或替代。

艾伯塔省机器智能研究所（Alyssa s alyssa lefaivre）ÅKopac指出，“人类的监督对于确保AI安全地使用和负责任地使用至关重要，但这并不能使您对解释性的需求进行解释。

澳大利亚国立大学的贝洛纳·索纳（Belona Sonna）强调了解释性通过提供对模型的运作方式来促进有效的人类监督，这对于识别和解决潜在的偏见，歧视或不平等的潜在来源至关重要。换句话说，解释性不仅仅是系统输出。

最终，解释性使人类能够理解机器为何做出的决定，而人类的监督确保了人工智能系统的产出是准确​​的，没有无法预料的风险，并且与组织价值观一致。结果，H＆M集团的琳达·利奥波德（Linda Leopold）认为，没有减少对解释性的需求，而是有效的人类监督实际上依赖于此，她将人类的监督描述为确保系统以预期的方式行事。”

承运人回应了这一观点，并指出人类的监督对于间歇性，控制，一致性和风险管理是必要的。Iags ben Dias补充说，解释性有助于AI最终用户和系统操作员 - 了解输出，更容易地识别出异常值和错误，而人类的监督对于确保AI系统按预期运行并减轻不可预见的后果的风险至关重要。”

解释性促进了更深层次的社会价值，以避免人类仅仅是橡皮戳机。除了实际的好处外，我们的小组成员还认为，解释性支持更深层次的社会价值观，例如信任，透明度，公平和正当程序，仅由人类的监督无法提供。正如Monteiro所说的那样，解释性功能不仅具有促进人类的监督，而且最终反映出超越了操作考虑因素的自治，公平，正当程序和问责制的更深层次的社会价值。”

Marwala同样强调，尽管监督是一种至关重要的立即保护，但解释性提供者具有更深，更持久的价值（因为它）促进了透明度，建立信任，并基于声音的理解。诊断，因为AI系统容易出错。他说，在不了解诊断背后的原因的情况下接受错误率并没有专业的正确性。”他说。纳斯达克的道格拉斯·汉密尔顿（Douglas Hamilton）同样指出，人类正在寻求满足的解释，即与我们的直觉感觉相匹配，或者我们对为什么发生事情的专业知识，这与AI系统经常给出的严格计算解释不同。

几位小组成员在包括ÅKopac指出的ÅKopac指出，围绕如何做出决策的透明度来建立信任。DIAS同意，说明，解释性帮助最终的用户理解其与AI系统的互动的情况，他可以在确定最终的情况下建立信任，这是在解释性的范围内，包括ÅKopac，他补充说，这是可以解释的。

奥德西亚（Idoia of Odiseia）的艾多亚·萨拉萨（Idoia Salazar）还强调了可解释性对后果决策的重要性，并断言“对AI系统的信任不能仅依靠人类的监测[但是]需要透明，可解释的系统来实现人类的判断。提供医学诊断；提供或拒绝获得基本服务，例如金融服务或学校入学；并估计社会服务欺诈的可能性。乔杜里说，这种关系是由诸如欧盟AI法案之类的法规加强的，该法规推动了在高风险应用程序中反对黑盒系统。

在高风险环境中对AI解释性的需求增强也源于公平和正当程序的基本概念。Bioni说，“缺乏设计可解释性可以严重损害有意义的人类干预措施，我们越来越指定的是自动决策的信息正当程序。函数。最后，载体吸引了解释性要求，说，用清晰而普通的语言描述AI系统的基本逻辑及其潜在后果的要求是正确的。

实际上，几位专家强调，没有解释性的人类监督只能是肤浅的。DBS Bank的同一家Gupta警告说：“如果没有明确了解AI系统的结论以及为什么人的结论，监督变得肤浅，将人的参与减少到橡皮图章而不是进行批判性检查。

切斯特曼（Chesterman）回应了这一点，并指出，随着时间的流逝，不透明度可以鼓励任何人在循环中的概念上的橡皮戳角色。对人工智能系统的监督的增加实际上可能会增加，而不是减少对解释性的需求。

实际上，AI解释性有限制。尽管可解释性的实用性和原则性的重要性，但我们的小组成员承认，在每种情况下，它并不总是可行或必要的。标准特许银行的大卫·R·哈登（David R.

切斯特曼指出，透明度和解释性在复杂性和表现方面取决于权衡。

阿波罗全球管理公司的卡蒂亚·沃尔什（Katia Walsh）走得更远，说，AI的解释性是一种谬论，争辩说，AI推理系统已经达到了与人类大脑相媲美的复杂性和复杂性的水平。最后，ÅKopac强调，在这些情况下，有时可能会出现在这些情况下，并且在这种情况下进行了批判性的挑战，并且可以肯定地进行了良好的范围。

建议

总而言之，我们为寻求通过人类的监督和AI系统解释性提供有意义问责制的组织提供了以下建议：

1。应设计AI系统以实现有效的人类监督。为了实现人类的监督，需要AI系统来产生或反对结果的证据；包括详细的审核和更改日志；监视和比较拒绝率与测试中观察到的拒绝率；升级的旗帜决定；并以上下文指标或置信分数为单位；除其他措施。

2。需要培养人类的监督能力。超越系统设计，请确保系统用户在AI中进行全面培训，并使用特定的系统来发展人类的监督能力。内容或过程专业知识不足以有效地监督AI系统。用户还必须了解AI的限制，偏见和失败模式，以做出明智的判断，进行适当干预，并确保在AI辅助决策中责任。

3.人类对AI系统使用的监督必须解决多种类型的解释性。在某些用例中，有效的人类监督必须始终涉及审查AI系统的解释（例如违反直觉的医学诊断）。在其他情况下，有效的人类监督可能不太频繁（例如库存管理或定价建议）。考虑：在什么条件下，有效的人类监督需要对AI系统决策解释进行审查？您的组织如何避免解释性剧院？

4。有意义的问责制必须避免控制幻觉。解释性和人类的监督只有在导致真正的理解和有意义的责任制时才重要。如果实用的约束限制了解释性，则强调太多会产生错误的控制感。同样，表面的监督可以在没有实质的情况下给予责任。组织应该评估解释性和疏忽在上下文中实际工作，并调整其方法以匹配实践中最有意义的方法，而不是坚决遵守正式理想。