人工智能系统解释性的要求和限制 - Hello Future Orange

•您是否想过AI是如何做出决定的？挑战至关重要：使人类能够了解人工智能系统的结果。
•可解释的AI技术结合了旨在显示算法的操作逻辑的方法和过程，并向用户提供了AI如何做出决策的清晰解释。
•根据上下文，目标受众和算法的影响，已经有无数的技术。这是没有考虑生成AI系统的发展的，这在解释性技术方面提出了新的挑战。

什么是解释性，为什么我们需要它？

在这里，在各种定义的背景下，我们提出了标准ISO 22989关于AI术语。该引用将AI系统的属性定义为表达影响的重要因素AI系统以人类可以理解的方式产生了一种方式。但是，该定义可以扩展到理性元素，以解释系统的行为，而不仅仅是结果。

在同一标准下，AI系统的透明度是属性有关系统的适当信息可用于相关的利益相关者。这可以包括其特征以及解释元素，局限性或设计选择。

另一方面，可解释性是指目的对于目标受众理解系统的行为，无论是否使用解释性方法。

研究表明，解释性并不构成系统的信任因素，甚至可能引起不信任。

为了证明这些主题的重要性及其集成到负责人AI的重要性是有道理的：

• 基于AI的系统可以故障并产生错误的结果。因此，了解为什么要改善或更好地定义系统范围并允许更有效地使用AI结果的原因是有用的甚至是必要的。
• 用户或任何有关的人应该能够理解或获得这些结果的解释影响他们的系统。

例如，将AI引入公司标志着不断学习和适应过程的开始。AI推翻了工作的组织方式。结果LabiaExplorer提供有关授权社会和技术对话的建议，以支持所谓的启用将AI系统集成到工作世界中。这些建议之一是制造AI系统可以解释为了允许决策者和用户了解他们的工作方式并对产生的结果充满信心。

• 遵守例如，如果不了解系统的运行方式，则不可能在导致事故的情况下发生责任制。
• 算法和学习数据可能会受到污染社会偏见这需要被识别和消除。从这个意义上讲，解释性可以在理解此类偏见的起源而无需替代特定偏见管理方法方面起作用（请参阅对可解释AI的公平益处的重要调查）。

在信任，操纵和安全方面的解释性限制和风险

虽然目的是灌输信任和对用户的信心但是，这种关系与解释性之间的关系不是系统的。一些研究（Kãstner等）甚至倾向于显示相反的失去信任当向用户或现象提供解释时过度的信任那可能是有害的。

更确切地说，已经观察到了两个相反的趋势：如果基于AI的系统提供与用户先入为主的想法一致的预测和解释，那么后者有可能对这些预测提出过多信任。如果该系统提出了与用户先入为主的想法背道而驰的预测和解释，则有可能用户不信任预测。这些研究表明，解释性并不构成系统的信任因素，甚至可能引起不信任。因此，我们需要密切关注使用系统的环境，并评估这些风险，以确定必要的解释性水平和希望实现的目标。

此外，尽管提供有关AI系统操作以使其更能解释的其他信息可以具有真正的优势，但它也可以带来新的失真风险。正如研究人员所证明的Erwan Le Merrer和Gillestrâ©dan，，，，可以操纵解释。实际上，恶意实体很容易伪造其决策算法的解释，就像夜总会保镖可以说他可以让您进来的方式相同，因为您穿着不正确！真正的原因总是可以被另一个看似合理的解释掩盖。为此，所需要的只是创建一个能够产生与第一个结论相同的结论的新的决策模型，但在其他事物背后掩盖了其真正的原因，这给人留下了合理的决定的印象（例如，通过省略了被拒之门外的真正原因，将其实际性质隐藏在歧视性真理中）。伪造的目的是给人以下印象黑匣子模型的行为正确，而这种情况不一定是这种情况。

尽管解释性有助于应对可疑的不公正现象，但它也可以增加用户对潜在系统漏洞的安全性或开发潜在的系统漏洞的风险。这是AI透明度悖论，事实证明，在设计AI系统时要考虑的限制。实际上，其他信息的发布可能会离开AI容易攻击：通过理解推理黑客将更好地欺骗算法。

另一个问题是保护专有算法，正如研究人员最近证明，整个算法可以通过研究其解释可以被盗。这意味着，通过API请求访问算法的预测和解释的攻击者可以从中推导出一组学习数据，足以使他们能够允许他们。重建原始决策模型的忠实有效副本。

最后，披露可以使公司对法律诉讼或监管行动更加敏感。

解释性的法律义务

从监管的角度来看，几个法定文本中都包含解释性，并且可以采取不同的形式。

首先，在欧盟通用数据保护法规，当AI系统使用个人数据时，信息的权利和透明度的原则适用。根据该法规，负责收集和可能注释数据的人员，以及使用此培训AI模型，有义务提供有关处理此数据的条件以及尤其是收集源的条件的相关信息。

在医疗保健领域，法国关于生物伦理学的法律已经为专业设计师和人工智能的用户介绍了报告义务。关于政府在法国使用的算法，数字共和国法律要求当局公开列出他们使用的所有算法工具并发布其规则。

在欧盟AI法，对于那些与人类互动（例如聊天机器人）的AI系统，提到了具有新的解释性的高风险系统的用户的透明度和报告义务。对于一般使用模型的供应商，施加了技术文档义务。解释性在定义AI产生损害的情况下定义参与者之间的责任也可能发挥重要作用。

为了遵守AI法规，组织还必须根据其产品的使用方式适应当地环境。

法规不同，具体取决于地理区域和应用领域。例如，在美国，银行有义务提供拒绝信贷的理由（均等信贷法案）。在招聘部门，纽约的自动就业决策工具（AEDTS）法律通过预部部的审计义务提高了透明度和平等。在中国有一个法律设置建议算法的登记册，并具有所需的解释。结论

尽管AI解释性允许表达重要因素，但以可理解的方式影响系统的结果以满足一般，运营商，用户和审计师的需求，但应考虑信任和安全方面的某些限制。

因此，我们需要密切关注使用系统的环境，并评估这些风险，以确定必要的解释性水平和希望实现的目标。

86：AI法规中的文章数量涵盖了新的解释权