可解释的AI：新框架提高了决策系统的透明度

一种新的可解释的AI技术可以透明地对图像进行分类，而不会损害准确性。该方法是在密歇根大学开发的，为理解为什么做出决定的情况与决策本身一样重要，例如医学诊断，为为什么做出决定。

如果AI模型将肿瘤标记为恶性，而不指定促使结果的大小，形状或影像中的阴影的原因，则医生无法验证结果或向患者解释结果。更糟糕的是，该模型可能已经对人类认为无关紧要的数据中的误导性模式提出了。

"We need AI systems we can trust, especially in high-stakes areas like health care. If we don't understand how a model makes decisions, we can't safely rely on it. I want to help build AI that's not only accurate, but also transparent and easy to interpret," said Salar Fattahi, an assistant professor of industrial and operations engineering at U-M and senior author of the study to be presented the afternoon of July 17 at the International Conference on Machine Learning in Vancouver, British哥伦比亚。

在对图像进行分类时，AI将数字的向量与特定概念相关。这些数字集被称为概念嵌入，可以帮助AI找到X射线中的“断裂”，“关节炎”或“健康骨”之类的东西。可解释的AI致力于使概念嵌入易于解释。

在模型已经构建后，以前的可解释的AI方法添加了可解释性功能。尽管这些方法可以识别影响模型预测的关键因素，但它们在违反直觉上是无法解释的。这些模型还将概念嵌入视为固定的数值向量，忽略了它们固有的潜在错误或虚假陈述。

例如，这些模型使用验证的多模型（例如夹子）嵌入了“健康骨头”的概念。与精心策划的数据集不同，剪辑在大规模的，嘈杂的图像文本对中进行了训练，从互联网上刮下来。这些对通常包括标记错误的数据，模糊的描述或生物学上不正确的关联，从而导致所得嵌入的不一致。

发表在arxiv预印服务器，新框架<受限的概念改进或ccrâ通过嵌入并直接将可解释性优化到模型的体系结构中。它通过在概念嵌入中引入灵活性来解决第二种，从而使它们能够适应手头的特定任务。

用户可以通过允许概念嵌入更多地散布一些概念限制或准确性来切换框架以偏爱可解释性，或者具有更多概念。这种增加的灵活性使从夹子获得的“健康骨骼”的概念可能不准确地嵌入，可以自动调整和纠正可用数据。通过利用这种额外的灵活性，CCR方法可以提高模型的可解释性和准确性。

Fattahi说：“最让我感到惊讶的是意识到可解释性不必以准确的成本来实现。实际上，采用正确的方法，有可能以简单有效的方式实现两者清晰，可解释的决定和强大的绩效。”

CCR在预测准确性方面的表现优于两种可解释的方法（clip-ip-op和无标签的CBM），同时在三个图像分类基准（CIFAR10/100，Image Net，ploce365）上测试时，可以保留可解释性。重要的是，新方法减少了运行时十倍，以较低的计算成本提供了更好的性能。

“尽管我们目前的实验集中在图像分类上，但该方法的实施成本低，并且易于调整，这表明了在不同机器学习领域的更广泛适用性的强大潜力，” U-M工业和运营工程的博士毕业生，研究的主要作者Geyu Liang说。

例如，AI越来越多地集成到谁符合贷款的资格中，但没有解释性，申请人在被拒绝时会留在黑暗中。可解释的AI可以提高财务的透明度和公平性，确保决定基于收入或信用记录等特定因素，而不是偏见或无关的信息。

Fattahi说：“我们只抓到了表面。最让我兴奋的是，我们的工作提供了有力的证据表明，可以以令人惊讶的高效和低成本的方式将解释性带入现代AI。”