机器学习模型可能会犯错误并且难以使用，因此科学家开发了解释方法来帮助用户理解何时以及如何应该信任模型的预测。
然而，这些解释通常很复杂，可能包含有关数百个模型特征的信息。它们有时会呈现为多方面的可视化效果，对于缺乏机器学习专业知识的用户来说可能很难完全理解。
为了帮助人们理解人工智能的解释，麻省理工学院的研究人员使用大型语言模型（LLM）将基于情节的解释转换为简单的语言。
他们开发了一个由两部分组成的系统，将机器学习解释转换为人类可读的文本段落，然后自动评估叙述的质量，以便最终用户知道是否信任它。
通过用一些示例解释提示系统，研究人员可以定制其叙述性描述，以满足用户的偏好或特定应用的要求。
从长远来看，研究人员希望在这项技术的基础上，让用户能够向模型提出后续问题，了解它是如何在现实世界中做出预测的。
– 我们这项研究的目标是迈出第一步，让用户能够与机器学习模型进行全面的对话，了解他们做出某些预测的原因，以便他们可以就是否听模型做出更好的决定，” Alexandra Zytek 说道，她是一名电气工程和计算机科学 (EECS) 研究生，也是一篇论文的主要作者关于这项技术的论文。
麻省理工学院博士后 Sara Pido 与她一起撰写了这篇论文。Sarah Alnegheimish，EECS 研究生；Laure Berti-äquille，法国国家可持续发展研究所研究主任；以及资深作者 Kalyan Veeramachaneni，他是信息与决策系统实验室的首席研究科学家。该研究将在 IEEE 大数据会议上展示。
阐明解释
研究人员专注于一种流行的机器学习解释，称为 SHAP。在 SHAP 解释中，模型用于进行预测的每个特征都被分配了一个值。例如，如果模型预测房价，其中一个特征可能是房屋的位置。位置将被分配一个正值或负值，表示该特征对模型整体预测的修改程度。
通常，SHAP 解释以条形图的形式呈现，显示哪些特征最重要或最不重要。但对于具有 100 多个特征的模型，条形图很快就会变得难以处理。
– 作为研究人员，我们必须对要以视觉方式呈现的内容做出很多选择。如果我们选择只显示前 10 个，人们可能会想知道图中没有的另一个功能发生了什么。使用自然语言可以减轻我们做出这些选择的负担。”Veeramachaneni 说。
然而，研究人员并没有利用大型语言模型来生成自然语言的解释，而是使用法学硕士将现有的 SHAP 解释转换为可读的叙述。
Zytek 解释说，仅让法学硕士处理该过程的自然语言部分，就限制了在解释中引入不准确之处的机会。
他们的系统称为 EXPLINGO，分为两个协同工作的部分。
第一个组件称为 NARRATOR，使用 LLM 创建满足用户偏好的 SHAP 解释的叙述性描述。通过最初向叙述者提供三到五个叙述性解释的书面示例，法学硕士将在生成文本时模仿这种风格。
“让用户写下他们想看到的内容，而不是让用户尝试定义他们正在寻找什么类型的解释，”Zytek 说。
这使得 NARRATOR 可以通过向 NARRATOR 显示一组不同的手动编写示例来轻松定制新用例。
在 NARRATOR 创建通俗易懂的语言解释后，第二个组件 GRADER 使用 LLM 根据四个指标对叙述进行评分：简洁性、准确性、完整性和流畅性。GRADER 自动向 LLM 提示来自 NARRATOR 的文本及其描述的 SHAP 解释。
“我们发现，即使法学硕士在执行任务时犯了错误，在检查或验证该任务时通常也不会犯错误，”她说。
用户还可以自定义 GRADER，为每个指标赋予不同的权重。
“例如，你可以想象，在高风险的情况下，衡量准确性和完整性远远高于流畅性，”她补充道。
分析叙述
对于 Zytek 和她的同事来说，最大的挑战之一是调整法学硕士，使其产生听起来自然的叙述。他们为控制风格添加的指导方针越多，法学硕士就越有可能在解释中引入错误。
“大量的及时调整用于一次一个地查找和修复每个错误，”她说。
为了测试他们的系统，研究人员使用了九个带有解释的机器学习数据集，并让不同的用户为每个数据集编写叙述。这使他们能够评估 NARRATOR 模仿独特风格的能力。他们使用 GRADER 对所有四个指标的每个叙述性解释进行评分。
最终，研究人员发现他们的系统可以生成高质量的叙事解释并有效模仿不同的写作风格。
他们的结果表明，提供一些手动编写的示例解释可以极大地改善叙事风格。然而，这些例子必须仔细书写——包括比较词，比如“更大”，可能会导致评分者将准确的解释标记为不正确。
基于这些结果，研究人员希望探索可以帮助他们的系统更好地处理比较词的技术。他们还希望通过在解释中添加合理性来扩展 EXPLINGO。
从长远来看，他们希望利用这项工作作为交互式系统的垫脚石，用户可以在其中向模型询问有关解释的后续问题。
– 这将在很多方面帮助决策。如果人们不同意模型的预测，我们希望他们能够快速弄清楚他们的直觉是否正确，或者模型的直觉是否正确，以及这种差异来自何处，”Zytek说。