为多元社会建立AI

现代人工智能（AI）系统依靠人们的意见。人类反馈帮助训练模型执行有用的任务，指导他们采取安全和负责任的行为，并用于评估其绩效。在庆祝最近的AI进步时，我们还应该问：人类我们实际上是在谈论吗？为了使AI成为最有益的，应该反映和尊重我们所生活的多元化世界中存在的价值观，信念和观点的多样化挂毯，而不仅仅是单一的“平均”或多数观点。当AI系统执行主观任务时，诸如决定响应是有用，令人反感的还是不安全的，尤其重要。例如，在另一组值中，一个价值系统认为令人反感的是什么是完全可以接受的。

由于观点上的差异通常与社会文化和人口统计线相吻合，因此优先捕获数据中其他群体的观点可能会导致AI系统如何服务不同的社会群体的差异。例如，我们以前证明仅仅从人类注释中进行多数投票就可能会使社会群体之间的观点有效差异，无意间将少数群体的观点边缘化，因此对数据中边缘化的群体的可靠性不那么可靠。AI系统应如何处理这种观点的多样性取决于使用它们的上下文。但是，当前模型缺乏识别和处理此类环境的系统方法。

考虑到这一点，我们在这里描述了我们正在进行的努力，以追求捕捉多样的观点并为我们所生活的多元化社会建立AI。我们从理解世界上不同的观点，最终，我们开发了有效的方法整合这些差异在建模管道中。AI开发管道的每个阶段。真正的多元化AI不能依靠孤立的修复或调整；它需要一种整体，分层的方法，可以在每个步骤中承认并整合复杂性。考虑到可伸缩性，我们着手（1）跨社会群体的视角上的系统性差异，（2）对这些差异的基本原因有深入的理解，（3）建立有意义的有意义的差异，以将有意义的差异整合到机器学习（ML）建模管道。

解开各种各样的观点

我们的努力始于呼吁动作纸在2021年，我们在注释数据集中确定了问题。以前的注释方法，只有注释标签的多数投票才公开，可以导致数据固有地偏向用户广度的数据。我们的研究表明，这种减少可能不公平地无视某些注释者的观点，有时甚至是某些社会人口统计组。我们得出的结论是，注释不是可以互换的，也就是说，他们在做出注释判断时从社会嵌入的经验和知识中汲取灵感。结果，将其观点分别保留在数据集中将使数据集用户能够根据其需求考虑这些差异。

遵循这些发现，我们的团队面临着构建更多包容性数据集的挑战。我们收集并发布了大规模数据集，旨在捕获各种社会人口统计学亚组的各种观点。

有两个例子d3code和DICE这两者都集中在检测进攻和有害语言上。这D3Code数据集是一个大规模的跨文化数据集，可捕获超过4K注释者注释的超过4.5k句子的进攻性语言的平行注释，这些句子超过4K注释，在21个国家 /地区跨性别和年龄平衡，代表八个地理文化地区。这DICES数据集从性别，种族和年龄的各种评估者中捕获了大约1k句子的对话安全评级。该数据集在为每个单独的帖子提供详尽的标签方面是独一无二的。

分析D3码和DICE的分析表明，注释器的多样性不仅涉及个体差异，还涉及在组内和组之间出现的一致性和分歧的模式。为了量化和确定群体内的一致模式，我们介绍了掌握指标这是一种可靠地测量统计学意义的群体水平关联的新方法。当应用于注释的数据集时，GRASP度量可以通过将内部协议与与外组观察到的协议水平进行比较来计算特定组的一致性。

这些数据集和指标可实现新的探索性研究线，以嘲笑观点的重要区别：例如，人工智能安全性的交叉性研究表明，南亚妇女比白人比白人对谈话安全的可能性要低53％，并且进攻语言注释的跨文化分析表明，全球南方的评估者往往在认识文本中的进攻性方面更加敏感。

了解基本因素

虽然检测群体级别的差异是重要的第一步，但有意义的干预措施要求我们深入了解哪些因素对观点和观点的差异有所影响为什么这些观点有所不同。这种探索通常需要一个多学科的镜头，从心理学和社会学等各个领域中汲取见解。

考虑进攻性语言检测的例子；道德和社会心理学的研究表明，个人对冒犯性语言的判断可以植根于他们的个人价值观和信念也社会的社会规范关于是对与错。通过理解这些基本的价值集，我们可以对为什么不同的群体和个人可能会在构成进攻性语言的情况下不同意。

在我们最近的研究，我们采用了社会心理学框架道德基础理论，这在六个基础上提出了道德信念：护理，平等，相称性，权威，忠诚和纯正。我们特别依靠道德基础问卷（MFQ-2），因为它是通过对道德判断的广泛跨文化评估进行了开发和验证的，因此它使其成为将价值的多元化定义整合到AI研究中的可靠工具。

我们的实验表明，跨文化对攻击性的看法的差异尤其是由个人道德问题显着介导的关心和纯度。换句话说，在价值上增加重量的文化关怀对于其他个人，避免不纯洁的思想对进攻性语言更敏感。这些见解为数据和模型开发人员提供了更有意义的理论基础，以追求与人类价值观的AI系统。

这项研究强调了为什么在人类的观点不同之后。通过将道德价值观确定为塑造对进攻性语言检测的不同态度的基础因素，我们可以不仅承认存在这种分歧的存在，而在AI系统的设计中实际预测和计算它们。

这使我们进入了下一个关键步骤：如何我们可以将对多元化的理解纳入我们的AI模型吗？我们如何建立不仅了解各种观点，而且能够有效地将它们纳入其决策过程的模型？

在数据和模型中融合多元化

我们还率先研究了如何将这种不同观点纳入ML数据以及模型开发和评估管道中的研究。例如，我们最近证明我们如何使用指标来动态确定与任何给定任务相关的评估者组。然后，我们可以通过有效地识别和涉及从具有独特角度的特定社会群体的注释来确保各种观点的代表来执行目标多元化。通过模拟实验，我们观察到这种方法可以有效增加记起少数评估者群体标记的安全问题而没有损害总体精确。我们还从事开创性的工作多角度建模这有效地了解了对当前问题的共同理解，同时还可以满足预测中具有不同观点的特定社会群体。这种方法还使模型能够辨别出具有多种正确答案的价值输入。

结论

我们的研究体系揭示了对AI模型开发和部署中多元化的重要性的重要性，并建立了工具和资源，以进一步研究和创新将多元主义纳入AI的新颖方式。它回应了全球社会是多元化的事实。但是，我们是否希望AI是多元化的问题，即始终适应当地价值观，这是一个更加细微的问题。例如，在2022年发表的一篇论文中，我们讨论有时可能需要某些普遍的基线价值观，例如普遍人权的原则。最终，我们渴望对可控的AI进行控制 - 即具有控制何时，何处和如何采用特定价值观和观点的能力，并且在我们遇到新的文化环境，，可以适应新兴的观点，能够适应新兴的观点或社会随着时间的变化，并且对指导特定实例化的值的价值是透明的。

致谢

我们要感谢团队中的每个人都为这篇博客文章介绍的工作做出了贡献（按姓氏为字母顺序）：Lora Aroyo，Dylan Baker，MarkDãaz，Christopher Homan，Alicia Parrish，Charvi Rastogi，Greg Serapio-Garcia，Greg Serapio-Garcia，亚历克斯·泰勒（Alex Taylor），王王（Ding Wang）和克里斯·韦尔蒂（Chris Welty）。