展示训练数据中的多样性可以提升人工智能用户对公平性和信任的认知

虽然人工智能（AI）系统，如家用助手、搜索引擎或大型语言模型如ChatGPT，可能看起来无所不知，但它们的输出仅取决于其训练数据的质量。然而，使用上的便利性常常导致用户在不了解所使用的训练数据以及谁准备了这些数据的情况下就采用AI系统，包括其中可能存在的偏见或者制作者的偏见。

宾州州立大学的研究人员的一项新研究表明，提供这些信息可能有助于塑造人们对人工智能系统的适当期望，并进一步帮助用户更加明智地决定是否以及如何使用这些系统。

这项研究调查了展示种族多样性线索——即在AI界面上的视觉信号，这些信号传达了训练数据的种族构成以及通常由众包工作者标注的数据的背景信息——能否增强用户对算法公平性和信任度的期望。他们的研究成果最近发表在期刊上人机交互.

宾夕法尼亚州立大学埃文·佩奇大学教授兼社会负责任人工智能中心负责人S.沙亚姆·桑达尔指出，AI训练数据在种族、性别和其他特征方面往往存在系统性的偏见。

用户可能没有意识到他们可能会在无意中延续偏见人类决策制定他说：“通过使用某些人工智能系统。”

主要作者陈「Chris」晨，东尼大学沟通设计助理教授，她获得了她的博士学位在大众传播宾夕法尼亚州立大学的专家解释说，用户通常无法评估嵌入AI系统中的偏见，因为他们不了解训练数据或培训者的信息。

陈说：“这种偏见在用户完成任务之后出现，意味着损害已经造成，因此用户在使用之前没有足够的信息来决定是否信任AI。”

桑达尔说，一个解决方案是沟通训练数据的性质，特别是其种族构成。

苏恩纳说：“这是我们在这项实验研究中所做的，目的是找出它是否会改变他们对系统的看法。”

为了理解多样性线索如何影响对AI系统的信任，研究人员创建了两个实验条件，一个是有多样性的，另一个是没有多样性的。在前者中，参与者会看到机器学习模型和数据标注实践的简短描述，并且还会看到一个条形图，显示训练数据中来自三个种族群体（白人、黑人和亚洲人）的面部图像的分布均衡，每个种族约占数据集的三分之一。

在没有种族多样性的情况下，条形图显示92%的图片属于单一的主要种族群体。同样，对于标注者的背景，在平衡表示的情况下，白人、黑人和亚洲人的标注者各占大约三分之一。非多样性的条件则通过条形图传达了92%的标注者来自单一种族群体的信息。

参与者首先审阅了展示名为HireMe的面部表情分类AI工具训练数据特征的数据卡。然后，他们观看了三名资历相同的男性候选人（不同种族）的自动化面试视频。候选人的中性面部表情和语气由AI系统实时分析，并呈现给参与者，突出显示最显著的表情以及每位候选人的就业能力。

一半的参与者经历了系统带有种族偏见的表现，即实验者操纵系统以偏向白人候选人，将他的中性表情评为快乐并适合工作，而将黑人和亚裔候选人的表情分别解读为愤怒和恐惧。

在无偏见条件下，AI 将每个候选人的主要表情识别为喜悦，并且认为他们都是该职位的合适人选。然后要求参与者对 AI 的分析提供反馈，在五点量表上评价他们的同意程度，并选择如果不同意的话最合适的感情。

陈说：“我们发现，在训练数据和标注人员的背景中展示种族多样性增加了用户对AI的信任。”“提供反馈的机会也有助于参与者培养更高的自主感，并增加了他们未来使用AI系统的潜力。”

然而，研究人员注意到，关于无偏见系统的反馈减少了白人参与者使用的便捷性。因为他们的感知是系统已经正常且公正地运行了，他们觉得几乎没有提供反馈的必要，并认为这是一项不必要的负担。

研究人员发现，当存在多种种族多样性线索时，它们独立起作用，但数据多样性和标注者多样性的线索都有效于塑造用户对系统公平性的感知。研究人员强调了代表性启发法的理念，即如果其训练的AI模型在种族上是包容的，用户往往会倾向于认为这一点。种族构成符合他们对多样性的理解。

“如果AI只是学习由某一种族的人标注的表情，系统可能会误代表其他种族的情绪，”桑达尔说。桑达尔也是宾夕法尼亚州立大学贝尔里奥罗学院媒体效果系的詹姆斯·P·吉米罗教授以及媒体效果实验室联合主任。

系统在决定一个人的脸是否快乐或愤怒时需要考虑种族因素，这体现在训练过程中图像和标注者的种族多样性更大。

根据研究人员的说法，对于一个AI系统来说，要想具有可信度，其来源必须明确。训练数据必须提供给用户审查和审视，以便他们确定自己的信任程度。

“让这些信息易于获取有助于提高AI系统的透明度和责任性，”苏德什说。“即使用户不访问这些信息，其可获得性也表明了伦理实践，并促进人们对这些系统的公平性和信任。”

更多信息：程陈等，沟通和对抗算法偏见：数据多样性、标注者多样性、性能偏差及用户反馈对人工智能信任的影响人机交互 (2024). DOI: 10.1080/07370024.2024.2392494