当机器学习模型试图对训练数据集中代表性不足的个体进行预测时，它们可能会失败。
例如，可以使用主要包含男性患者的数据集来训练预测慢性病患者最佳治疗方案的模型。该模型在医院部署时可能会对女性患者做出错误的预测。
为了改善结果，工程师可以尝试通过删除数据点来平衡训练数据集，直到所有子组都得到平等的代表。虽然数据集平衡很有希望，但它通常需要删除大量数据，从而损害模型的整体性能。
麻省理工学院的研究人员开发了一种新技术，可以识别并删除训练数据集中对少数群体模型失败影响最大的特定点。通过删除比其他方法少得多的数据点，该技术保持了模型的整体准确性，同时提高了其针对代表性不足群体的性能。
此外，该技术还可以识别缺乏标签的训练数据集中隐藏的偏差来源。对于许多应用来说，未标记的数据比标记的数据更为普遍。
该方法还可以与其他方法相结合，以提高在高风险情况下部署的机器学习模型的公平性。例如，有一天它可能有助于确保代表性不足的患者不会因为有偏见的人工智能模型而被误诊。
– 尝试解决此问题的许多其他算法都假设每个数据点与其他每个数据点一样重要。在本文中，我们证明这个假设是不正确的。麻省理工学院电气工程和计算机科学 (EECS) 研究生 Kimia Hamidieh 表示：“我们的数据集中存在导致这种偏差的特定点，我们可以找到这些数据点，将其删除，从而获得更好的性能。”和共同主要作者关于这项技术的论文。
她与联合主要作者、24 岁的 Saachi Jain 博士和 EECS 研究生 Kristian Georgiev 共同撰写了这篇论文；Andrew Ilyas，工程硕士 - 18 岁，博士 - 23 岁，斯坦福大学斯坦因研究员；高级作者 Marzyeh Ghassemi（EECS 副教授、医学工程科学研究所和信息与决策系统实验室成员）以及 Aleksander Madry（麻省理工学院 Cadence 设计系统教授）。该研究将在神经信息处理系统会议上发表。
删除不好的例子
通常，机器学习模型是使用从互联网上许多来源收集的大量数据集进行训练的。这些数据集太大，无法手工仔细管理，因此它们可能包含损害模型性能的不良示例。
科学家还知道，某些数据点对模型在某些下游任务上的性能影响比其他数据点更大。
麻省理工学院的研究人员将这两种想法结合起来，形成一种识别并删除这些有问题的数据点的方法。他们试图解决一个被称为最坏组错误的问题，当模型在训练数据集中的少数子组上表现不佳时就会发生这种问题。
研究人员的新技术是由先前的工作驱动的，他们在其中引入了一种方法，称为特拉克，它标识特定模型输出的最重要的训练示例。
对于这项新技术，他们采用模型对少数群体做出的错误预测，并使用 TRAK 来识别哪些训练示例对错误预测贡献最大。
“通过以正确的方式汇总不良测试预测中的这些信息，我们能够找到训练中导致最差组准确率总体下降的特定部分，”Ilyas 解释道。
然后，他们删除这些特定样本，并根据剩余数据重新训练模型。
由于拥有更多数据通常会产生更好的整体性能，因此仅删除导致最坏组故障的样本可以保持模型的整体准确性，同时提高其在少数子组上的性能。
更容易访问的方法
在三个机器学习数据集中，他们的方法优于多种技术。在一个例子中，它提高了最差组的准确度，同时比传统的数据平衡方法减少了约 20,000 个训练样本。他们的技术还比需要更改模型内部运作的方法实现了更高的准确性。
由于 MIT 方法涉及更改数据集，因此实践者更容易使用，并且可以应用于多种类型的模型。
当偏差未知时也可以使用它，因为训练数据集中的子组没有被标记。通过识别对模型正在学习的特征贡献最大的数据点，他们可以理解用于进行预测的变量。
– 这是任何人在训练机器学习模型时都可以使用的工具。他们可以查看这些数据点，看看它们是否与他们试图教授模型的能力相符。”Hamidieh 说。
使用该技术来检测未知的亚组偏差需要直观地了解要寻找哪些组，因此研究人员希望通过未来的人类研究来验证它并更全面地探索它。
他们还希望提高其技术的性能和可靠性，并确保该方法对于有朝一日可以在现实环境中部署该方法的从业者来说易于访问且易于使用。
– 当您拥有可以批判性地查看数据并找出哪些数据点会导致偏差或其他不良行为的工具时，您就迈出了构建更公平、更可靠的模型的第一步，”伊利亚斯说。
这项工作部分由美国国家科学基金会和美国国防高级研究计划局资助。