人工智能相关歧视集体诉讼达成最终和解

2021 年春天，黑人女性玛丽·路易斯 (Mary Louis) 搬入马萨诸塞州的一套公寓，兴奋之情转为沮丧，因为她收到一封电子邮件，称“第三方服务”拒绝了她的租约。

该第三方服务包括一种旨在对租赁申请人进行评分的算法，该算法成为集体诉讼的主题，路易斯负责，指控该算法存在种族和收入歧视。

周三，一位联邦法官批准了诉讼中的和解协议，这是此类诉讼中的第一个和解协议，该算法背后的公司同意支付超过 220 万美元，并回滚其筛选产品的某些部分。诉讼指控具有歧视性。

和解协议并不包括 SafeRent Solutions 公司承认任何过错，该公司在一份声明中表示，虽然它“仍然相信 SRS 分数符合所有适用法律，但诉讼既耗时又昂贵。”

虽然此类诉讼可能相对较新，但使用算法或人工智能程序对美国人进行筛选或评分却并非如此。多年来，人工智能一直在暗中帮助美国居民做出重要的决定。

当一个人提交工作申请、申请住房贷款甚至寻求某些医疗护理时，人工智能系统或算法有可能像路易斯一样对他们进行评分或评估。然而，这些人工智能系统基本上不受监管，尽管有些系统被发现存在歧视。

“管理公司和房东需要知道，他们现在已经注意到了，他们认为可靠且良好的这些系统将受到挑战，”路易斯的律师之一托德·卡普兰说。

该诉讼称，SafeRent 的算法没有考虑到住房券的好处，他们称住房券是租户支付每月账单能力的重要细节，因此歧视低收入申请人谁有资格获得援助。

该诉讼还指责 SafeRent 的算法过于依赖信用信息。他们认为，它未能全面了解申请人按时支付租金的能力，并且对拥有住房券的黑人和西班牙裔申请人不公平，部分原因是他们的信用评分中位数较低，这归因于历史上的不平等。

原告律师之一克里斯汀·韦伯 (Christine Webber) 表示，仅仅因为算法或人工智能没有被编程为歧视，算法使用或权重的数据可能会产生相同的效果，就好像你告诉它故意歧视一样。Ø

当路易斯的申请被拒绝后，她试图对该决定提出上诉，并向两位房东发送了推荐信，证明她已经提前或按时支付了 16 年的租金，即使她没有良好的信用记录。

拥有住房券的路易斯手忙脚乱，她已经通知前房东她要搬出去，而她则负责照顾孙女。

使用 SafeRent 筛选服务的管理公司在回复中写道：“我们不接受上诉，也不能推翻租户筛选的结果。”

路易斯感到自己被打败了。她说，算法不认识她。

– 一切都基于数字。你无法从他们那里得到个人的同理心，”路易斯说。– 没有什么可以打败这个系统。这个系统总是会打败我们。”

虽然州立法者提出了针对此类人工智能系统的严格监管，但这些提案在很大程度上未能获得足够的支持。这意味着像路易斯这样的诉讼开始为人工智能问责奠定基础。

SafeRent 的辩护律师在一项驳回动议中辩称，该公司不应承担歧视责任，因为 SafeRent 并未就是否接受或拒绝租户做出最终决定。该服务将对申请人进行筛选、评分并提交报告，但由房东或管理公司决定接受或拒绝租户。

圣路易斯的律师以及提交了本案利益声明的美国司法部认为，SafeRent 的算法可能需要承担责任，因为它仍然在获得住房方面发挥着作用。法官驳回了 SafeRent 驳回这些指控的动议。

和解协议规定，在某些情况下，包括申请人使用住房券的情况下，SafeRent 不能将其评分功能纳入其租户筛选报告中。它还要求，如果 SafeRent 开发出计划使用的另一个筛选分数，则必须由原告同意的第三方进行验证。

路易斯的儿子在 Facebook Marketplace 上为她找到了一套经济实惠的公寓，她后来搬进了那里，尽管它贵了 200 美元，而且位于不太理想的地区。

“我对自己能休息一下并不乐观，但我必须继续坚持，就是这样，”路易斯说。“有太多人依赖我。”

___

杰西·贝达恩 (Jesse Bedayn) 是美联社/美国州议会新闻倡议报道团成员。美国报告是一个非营利性的国家服务计划，让记者在当地新闻编辑室报道未被揭露的问题。 is a nonprofit national service program that places journalists in local newsrooms to report on undercovered issues.