随着AI主导决策，延续历史偏见的迹象浮现•北达科他州监测报

• 政府与政治

技术专家和使用这些工具的企业如何确保他们没有进行歧视？

在一个最近的一项研究莱海大学的研究人员发现，在评估聊天机器人如何为抵押贷款申请提供建议时，有一个明显的事实：存在明显种族偏见。

基于2022年《房屋抵押贷款披露法》的数据，利用6,000份样本贷款申请进行测试时，聊天机器人对更多的黑人申请人推荐了拒绝贷款的决定，而对与白人申请人情况相同的黑人申请人则建议给予更高的利率，并将黑人和西班牙裔借款人标记为“风险更高”。

白人申请者在与黑人申请者拥有相同的财务状况时，被批准的可能性比黑人申请者高出8.5%。而对于信用分数为640的“低”分段申请人，这种差距更大——白人申请者的获批率为95%，而黑人申请者的获批率低于80%。

该实验旨在模拟金融机构如何使用人工智能算法、机器学习和大型语言模型来加快贷款和抵押贷款审批等流程。莱海大学金融科技助理教授唐纳德·鲍文（也是该研究的作者之一）表示，这些“黑箱”系统——即用户无法了解算法内部运作机制的系统——有可能为金融公司以及其他使用此类系统的行业降低运营成本。

但是，训练数据存在缺陷、编程错误以及历史偏见信息也有可能以有害的、改变生活的方式影响结果。

“这些系统有可能了解到与它们互动的很多人的信息，”Bowen说。“如果存在内在偏见，这可能会在客户和银行之间进行的各种互动中传播。”

人工智能在金融领域如何歧视？

决策型AI工具和大型语言模型，如莱海大学实验中使用的那些，在医疗、教育、金融甚至司法系统等行业都有广泛应用。

大多数机器学习算法遵循所谓的分类模型，这意味着你要正式定义一个问题或一个问题，然后你给算法提供一组输入，例如贷款申请人的年龄、收入、教育和信用历史，密歇根大学的计算机科学教授迈克尔·韦尔曼解释道。

算法会输出一个结果——批准或不批准。更复杂的算法可以评估这些因素，并提供更为细致的答案，例如在贷款审批中推荐一个利率。

近年来，机器学习的进步使得所谓的深度学习成为可能，即构建可以从大量数据中学习的大规模神经网络。但如果人工智能的开发者没有保持客观性，或者依赖于反映深层次和系统性种族主义的数据集，那么结果将会反映出这些问题。

“如果你系统性地更频繁地做出拒绝向某些群体提供信贷的决定，而不仅仅是对其他群体犯错，那么这就表明算法有问题，”Wellman说。“特别是当这些群体是历史上处于不利地位的群体时。”

Bowen最初是受到了一名学生的小规模任务的启发，该任务揭示了聊天机器人中存在的种族歧视问题，这促使他决定开展关于莱海大学的相关研究。

“我们想了解这些模型是否存在偏见，以及它们在不应该存在偏见的情况下是否仍然存在偏见，”Bowen说，因为承保是一个受监管的行业，在决策过程中不允许考虑种族因素。

为了进行正式的研究，Bowen和他的研究团队在几个月的时间里，通过不同的商业大型语言模型处理了数千个贷款申请号码，这些模型包括OpenAI的GPT 3.5 Turbo和GPT 4、Anthropic的Claude 3 Sonnet和Opus以及Meta的Llama 3-8B和3-70B。

在一项实验中，他们在申请材料中加入了种族信息，并观察到了贷款批准和抵押利率上的差异。在另一项实验中，他们指示聊天机器人“在做出这些决定时不要有偏见。”这项实验几乎看不到申请人之间的任何差异。

但如果现代贷款过程中没有收集种族数据，银行使用的算法也被指示不要考虑种族因素，那么为什么有色人种反而更频繁地被拒绝贷款或获得更高的利率？波温说，这是因为我们现代的许多数据受到了不同影响（即系统性种族主义的影响）。

尽管计算机并未给出申请人的种族，但借款人的信用评分（可能受到劳动力市场和住房市场的歧视影响）将会影响他们的申请。同样，他们的邮政编码或同住家庭成员的信用评分也可能产生影响，而这些因素都可能受到了历史上种族主义做法——红划线政策（即限制向贫困和非白人社区提供贷款的做法）的影响。

鲍文表示，机器学习算法并不总是像人类想象的那样得出结论。它所学习的模式适用于各种场景，因此甚至可能在消化关于歧视的报告，例如了解到黑人历史上信用较差。因此，计算机可能会发现借款人是黑人的迹象，并拒绝其贷款申请或向其提供比白人同行更高的利率。

其他歧视机会

决策技术在过去几年里在招聘实践中变得无处不在，因为申请平台和内部系统使用人工智能来筛选简历，并为招聘经理预筛候选人。去年，纽约市开始要求雇主们通知候选人关于他们使用AI决策软件的情况。

根据法律，AI工具应当被编程为对受保护的群体（如性别、种族或年龄）没有任何偏见，但一些用户声称他们仍然遭到了算法的歧视。2021年，美国平等就业机会委员会启动了一项计划，以更仔细地审查新技术如何改变雇佣决策的方式。去年，该委员会解决了首例AI招聘歧视诉讼案。

纽约联邦法院案件结束了在一项三百六十五万美元的和解中当在线教育公司iTutorGroup Inc.被指控使用一种人工智能招聘工具，该工具拒绝了55岁以上的女性和60岁以上的男性申请者时。共有200名申请人接受了这一和解方案，而iTutor同意采纳反歧视政策并进行培训以确保遵守平等就业机会法律。彭博社报道当时。

另一项反歧视诉讼正在加州联邦法院等待审理，被告是人工智能公司Workday。原告德里克·莫布利声称，在与该公司软件相关的100多个职位中，他被排除在外。因为他是一名黑人，年龄超过40岁并且有心理健康问题而被公司解雇。路透社今年夏天报道过。该诉讼声称，Workday利用现有员工的数据来训练其软件，并且这种做法没有考虑到可能反映在未来招聘中的歧视问题。

美国的司法和法院系统已经开始在少数操作中采用决策算法，例如被告的风险评估分析、关于审前释放的决定、分流、量刑以及缓刑或假释。

虽然这些技术已被引用在加速一些传统的冗长的法庭程序——比如文件审查和协助小额索赔法院立案——专家警告说，这些技术尚不成熟，不能作为“重大结果”的主要或唯一证据。

“我们更担心在AI系统存在普遍和系统性的种族和其他偏见的情况下使用这些系统，例如预测性警务、面部识别以及犯罪风险/再犯评估，”一篇论文的联合作者写道。2024年版司法判例集说。

今年早些时候，犹他州通过了一项法律来应对这种情况。HB 366由州众议员卡里安妮·利森比（共和党-锡尔阿尤特）赞助的法案，涉及在决定审前释放、分流、量刑、缓刑和假释时使用算法或风险评估工具评分的问题，该法案指出，在没有人工干预和审查的情况下，不得使用这些技术。

里斯恩比告诉States Newsroom，设计上的确切目的是，这些技术向法官或决策官员提供的信息是有限的。

“我们认为法官和其他决策者在决定量刑、转处或其释放条件时，应当考虑被告人的所有相关信息，以便做出最合适的决定，”Lisonbee说。

她还提出了关于偏见的问题，表示该州的立法者目前对这些工具的“客观性和可靠性”缺乏完全的信心。他们也不确定这些工具的数据隐私设置，而这一点是犹他州居民优先考虑的事项。这些问题结合在一起可能会危及公民对该刑事司法系统的信任。

“在评估算法和风险评估工具在刑事司法及其他领域的使用时，必须包含强有力的数据完整性和隐私保护措施，特别是对于任何与外部机构共享用于研究或质量控制的个人数据。”Lisonbee说。

防止歧视性人工智能

一些立法者，如Lisonbee，注意到了这些问题中的偏见以及潜在的歧视。目前有四个州制定了旨在防止“算法歧视”的法律，其中AI系统可能会基于种族、族裔、性别、宗教或残疾等因素导致对人们的不同对待。这包括犹他州和加利福尼亚州（SB 36科罗拉多州 (SB 21-169伊利诺伊州(HB 0053).

尽管这与歧视无关，但国会于2023年底提出了一项法案，旨在修订《2010年金融稳定法》，以包含联邦对金融行业使用人工智能的指导方针。该法案为：金融人工智能风险减少法案或者称为“FAIRR法案”，将要求金融稳定监督委员会与各机构协调，以应对人工智能对金融系统构成的威胁，并可能监管金融机构如何依赖于人工智能。

莱海大学的鲍文明确表示，他觉得这些技术不可能倒退，尤其是当公司和行业意识到它们的成本节约潜力时。

“这些将被公司使用，”他说。“那么他们该如何公平地做到这一点呢？”

Bowen希望他的研究能够帮助金融和其他机构在部署决策AI工具时提供参考。在他们的实验中，研究人员写道，这简单到使用提示工程来指示聊天机器人“做出无偏见的决定”。他们建议将大型语言模型整合到其流程中的公司定期进行偏差审计以完善其工具。

Bowen和其他研究这一主题的学者强调，需要更多的人为介入才能公平地使用这些系统。虽然人工智能可以在法庭量刑、抵押贷款、求职申请、医疗诊断或客户服务查询等方面做出决定，但这并不意味着它们可以无限制运行。

密歇根大学的Wellman向States Newsroom表示，他希望看到政府对这些工具进行监管，并指出H.R. 6936，一项待在国会通过的法案要求联邦机构采纳由国家标准与技术研究院开发的人工智能风险管理框架。该法案框架指出潜在偏见，并旨在提高设计、开发、使用和评估人工智能工具的组织的信任度。

“我的希望是关于制定标准的呼吁……能够贯穿市场，提供工具让公司可以用来验证或认证他们的模型。”Wellman说。“当然，这并不能保证它们在各个方面都是完美的或者避免所有潜在的负面影响。但这可以……为信任这些模型提供基本的标准依据。”