随着AI主导决策，延续历史偏见的迹象出现•阿拉斯加信使報

在一场比赛中最近的一项研究莱海大学的研究人员发现，在评估聊天机器人如何为抵押贷款申请提供建议时，存在明显的种族偏见。

基于2022年《住宅抵押贷款披露法》的数据，利用6,000份样本贷款申请进行测试时，聊天机器人建议拒绝更多黑人申请者，而对相同条件的白人申请者则没有这样的建议。此外，它们还推荐给黑人申请者更高的利率，并将黑人和西班牙裔借款人标记为“风险更高”。

白人申请者的获批概率比拥有相同财务状况的黑人申请者高出8.5%。而对于信用分数为640分（属于“低”信用评分）的申请人，这种差距更为明显——白人申请者的获批率为95%，而黑人申请者的获批率则低于80%。

该实验旨在模拟金融机构如何使用人工智能算法、机器学习和大型语言模型来加快放贷和抵押贷款审批等流程。莱海大学金融科技助理教授唐纳德·鲍文（Donal Bowen，本研究的作者之一）表示，这些“黑箱”系统——即其内部工作原理对用户不透明的系统——有可能降低金融公司以及其他使用此类系统的行业的运营成本。

但是，训练数据存在缺陷、编程错误以及历史上带有偏见的信息也可能会影响结果，有时会以有害的、改变生活的方式产生影响。

“这些系统有可能了解与其互动的人的很多信息，”Bowen说。“如果有固有的偏见存在，这可能会在客户与银行之间的各种互动中传播。”

人工智能在金融领域是如何歧视的？

决策AI工具和大型语言模型，如莱海大学实验中使用的技术，正在医疗、教育、金融甚至司法系统等行业广泛运用。

大多数机器学习算法遵循所谓的分类模型，这意味着你要正式定义一个问题或问题，然后向算法提供一组输入，例如贷款申请人的年龄、收入、教育和信用历史，密歇根大学的计算机科学教授迈克尔·威尔曼解释道。

算法会生成一个结果——批准或不批准。更复杂的算法可以评估这些因素并提供更为细致的答案，比如在贷款审批中推荐一个利率。

近年来，机器学习的进步使得所谓的深度学习成为可能，即构建可以从大量数据中学习的大规模神经网络。但如果人工智能的开发者不注重客观性，或者依赖反映深层次和系统性种族主义的数据集，结果将会反映出这些问题。

“如果你在系统中更频繁地做出拒绝向某些人群提供信用的决定，而这些错误决策在其他人群中较少出现，那么这就表明算法存在问题，”韦尔曼说。“特别是当这些群体历史上处于不利地位时。”

Bowen最初是受到了一名学生的小规模任务的启发，该任务揭示了聊天机器人中存在的种族歧视问题，从而决定进一步研究莱海大学的相关课题。

“我们想了解这些模型是否存在偏见，以及它们在不应该存在偏见的情况下是否仍然存在偏见，”Bowen说，因为承保是一个受监管的行业，在决策过程中不允许考虑种族因素。

为了进行官方研究，Bowen和一个研究团队在几个月的时间里，通过不同的商业大型语言模型处理了数千个贷款申请号码，这些模型包括OpenAI的GPT 3.5 Turbo和GPT 4、Anthropic的Claude 3 Sonnet和Opus以及Meta的Llama 3-8B和3-70B。

在一项实验中，他们在申请表上包含种族信息，并观察到贷款批准和抵押贷款利率上的差异。在另一项实验中，他们指示聊天机器人“在做出这些决定时不要有偏见。”该实验几乎没有看到贷款申请人之间的任何差异。

但如果现代贷款中没有收集种族数据，银行使用的算法也被指示不要考虑种族因素，那么为什么有色人种反而更经常被拒绝贷款或获得更高的利率？鲍恩说，这是因为我们现代的许多数据受到了不同影响（即系统性种族主义的影响）。

虽然计算机没有给出申请人的种族，但借款人的信用评分可能会受到劳动力市场和住房市场的歧视影响，这将对其申请产生影响。他们的邮政编码或家庭其他成员的信用评分也可能产生影响，所有这些都可能受到了历史上种族主义做法——红划线政策（即限制向贫困和非白人社区放贷）的影响。

博文表示，机器学习算法并不总是像人类想象的那样来计算其结论。它所学习的模式适用于各种场景，因此甚至可能在消化有关歧视的报告，例如了解到历史上黑人信用状况较差的情况。因此，计算机可能会识别出借款人是黑人的迹象，并拒绝贷款或者向黑人借款人提供比白人借款人更高的利率。

其他歧视的机会

决策技术在过去的几年里已经成为招聘实践中的普遍工具，因为申请平台和内部系统使用人工智能来筛选简历，并为招聘经理预审候选人。去年，纽约市开始要求雇主们通知候选人关于他们使用AI决策软件的情况。

根据法律，人工智能工具应当被编程为对受保护的群体（如性别、种族或年龄）没有偏见，但有些用户声称他们仍然受到了算法的歧视。2021年，美国平等就业机会委员会启动了一项计划，以更仔细地研究新技术是如何改变雇佣决策方式的。去年，该委员会解决了其首个与人工智能招聘歧视相关的诉讼案。

纽约联邦法院案件结束了在一项三百六十五万美元的和解中当辅导公司iTutorGroup Inc.被指控使用一种人工智能招聘工具，该工具拒绝了年龄超过55岁的女性和60岁以上的男性申请者。两百名申请人收到了赔偿，iTutor同意采纳反歧视政策，并进行培训以确保符合平等就业机会法律的要求。彭博社报道当时。

另一项反歧视诉讼正在加州联邦法院针对人工智能公司Workday提起。原告德里克·莫布利声称，他被排除在与该公司软件合作的超过100个工作机会之外。因为他是一名黑人，超过40岁并且有心理健康问题而被公司解雇。路透社今年夏天报道了此事。该诉讼声称，Workday利用现有员工的数据来训练其软件，并且这种做法没有考虑到可能反映在未来招聘中的歧视问题。

美国的司法和法院系统也开始在一些操作中使用决策算法，例如被告的风险评估分析、审前释放决定、转介程序、量刑以及缓刑或假释的决定。

尽管这些技术已被引用在加速一些传统上较为冗长的法庭程序——如文件审查和协助小额索赔法院案件提交——专家警告说，这些技术还不足以在“有重大影响的结果”中作为主要或唯一的证据。

“我们更担心在AI系统受到广泛和系统的种族和其他偏见影响的情况下使用这些技术，例如预测性警务、面部识别以及犯罪风险/再犯评估，”一篇论文的共同作者写道。2024年版司法裁判集锦说。

今年早些时候，犹他州通过了一项法律来应对这种情况。HB 366由州众议员卡里安妮·利森比（共和党，锡拉丘兹）赞助的法案，涉及在决定保释、转介、量刑、缓刑和假释时使用算法或风险评估工具评分的问题，该法案指出，在没有人工干预和审查的情况下，不得使用这些技术。

莱森比告诉States Newsroom，设计初衷是这些技术只为法官或决策官员提供有限的信息。

“我们认为法官和其他决策者在作出关于量刑、转处或释放条件的最适当决定时，应考虑有关被告人的所有相关信息，”Lisonbee说。

她还提出了关于偏见的问题，表示该州的立法者目前并不完全信任这些工具的“客观性和可靠性”。他们也不确定这些工具的数据隐私设置，而这对于犹他州居民来说是一个优先事项。这些问题结合起来可能会危及公民对该刑事司法系统的信任。

“在评估算法和风险评估工具在刑事司法和其他环境中的使用时，确保包含强有力的数据完整性和隐私保护措施非常重要，特别是对于任何与外部机构共享用于研究或质量控制的个人数据而言，”Lisonbee说。

防止歧视性人工智能

一些立法者，如Lisonbee，注意到了这些偏见问题以及潜在的歧视。目前有四个州制定了旨在防止“算法歧视”的法律，在这种情况下，AI系统可以基于种族、族裔、性别、宗教或残疾等因素导致对人们的不同对待。这包括犹他州和加利福尼亚州（SB 36科罗拉多州（SB 21-169伊利诺伊州())HB 0053).

尽管这与歧视无关，但在2023年底，国会提出了一项法案，旨在修订《2010年金融稳定法》，以包括联邦对金融业使用人工智能的指导意见。该法案名为：金融人工智能风险减少法案或者称为“FAIRR法案”，将要求金融稳定监督委员会与各机构协调，以应对人工智能对金融系统构成的威胁，并可能监管金融机构如何依赖人工智能。

莱海大学的鲍文明确表示，他认为不可能回到没有这些技术的时代，尤其是当公司和行业意识到它们的成本节约潜力时。

他说：“这些将被公司使用。”“那么他们该如何公平地做到这一点呢？”

Bowen希望他的研究能够帮助金融和其他机构在部署决策AI工具时提供参考。为了他们的实验，研究人员写道，这就像使用提示工程来指示聊天机器人“做出无偏见的决定”一样简单。他们建议将大型语言模型整合到其流程中的公司定期进行偏差审计以完善其工具。

Bowen和其他研究这一主题的研究人员强调，需要更多的人类参与才能公平地使用这些系统。虽然人工智能可以对法院量刑、抵押贷款、求职申请、医疗诊断或客户服务查询做出决定，但这并不意味着它们可以在没有任何监管的情况下运行。

密歇根大学的威尔曼告诉States Newsroom，他希望看到政府对这些工具进行监管，并指出H.R. 6936，一项pending在国会的法案要求联邦机构采纳由国家标准与技术研究院开发的人工智能风险管理框架。The 修正后的准确翻译： ，一项正在国会审议的法案要求联邦机构采纳由国家标准与技术研究院开发的人工智能风险管理框架。The框架指出潜在偏见，并旨在提高设计、开发、使用和评估人工智能工具的组织的信任度。

“我的希望是，呼吁制定标准……能够贯穿市场，提供工具让企业可以用来验证或认证他们的模型。”韦尔曼说。“当然，这并不能保证它们在各个方面都是完美的或者避免所有潜在的负面影响。但这可以……为信任这些模型提供基本的标准依据。”