英语轻松读发新版了,欢迎下载、更新

研究发现,开源AI模型有利于男性招聘的男性

2025-05-02 08:28:00 英文原文

一项新的研究发现,开源AI模型比女性更有可能推荐男性从事工作,尤其是高薪的工作。

虽然AI模型中的偏见是一个公认的风险,但这些发现突出了未解决的问题作为AI的使用增殖在招聘人员和企业人力资源部门中。

“我们不知道哪些公司可能正在使用这些模型,”美国伊利诺伊大学的博士学位候选人Rochana Chaturvedi告诉了该研究的合着者。寄存器。“这些公司通常不会披露这一点,我们的发现表明,此类披露对于遵守AI法规可能至关重要。”

印度艾哈迈达巴德大学助理教授Chaturvedi兼合着者Sugat Chaturvedi着手分析少数中型的开源LLM,以表彰其性别偏见的招聘建议。

如他们的预印本中所述[PDF],“谁得到回调?生成的AI和性别偏见,”作者研究了以下开源模型:Llama-3-8b-Instruct,Qwen2.5-7b-Instruct,Llama-3.1-8b-Instruct,Granite-3.1-3.1-8B-IT,Ministral-8b-8b-8b-inStruct-2410,和Gemmma-2410。

Boffins使用印度国家职业服务在线职业门户网站的332,044个真正的英语工作广告的数据集,促使每种型号都使用工作描述,并要求该模型在两个同样合格的男性和女性候选人之间进行选择。

然后,他们通过查看女性回调率来评估性别偏见 - 模型建议女性候选人的次数以及工作AD可能包含或指定性别偏好的程度。(研究人员说,在印度的许多司法管辖区都禁止在职位广告中明确的性别偏好,但它们仍然显示出2%的职位。)

我们发现,大多数模型都重现了刻板印象的性别关联,并系统地推荐了同等资格的妇女担任低薪角色

研究人员总结说:“我们发现大多数模型都重现了刻板印象的性别关联,并系统地推荐了同等资格的妇女担任低薪角色。”“这些偏见源于训练数据中根深蒂固的性别模式,以及从人类反馈阶段的强化学习过程中引起的同意偏差。”

这些模型表现出不同水平的偏差。

该论文解释说:“我们发现跨模型的回调建议存在很大差异,女性回调率从1.4%的部门到Gemma的87.3%不等。”“最平衡的模型是Llama-3.1,女性回调率为41%。”

研究人员观察到的Llama-3.1也是最有可能拒绝考虑性别的人。它避免在6%的病例中挑选性别候选人,而其他模型表现出1.5%或更少。他们说,这表明Meta的内置公平护栏比其他开源型号强。

当研究人员调整了回调均衡模型时,男性和男性回调率均约为50%。具有女性回调的工作往往降低了,但并非总是如此。

该论文解释说:“花岗岩和骆驼-3.1的工资差距最低(两者的9日志点),其次是Qwen(14个日志点),建议女性用于比男性低的工资工作。”“女性的性别工资罚款最高(84个日志点)和Gemma(65个日志点)。相比之下,Llama-3对​​男性(女性的工资溢价)的工资罚款约为15个日志点。”

论文中没有解决这是否适用于Llama-4。什么时候元发行了美洲驼4上个月,它承认较早的模型具有左倾的偏见,并表示旨在通过训练该模型来代表多种观点来减少这一点。

“众所周知,所有领先的LLM都有偏见的问题。当时。“这是由于互联网上可用的培训数据类型。”

研究人员还研究了“人格”行为如何影响LLM的产出。

LLM已被发现表现出不同的人格行为,通常偏向于社会可取的或Sicophantic的反应

他们解释说:“ LLM已被发现表现出不同的人格行为,经常倾向于社会可取的或sicophantic的反应,可能是从人类反馈(RLHF)中学习的副产品。”

在Openai的最新消息中看到了这可能表现出来的一个例子对其GPT-4O模型的更新回滚这使得它的回应更加卑鄙和尊重。

可以在系统提示中传达的各种人格特征(愉快的,尽责,情绪稳定,外向和开放性)可以传达给模型,该模型描述了所需的行为或通过培训数据或数据注释。本文中引用的一个例子说:“您是一个珍视信任,道德,利他主义,合作,谦虚和同情的人。”

为了评估这些规定或无意的行为可能塑造工作回调的程度,研究人员告诉LLMS扮演99个不同历史人物的角色。

该论文说:“我们发现,模拟有影响力的历史人物的观点通常会增加女性的回叫率 - 玛丽·沃尔斯托克拉夫特(Mary Wollstonecraft)和玛格丽特·桑格(Margaret Sanger)等著名的妇女权利倡导者超过了95%。”

“但是,在模拟有争议的数字时,该模型表现出很高的拒绝率,例如阿道夫·希特勒,约瑟夫·斯大林,玛格丽特·桑格和毛泽东,因为联合的人格加任务提示将模型的内部风险得分提高到阈值以上,使其内置的安全和公平的护栏都提高了模型的内部风险得分。”

也就是说,模拟臭名昭著的图形的模型在提出任何工作候选建议方面都ball缩,因为调用希特勒和斯大林等名称倾向于触发模型的安全机制,从而导致模型猛烈抨击。

当诸如Ronald Reagan,Elizabeth I,Niccolã²Chiaiavelli和D.W.等角色提示时,女性回调率略有下降 - 下降了2至5个百分点。格里菲斯。

在工资方面,当玛格丽特·桑格(Margaret Sanger)和弗拉基米尔·列宁(Vladimir Lenin)发行工作回调时,女性候选人表现最好。

作者认为,他们使用现实世界数据的审计方法可以补充使用策划数据集的现有测试方法。Chaturvedi说,审计的模型可以很好地适合招聘,就像这样Llama-3.1-8B变体。他们认为,鉴于开源模型的快速更新,至关重要的是要了解其在各种国家法规中的负责部署偏见,例如欧盟的《伦理伦理学指南》,《信任AI》,《经合组织人工智能理事会》和印度S AI伦理和治理框架的建议。

与美国有

刮擦AI监督规则今年早些时候,国家候选人只希望斯大林对他们有角色。®

关于《研究发现,开源AI模型有利于男性招聘的男性》的评论


暂无评论

发表评论

摘要

一项新的研究表明,开源AI模型比女性更有可能推荐男性从事工作,尤其是高薪的工作,这突出了AI招聘工具中持续的性别偏见问题。伊利诺伊大学和艾哈迈达巴德大学的研究人员使用真实的工作广告分析了几个中型开源LLM,并发现不同模型的偏见程度不同。研究表明,这些偏见源于训练数据和加强学习过程。一些模型显示出较低的女性回调率,而另一些模型显示出较高的率或拒绝完全考虑性别。在大多数情况下,调整奇偶校验表明有利于男性候选人的工资差距,模型之间存在显着差异。该研究强调了雇用实践中对AI使用的透明和法规的需求,以确保公平和遵守道德准则。