据《卫报》透露，英国政府用来检测福利欺诈的人工智能系统根据人们的年龄、残疾、婚姻状况和国籍而显示出偏见。
内部评估机器学习程序用于审查英格兰各地数千项通用信用支付的索赔发现在建议调查可能的欺诈行为时，它错误地从某些群体中选择了比其他群体更多的人。
录取是在发布的文件根据工作和养老金部 (DWP) 的《信息自由法》。今年二月对通用信贷预付款自动化系统进行的“公平分析”中出现了“统计上显着的结果差异”。
偏见的出现是在 DWP 今年夏天声称人工智能系统“不会立即出现任何歧视、不公平待遇或对客户产生有害影响的担忧”之后出现的。
做出这一保证的部分原因是，一个人是否获得福利金的最终决定仍然是由人类做出的，官员们认为，该系统的继续使用——试图帮助减少每年估计 80 亿英镑的损失在欺诈和错误中——是“合理且相称的”。
但披露的信息显示，尚未对以种族、性别、性取向和宗教、怀孕、生育和性别重新分配状况为中心的潜在偏见进行公平分析。
活动人士的回应是指责政府采取“先伤害，后解决”的政策，并呼吁部长们更加公开地了解哪些群体可能被试图欺骗系统的算法错误地怀疑。
“很明显，在绝大多数情况下，DWP 没有评估他们的自动化流程是否存在不公平地针对边缘群体的风险，”首先获得该分析的公法项目高级研究员卡罗琳·塞尔曼 (Caroline Selman) 表示。
“DWP 必须结束这种“先伤害，后修复”的做法，并在无法正确理解工具所带来的伤害风险时停止推出工具。”
承认自动化系统评估欺诈风险的方式存在差异，也可能会加强对政府迅速扩大的人工智能系统使用的审查，并推动提高透明度的呼声。
根据一项独立统计，有英国公共机构至少使用 55 种自动化工具尽管政府自己的登记册中只包含九个，但可能会影响数百万人的决定。
上个月，《卫报》透露自从政府表示以来，没有一个白厅部门登记使用人工智能系统这将成为强制性的今年早些时候。
记录显示，公共机构已授予数十份人工智能和算法服务合同。上个月，警方设立的采购机构竞标了一份价值高达 2000 万英镑的面部识别软件合同。家庭办公室，重新引发人们对“大规模生物识别监控”的担忧。
科学技术大臣彼得·凯尔此前曾告诉卫报公共部门“还没有足够重视政府使用算法的透明度”。
近年来，包括内政部和 DWP 在内的政府部门一直不愿透露更多有关人工智能使用的信息，理由是担心这样做可能会让不良行为者操纵系统。
目前尚不清楚哪些年龄组更有可能被算法错误地定位为欺诈检查目标，因为 DWP 修改了公平性分析的这一部分。
它也没有揭示残疾人是否比非残疾人更有可能被算法错误地挑选出来进行调查，也没有揭示算法对待不同国籍的方式之间的差异。官员们表示，这是为了防止欺诈者利用该系统。
DWP 发言人表示：“我们的人工智能工具不会取代人类判断，个案工作者将始终查看所有可用信息来做出决定。”我们正在采取大胆而果断的行动来打击福利欺诈——我们的欺诈和错误法案将使调查更加高效、有效，从而更快地识别利用福利制度的犯罪分子。”