英国政府用来评估福利案例的方法显然出现了“统计上显着”的错误。接受记者采访在卫报2024 年 2 月对普遍信贷申请人进行公平性分析后出现。它证实，旨在确保公平和效率的工具实际上可能歧视边缘化社区。工作和养老金部 (DWP) 开始探索自动化决策系统
2010年代作为其努力的一部分福利服务数字化。虽然早期迹象表明自动化系统被用来评估福利权利并标记案件进行调查，但直到 2021-22 年，该部门才开始使用自动化系统。账户泄露使用这些技术来检测普遍信用索赔中的欺诈行为。
这些系统的核心是依靠算法来快速筛选有关索赔的信息。该算法应用规则来帮助确定某人是否有资格获得福利（尽管 DWP 表示最终决定仍然由人类做出，稍后会详细介绍）。
我们的想法是，这种方法可以比人类更快地处理索赔，同时还有助于使决策更加统一并减少索赔人的延误。通过使用算法快速识别潜在问题，该部门希望提高整体效率并将资源定位到需要的地方。
然而，随着这些系统变得更加深入人心，人们对其准确性、公平性以及它们可能对那些已经处于危险境地的人们造成的意外伤害的担忧不断增加。
正如我们在其他地方已经看到的那样，这些担忧并不只是抽象的。作为三年计划的一部分项目我和我的团队研究了数字化对英国、苏丹和印度粮食安全的影响，探讨了粮食援助数字化的机遇和风险。
我们的研究表明，自 2013 年起推出的全民信贷（一项福利改革，用单一的、在线管理的每月付款取代六项旧福利，并根据申请人的收入变化进行调整）恰逢粮食援助举措激增。其中包括政府计划，例如健康的开始、食品银行和食品共享等慈善机构，以及早餐俱乐部等理事会策略。
我们的研究结果强调了技术驱动的福利系统如何影响食物的获取，并深入了解其潜在的好处以及它们给弱势群体带来的挑战。
来自我们的数据和其他数据的观察和分析学者,国际观察员， 和独立组织已经开始揭示技术转变如何有助于制定在核实索赔人的需求之前对其进行惩罚的政策。这可能会影响他们购买食物和其他基本必需品的能力。
这些新发现的核心是一种令人不安的模式，它被恰当地称为“——先受伤，再修复——方法。
该系统似乎不是为了确保弱势索赔人从一开始就得到支持，而是旨在在发放全额付款之前识别潜在的欺诈或违规行为。这让索赔人承担了责任——已经在苦苦挣扎粮食不安全加剧,住房费用， 和健康问题– 证明他们应得的援助。
阅读更多：“黑匣子”人工智能系统二十多年来一直影响着刑事司法决策 - 是时候将其开放
在这种模式下，人们可能会发现自己在任何人更仔细、更同情地审视他们处境的复杂性之前就被切断了联系或受到制裁。
作为DWP 承认，纠正这些算法判断的人类监督至关重要，并且它表示支付的最终决定仍将由人类做出。
但一个关键问题是，DWP 正在努力解决严重的人手不足问题，这一问题在过去一年被广泛记录。该部门的公务员描述了——难以承受的工作负荷——和— 人员配备水平处于历史最低水平 —工会警告称，这正在助长“精神疾病流行病”DWP 员工中。
由于能够及时、公平地处理索赔的工作人员太少，“稍后修复”部分变得越来越不可行。
对于索赔人来说，许多人处于或濒临贫困，结果可能是毁灭性的。2024年初，15% 的英国家庭正在经历饥饿，其中五分之一的儿童患有饥饿。
食品银行慈善机构 Trussel Trust 记录了增加900%自 2010 年代初期以来，在紧急食品包的分发中，许多依赖普遍信贷的人发现，即使是最近与通货膨胀挂钩的付款增长，到 2010 年底也会被抵消。生活费补助。
由于基本需求未得到满足，等待数周或数月的人工审核来纠正人工智能驱动的“错误”不仅仅是一种不便，还可能意味着拖欠租金或挨饿。
数字优先方法
那些受到这些自动判断影响不成比例的人往往是面临最大导航障碍的同一群体中的一些人数字系统：残疾人、老年人、少数民族和非英语母语人士。
许多人缺乏稳定的互联网或填写表格和上传文件所需的数字素养。如果算法已经对这些群体表现出偏见，而工作人员又太忙而无法干预，那么结果将是复合伤害。
自动化对效率的承诺越来越空洞。算法经常将复杂的情况（例如护理责任或工作时间波动）误解为违规行为。负担过重的社会工作者可能难以有效干预，导致错误和不公正现象得不到解决。
官方审查和独立评估一再挑战仅靠数字化就能解决系统性问题的观念。例如，国家审计署2018年报告对新制度是否兑现其承诺表示严重怀疑，而下议院公共账目委员会警告说，普遍信贷的实施斗争损害了索赔人的福祉。
倡导组织收集的前线证据英国残疾人权利和伦敦包容性与这些质疑一致。
这特拉塞尔信托研究发现，到 2024 年，68% 依赖普遍信贷的工薪家庭已经没有生活必需品。48% 的申领者耗尽了食物，却无力购买更多食物，这凸显了该系统无法满足基本需求。
为了解决这些问题，专家和组织认为，政府必须认识到先进的分析和自动评估不能取代人类的洞察力，特别是当决策影响住房、供暖和食品安全等基本需求时。
除非政策制定者认识到这一点，否则英国就有可能巩固一种在其了解之前就进行惩罚的福利制度。数字化“效率”是以公平和信任为代价的，并将加剧食品和福利体系旨在解决的其他基本需求方面的不安全感。