使用不透明的人工智能（AI）系统Försäkringskassan，国际特赦组织今天表示，瑞典社会保险机构必须立即停止 一项调查Lighthouse Reports 和 Svenska Dagbladet 调查了瑞典的福利体系，发现该体系不公正地将边缘群体标记为福利欺诈检查。
调查显示，该系统不成比例地对某些群体进行了社会福利欺诈的进一步调查，包括女性、有外国背景的个人——在海外出生或父母出生在其他国家的人——低收入者和无国籍的个人。大学学位。国际特赦组织通过审查项目团队采取的分析和方法、提供意见和建议以及在人权框架内讨论调查结果来支持调查。
– 瑞典社会保险局的侵入性算法会根据性别、“外国背景”、收入水平和教育水平对人们进行歧视。这是一个明显的例子，说明人们的社会保障权、平等权、非歧视权以及隐私权遭到了一个明显有偏见的制度的侵犯。”国际特赦组织高级调查研究员大卫·诺兰说。
瑞典社会保险机构至少自 2013 年起就开始使用该机器学习系统。该系统通过算法向社会保障申请人分配风险评分，以检测社会福利欺诈行为。
福尔萨克林斯卡桑进行两种类型的检查，一种是由案件工作人员进行的标准调查，不假定犯罪意图并允许个人犯下简单的错误，另一种是由“控制”部门进行，该部门负责受理存在以下情况的案件：是有犯罪意图的嫌疑。算法指定的风险评分最高的人从一开始就被假定为“犯罪意图”，自动接受福利机构内欺诈控制人员的调查。
“政治迫害”
看到系统标记的文件的欺诈调查人员拥有巨大的权力。他们可以搜索一个人的社交媒体帐户，从学校和银行等机构获取数据，甚至在调查过程中采访一个人的邻居。
“整个系统类似于对任何被标记进行社会福利欺诈调查的人的政治迫害，”大卫·诺兰说。
被有偏见的社会保障体系错误标记的人们抱怨说，他们最终在获得福利权利时面临延误和法律障碍。
– 社会保障机构部署人工智能系统的主要问题之一是它们可能会加剧先前存在的不平等和歧视。一旦某个人被标记，他们从一开始就会受到怀疑。这可能是极其不人性化的，”大卫·诺兰说。一个
整个系统类似于对任何被标记进行社会福利欺诈调查的人的政治迫害。”
大卫·诺兰 (David Nolan)，国际特赦组织高级调查研究员
尽管 Lighthouse Reports 和 Svenska Dagbladet 的项目团队提交了信息自由请求，但瑞典当局尚未对该系统的内部运作完全透明。一个
尽管遭到福利机构的拒绝，SvD 和 Lighthouse Reports 团队还是设法获取了对算法标记的案例样本进行欺诈调查结果的汇总数据，以及受该系统影响的人员的人口特征。这是唯一可能的，因为社会保障监察局（ISF）之前曾要求提供相同的数据。
使用这些数据，团队能够根据六种标准统计公平性指标测试算法系统，包括人口统计平等、预测平等和误报率。每个指标都使用不同的方法来尝试衡量算法系统内的偏见和歧视，研究结果证实，瑞典的系统不成比例地针对瑞典社会中已经边缘化的群体。
嵌入偏差
人们长期以来一直担心瑞典使用的系统中存在偏见。福尔萨克林斯卡桑。 一个2018年报告由 (ISF)概述该机构使用的算法——在其当前的设计中[算法]不符合平等待遇。”瑞典社会保险局辩称，该分析存在缺陷，并且基于可疑的理由。
曾在瑞典社会保险局工作的数据保护官员， 同时，2020年警告整个操作违反了欧洲数据保护法规，因为该机构没有对人员进行分析的法律依据。
由于它们对人民权利构成高风险，根据新采用的欧洲人工智能法规（人工智能法），当局用来确定获得基本公共服务和福利的人工智能系统必须符合严格的技术、透明度和治理规则，包括部署者有义务在使用之前对人权风险进行评估并保证采取缓解措施。此外，该法案还禁止被视为社交评分工具的特定系统。
– 如果瑞典社会保险局使用的系统继续下去，那么瑞典可能会梦游到类似于瑞典社会保险局的丑闻中。荷兰,税务机关错误地指控数以万计的父母和照顾者（大多来自低收入家庭）存在欺诈行为，并对少数族裔人士造成了不成比例的伤害，”大卫·诺兰说。
– 鉴于瑞典当局的不透明回应，不允许我们了解该系统的内部运作方式，以及《人工智能法案》中社交评分禁令的模糊框架，很难确定该特定系统将属于何处《人工智能法案》基于风险的人工智能系统分类。然而，有足够的证据表明该制度侵犯了平等和不受歧视的权利。因此，必须立即停止该系统。
背景
11 月 13 日，国际特赦组织的报告编码的不公正揭露了丹麦福利机构使用的人工智能工具如何造成有害的大规模监视，并冒着歧视残疾人、种族群体、移民和难民的风险。一个
10 月 15 日，国际特赦组织和以 La Quadrature du Net (LQDN) 为首的其他 14 个联盟伙伴 提交了投诉一个 向法国最高行政法院国务委员会提出请求，要求停止 CNAF 使用的风险评分算法系统。
欧盟人工智能法规（AI 法案）于 2024 年 8 月生效。国际特赦组织作为欧洲数字版权网络 (EDRi) 领导的民间社会组织联盟的一部分，一直在打电话保护和促进人权的欧盟人工智能监管。
国际特赦组织 2021 年报告排外机器揭露了荷兰税务机关如何将种族定性纳入算法系统的设计中，该系统将儿童保育福利的申请标记为潜在的欺诈行为。一个