在阿姆斯特丹的高风险实验中创造公平的福利AI
2025-06-11 09:00:00
阿姆斯特丹市议会对SMART检查的AI系统进行了多年实验,旨在识别和减少福利欺诈,同时最大程度地减少人类审查过程中固有的偏见。但是,尽管进行了严格的测试和重新校准工作,但该项目最终未能实现其目标。这是故事中的一些要点:1。**初始目标**:主要目的是使用机器学习算法比传统的基于人类的方法更有效,公平地检测潜在的福利欺诈案例。2。**发展阶段**: - 建立基本模型的原型阶段。 - 广泛的测试阶段,包括偏置分析,人口不平衡调整以及具有实际应用的实时试验试验。3。**遇到的挑战**: - 尽管对算法进行了重新校准,以最大程度地减少对某些人口统计的偏见(例如,非单口个体),但在现场测试中出现了新的偏见,这些偏见比其他人的申请人相对于其他人。 - 与人类审稿人相比,该模型标记了更多的调查案例,但在确定实际欺诈实例方面表现不佳。4。**金融投资**:该项目花费了大约53.5万欧元,其中包括35,000欧元用于与城市员工咨询德勤和内部发展成本的咨询。5。**道德问题**: - 关于AI系统是否符合偏见纠正的人AI系统是否符合人AI系统的问题。 - 倡导者强调了正在进行的系统性问题,例如不受利益增加的生活成本上升以及与福利申请人进行更多个人互动的需求。6。**终止决定**:该项目在2023年末终止,当时很明显,智能支票包含重大偏见,这与减少歧视的目的相反。7。**未来的影响**: - 这一集提出了有关在公共服务中部署AI系统的更广泛问题,以及更需要定义公平的包容性方法。 - 有人呼吁更直接地参与受影响的社区,以确定应如何应用这种技术解决方案。8。**学习的教训**: - 虽然该项目旨在创新福利管理,但其复杂性突显了一些基本问题可能需要政治而不是纯粹的技术解决方案。 - 恢复手动过程的决定强调,如果自动化替代方案引入新的偏见或效率低下,即使是有缺陷的人类系统似乎也是可取的。智能检查的失败强调了将先进的AI技术集成到公共服务交付中所涉及的挑战和道德考虑,尤其是在处理诸如社会福利之类的敏感问题时。