诺贝尔奖获得者Aleksandr Solzhenitsyn在斯大林和其他人的领导下描述了共产主义的恐怖古拉格群岛，“那条界线分裂的路线都陷入了每个人的内心。的确，在共产主义政权下，公民在对其造成伤害之前就被撤离了社会。这种撤职经常需要旅行劳动许多人没有回来的营地，以剥夺了被告有正当程序的方式。在许多情况下，仅仅怀疑甚至暗示可能发生针对该政权的行为就足以赚取单程票，几乎没有追索权。官员知道何时有人可能犯罪的基本前提。换句话说，执法部门知道那条线在人们的心中。Akhil Bhardwaj是英国巴斯大学的战略与组织副教授。
英国政府已决定通过投资程序试图先发确定谁可能谋杀。具体来说，该项目使用政府和警察数据来介绍人们“预测”有可能谋杀的可能性很可能的人。目前，该计划处于研究阶段，类似的程序被用于制定缓刑决策的上下文。
这样的计划将个人降低到数据点会带来巨大的风险，可能超过任何收益。首先，此类程序的输出是没有任何错误，这意味着它可能错误地暗示了人们。其次，我们永远不会知道预测是否不正确，因为没有办法知道是否没有发生任何事情 - 防止谋杀案，或者从未发生过谋杀仍然无法回答？第三，机会主义行为者可能会滥用该计划，以证明针对人的正当性，尤其是少数民族的能力。
考虑：官僚状态基于将人类减少到数字的能力。通过这样做，它提供了效率和公平性的优势 - 没有人应该获得优惠待遇。不管一个人的地位或收入如何，DMV（英国的DVLA）将以相同的方式对待驾驶执照或其续签的申请。但是发生错误，并导航官僚程序的迷宫以纠正它们并非易事。
在算法和人工智能（AI），在错误的情况下，这个问责制和追索问题变得更加紧迫。
“责任接收”
数学家凯茜·奥尼尔有记录由于AI算法计算得出的得分差，因此对学校教师的错误终止案件。反过来，该算法是由可以轻松测量的（例如测试分数）而不是教学的有效性的（表现不佳的学生的有效性，或者有多少教师以无可量化的方式帮助学生）。该算法还掩盖了前几年是否发生过坡度通货膨胀。当教师向当局询问导致解雇的绩效评论时，即使当局承认基础数学不是100％准确的，他们收到的解释是以“数学告诉我们这样做”的形式。
如果未来的未来凶手被抢先逮捕，“少数派报告”式，我们怎么知道该人是否可以自己决定不犯罪？
Akhil Bhardwaj
因此，使用算法创造了记者丹·戴维斯（Dan Davies）所说的“问责台“它通过确保没有一个人或实体可以负责，并且它阻止了受决定影响的人能够解决错误。
这会引起双重问题：算法的估计值可能存在缺陷，并且该算法不会自行更新，因为没有人负责。不能期望任何算法始终保持准确。可以使用新数据校准。但这是一种理想主义的观点甚至在科学中都不成立;科学家可以抵抗更新理论或模式，尤其是在大量投资于理论时。同样，毫不奇怪，官僚机构不要很容易地更新他们的信念。
使用算法试图预测谁有谋杀的风险是令人困惑和不道德的。它不仅是不准确的，而且无法知道该系统是否正确。换句话说，如果未来的未来杀人犯被抢先逮捕，“少数派报告”式，我们怎么知道该人是否可以自己决定不谋杀？英国政府尚未澄清他们打算如何使用该计划，而不是指出该研究的目的是为了“防止和检测非法行为。”
在美国，我们已经看到了类似的系统。在路易斯安那州，一种名为Tiger的算法（“有针对性的干预措施以更大的重新进入”）预测，如果释放，囚犯是否可能犯罪，这是做出假释决策的基础。最近，一名70岁的几乎盲人犯人被拒绝假释因为老虎预测他有重新犯罪的高风险。
在另一个案件中，最终去了威斯康星州最高法院（州与鲁米斯），使用算法指导量刑。该句子面临的挑战，包括访问该算法以确定如何达到建议的请求 - 以该技术为专有的理由拒绝了。从本质上讲，系统的技术不透明性以可能破坏的方式加重了正当程序。
同样，即使不是更困难的话，数据集英国的计划的基础凶杀预测项目``由成千上万的人组成，他们从未允许其数据用于训练系统。更糟糕的是，数据集编译使用该部的数据，大曼彻斯特司法警察和警察国家计算机 - 包含个人数据，包括但不限于成瘾，心理健康，残疾，以前的自我伤害的信息以及他们是否曾经是犯罪的受害者。还包括性别和种族等指标。
这些变量自然增加了对少数民族和其他边缘化群体偏见的可能性。因此，该算法的预测可能只是反映了过去的警务选择 - 预测性AI算法依赖统计归纳，因此他们将数据中的过去（令人不安的）模式投射到未来。
此外，来自富裕地区的黑人罪犯以及来自被剥夺社区的所有种族的数据过多。过去的研究表明，对行为进行预测的AI算法对黑人犯罪者比其他罪犯 组。这样的发现对真诚的方式无济于事恐惧种族少数群体和其他弱势群体将不公平地成为目标。
Solzhenitsyn在他的书中向西方世界通报了一个官僚主义国家的恐怖，该国为公民服务而磨削了一个理想的公民，对人类的生活经历几乎没有考虑。国家几乎总是错误的（尤其是在道德上），但是，当然没有Mea Culpa。那些受到虐待的人只是遗忘的附带损害。
现在，半个世纪后，像英国这样的民主国家正在重新审视一个专制共产主义国家的可怕和失败的项目，这是一个奇怪的奇怪的保护公众。“不仅需要保护公众，而且还需要保护犯罪分子”技术垄断“这大大高估了技术在建立和维持健康社会中的作用。