州声称，加利福尼亚政府的高风险AI为零 - 尽管有足够的证据相反

加利福尼亚使用算法来预测被监禁的人是否会再次犯罪。它使用预测技术否认了60万人的失业福利。尽管如此，国家管理人员得出的结论是，没有一个机构使用高风险形式的自动决策技术。

根据向加利福尼亚的技术部报告给镇定机在调查了近200个国家实体之后。机构需要– 2023年签署的立法每年报告他们是否使用高风险的自动化系统可以做出有关人们生活的决定。高风险是指在与刑事司法系统相遇时，或者人们是否可以获得住房，教育，就业，信贷和医疗保健方面可以协助或取代人类决策者的任何系统。” 

州首席技术官乔纳森·波拉特（Jonathan Porat）告诉Calmatters，加利福尼亚科技部不知道哪种算法是国家机构今天使用的算法，并且仅报告了机构告诉他们的事情。当被问及雇用或惩教部算法是否有资格时，Porat表示，要解释法律的机构取决于机构。

``我只知道他们向我们报告了什么，因为即使他们有合同 - 我们也不知道如何或是否使用它，因此我们依靠这些部门来准确地报告该信息。”

这些机构必须在2024年8月底之前提交答案，并报告了过去一年中使用的高风险自动化系统。如果发现任何高风险系统，他们被要求报告这些系统用来做出有关人的决定的个人数据，以及他们采取的措施，以减少这种使用的可能性，从而导致歧视，偏见或不公平的结果。” 

国家机构使用的一些自动化系统提出了有关如何定义风险的问题。例如，加利福尼亚州惩教和康复部将累犯分配给绝大多数囚犯，以确定他们进入和离开监狱时的需求。一种算法用途，compas，有一个有记录的种族偏见历史，但是惩教部告诉技术部，它不使用高风险自动化。 

加利福尼亚就业发展部还报告没有使用高危自动化系统。在2020年的圣诞节和新年假期之间，该部门使用汤姆森路透的AI工具为失业申请人欺诈分数暂停了110万人的失业福利。这些索赔中约有600,000人后来被确认为合法，根据国家分析。

就业部门拒绝说是否正在使用该算法，提供书面声明，即其欺诈检测过程是机密的，以确保我们不会为罪犯提供可以帮助犯罪活动的信息。 

他们在这里说话

该报告似乎还与加利福尼亚州立法机关在过去一年进行的三项分析相关，该报告表明，该州将不得不每年花费数亿美元或以上来监控政府对高风险算法的使用。

去年，组合丽贝卡·鲍尔·卡汉（Rebecca Bauer-Kahan）提出了一项法案这将要求州机构对算法进行风险评估，这可以做出有关人们生活的结果决定，就像新技术部报告中的各种算法一样。

三不同的立法 分析拨款委员会工作人员的概念在她的概念中得出结论，这将是一项昂贵的努力，每年耗资数亿美元，而持续的成本为数十亿美元。

如果加利福尼亚州政府没有高风险的自动化系统，如何评估数百万美元或数十亿美元？

这就是一个熟悉分析的消息来源。该人要求匿名出于对潜在的专业后果的关注，他说，他们在技术部报告中高风险自动系统的定义与鲍尔 - 卡汉法案的结果决定之间的日光很小。他们认为有人在撒谎。 

他们说，这两件事是不可能的。他们从这里嘴里说话。

立法分析的作者没有回应多个置评请求。技术部门的porat也很茫然。我能完全解释说，'他告诉Calmatters。部门和机构与某些团体甚至州境内的部门和机构都可能正在考虑未来不符合去年要求中规定的定义的事物。

加州大学伯克利分校法律与技术中心主任Deirdre Mulligan表示，鉴于分配风险分数的工具的普遍性，技术库存部的结果令人惊讶。

穆里根（Mulligan）表示，政府必须制定适当的规定以确保自动化不会剥夺人们的权利。她同意，分析预测可能数十亿美元的测试成本可能意味着未来计划使用州机构的高风险自动化，这是现在确保已实施此类保护措施的适当时机。

倡导集团Tech Equity首席计划官Samantha Gordon呼吁围绕加利福尼亚使用AI的方式提高透明度，他说，如果不包括2020年使用的EDD，则需要扩大其对高风险系统的定义，例如2020年使用的EDD，这可以剥夺失去工作的人的能力，以使自己的屋顶保持一致，或者使自己的屋顶保持一致，或者使自己的屋顶保持一致，或者养育自己的屋顶。

``我认为，如果您每天问一个加利福尼亚人，如果他们在圣诞节没有工作的时候失去失业福利会给他们的生计带来真正的风险，我敢打赌，他们说是的。

州未来的高风险生成AI

高风险的自动决策报告是在州机构推出一系列潜在风险的AI应用程序的时候。最近几周，州长加文·纽瑟姆（Gavin Newsom）宣布，州机构正在采用AI工具来做诸如与加利福尼亚人谈谈野火，，，，管理交通安全，，，，加快重建过程在洛杉矶的野火之后，并通知州雇员帮助企业征税。

立法者希望跟踪这些系统，部分原因是他们可能会犯错误。2023年国家报告有关政府采用生成AI的风险和机会警告说，它可以产生令人信服但不准确的结果，为同一提示提供不同的答案，并在准确的结果中散发出预测时会遭受模型崩溃的折磨。报告说，当人们过分信任并依赖自动决策时，生成的AI也会承担自动化偏见的风险。

2023年下半年，Newsom命令技术部门编译另一份报告，这是行政部门国家机构对生成AI的高风险使用的清单。Calmatters要求提供该文件的副本，但技术部拒绝共享该文件；首席信息安全官Vitaliy Panych称这样做是不必要的安全风险。

AI应该获得的高风险标签是一场持续的辩论，也是世界各地民主国家出现的法律制度的一部分。赚取该标签的技术通常在部署和持续监控之前受到更多测试。在例如，欧盟，《 AI法案》标签是关键基础设施运营中使用的高风险模型，以及决定获得教育，就业和公共利益的标签。同样，拜登政府期间汇编的人权法案定义为高风险AI，可以决定您的就业，医疗保健和住房。

加利福尼亚州立法机关目前是考虑数十个账单来规范AI在接下来的几个月中国会不会对国家AI监管进行十年的暂停。州长命令一份关于如何平衡AI的创新和护栏的报告。 

需要高风险自动化系统报告的法律有一些明显的例外，包括整个州司法机构和许可机构，例如加利福尼亚律师协会，该机构上个月引发了争议在使用AI为高风险考试编写问题之后。该法律也不需要地方政府的遵守情况经常在刑事司法或警务环境中使用AI和学区。在哪里老师正在使用人工智学对论文进行评分。卫生保健市场涵盖了加利福尼亚，标记显示与LinkedIn分享加利福尼亚人的个人信息，也是使用生成AI但是该实体不需要向技术部报告。