Axon曾经以开发Taser而闻名,它已转变为500亿美元的军事和执法技术巨头。琼斯母亲插图;迈克尔·尼格罗(Michael Nigro)/太平洋出版社/祖马(Zuma);Arthur Ogleznev/Unsplash;Logan Weaver/Unsplash
从不由寡头拥有和控制的消息来源获取新闻。注册免费琼斯母亲每天。
2024年4月,美国警察科技公司Axon领导着警察局市场的市场,它发布了一种将其计数为“革命性”的工具:一份AI驱动的软件包草案,该软件包将使人体摄像机的镜头和音频变成可理解的警察报告。
Axon曾经以开发Taser而闻名,它已转变为一家耗资500亿美元的军事和执法技术巨头,在全国范围内为5,000多个警察部门提供了一套基于云的产品,以管理证据收集和存储。AI工具一号草案与公司的车身摄像机和证据存储服务联系起来,以几乎没有人为干预来撰写警察报告。至少有21个部门已经尝试了该软件。
根据《电子边境基金会》和ACLU等民权倡导组织的说法,人工智能在产生警察报告中的使用特别令人不安。倾向向种族和性别偏见,及其倾向于将不准确插入到包括的文本中批发发明被技术人员称为幻觉……
警察上尉写道:``我几乎可以保证[AI]报告已在认罪交易中使用。
Axon说其AI系统,一个自定义变体Openai的Chatgpt经过微调以减少幻觉。该公司还表示,它引入了其他保障措施,其中包括故意插入的保障措施明显的错误``纳入报告草案,另一个需要最低水平的人类编辑,然后才能将报告标记为完整的功能,旨在确保官员们实际上可以阅读并确认报告的准确性而不是橡皮图。”
但是由琼斯母亲通过信息自由法,几乎统一地显示了使用该软件关闭的软件的警察部门。实际上,使用Axon产品的警察减少或消除了人类的监督,停用了旨在防止AI偏见的保障措施,同时使AI产生的哪些报告很难或不可能进行审核。
去年,印第安纳州拉斐特的警察成为第一个驾驶Axon选秀一条软件的人之一。琼斯母亲通过向拉斐特警察局的公开记录请求,该州最大的节目之一是在发布一草案后不久,Axon通知了该部门的一项新功能:默认情况下,报告包括标题或页脚,承认他们是由AI撰写的。Axon发言人于2024年5月28日写信给高级警察官员Brian Gossard上尉写信。
该部门的设置页面表明,警察官员确实做到了,这使得不可能独立审查其报告中的哪一份是由AI撰写的。(根据电子边界基础,Axon的软件也无法跟踪AI撰写的报告的哪些部分。)
尽管该部门现在掩盖了AI生成的报告,但Gossard和Axon代表Noah Spitzer-Williams之间的另一组电子邮件表明,AI工具生成的报告用于该州的认罪交易中。”
戈萨德(Gossard)在2024年7月向Spitzer-Williams写信给我个人,我个人并不了解任何[草稿]。
但是回应后续行动琼斯母亲该部门表示,请求确定AI生成的报告,该部门表示无法找到任何案件清单。”
警察局的遗漏是有下游后果的遗漏的故意选择,”乔治华盛顿大学法学教授安德鲁·弗格森说大数据警务的兴起:监视,种族和执法的未来。``假设它来自对警察的宣誓记忆,有法官,检察官,辩护律师和被告依靠该文件。
拉斐特警察局并不仅仅停用了保障措施。来自科罗拉多州柯林斯堡的另一个部门驾驶的部门获得的文件显示,警察类似地禁用了页脚,他们承认这些报告是使用AI制作的。”
弗格森(Ferguson)称此类决定为不合理的风险。
Axon表示这是一项新技术,它仍未经过测试。弗格森说,我们要确保没有错误。做到这一点的一种方法是与公众透露何时使用。关闭警告本质上是忽略了您确定的真正风险。
他警告说,这些风险包括AI可能导致官员欺骗自己的可能性。让我们说的是AI幻觉,这有时会发生,然后就可以轻易地向法院提出谎言。”
研究警告说,生成的AI工具表现出偏见妇女和非白人的人,以及她在2024年ACLU中回荡的幻觉的倾向白皮书这反对像Axon这样的软件,理由是担心这些偏见可能加剧警务中现有的不平等现象。
AI模型的偏见可能会导致歧视性结果,削弱我们所服务的客户和社区之间的信任。
为了应对置评请求,轴突发言人说,该公司的发展实践是基于包括AI在内的关键领域的一系列指导原则,以确保我们所做的一切都是善良的力量。”
但是公司也承认风险在年度SEC备案中的AI产品。
'AI驱动系统中的意外故障或不准确性可能会使我们的客户面临运营风险,尤其是在高风险的用例中,例如执法或公共安全,最近的年度披露阅读。``生成AI技术的开发,采用,整合和使用仍在早期阶段,因此,我们的AI技术可能包含物质缺陷或错误。”
这些文件还承认了ACLU的关注点。我们使用的AI算法可能存在缺陷或可能是(或认为是)基于偏见或不足的数据集,ACLU的风险是AI模型中的偏见可能会导致歧视性结果,从而削弱我们服务的客户和社区中的信任。
Axon公开表示,它通过包括迫使官员审查软件生成的信息的设置来维持其AI产品的安全性。虽然其他部门确实包括标题和页脚来确定草稿撰写的报告,但七个警察部门中有六个回应琼斯母亲公共记录请求关闭了需要官员审查AI生成的报告的功能。在犹他州南约旦的要求中,只有一个警察局保留了要求官员投入的功能。但是该部门设置页面的屏幕截图还表明,尽管它要求官员对AI生成的草稿进行最少的更改,但该软件还允许他们绕过该功能。
同时,草案被用来发表有关广泛涉嫌犯罪的警察报告,包括潜在的重罪;尽管该软件允许部门禁用其用于某些类型的犯罪的使用,但几乎每个警察部门都回应了选择不使用该功能的记录请求。一个电子表格从南约旦警察局获得的表明,在2024年9月至今年4月之间,Axon的软件用于生成900多个报告,从福利支票到绑架和殴打案件。
从加利福尼亚弗雷斯诺警察局获得的另一项日志显示,在2024年12月至2025年4月之间,使用该软件用于3,000多起事件。
三月,犹他州立法机关通过了一项法案要求警察部门披露任何对人工智能的使用,这是第一个在任何州签署法律的法案。加利福尼亚州议会正在考虑类似的账单,西雅图的警察看门狗有敦促当地法规调节部门AI的使用。
犹他州比尔的赞助商,民主国家参议员斯蒂芬妮·普斯特(Stephanie Pitcher)是一位前刑事辩护律师,关注AI的破坏或脱轨审判的潜力。投手说,大多数辩护律师甚至不知道他们收到的报告是否由AI提出。
透明度是如此重要,”投手说。`如果是否清楚这些信息是由AI产生的,使用摄像机和生成报告的何处,或者是否是由官员观察到的,那么当您需要在法庭上有证人来回答问题时,它确实会使事情变得复杂。”
投手说,如果部门主动跟踪AI撰写的报告,这可能会对被指控犯罪的公民产生下游后果。
很容易从警察局那里获得这些信息,但是如果您必须直接传唤一家科技公司,则必须通过其法律部门。我确定您可以得到它,但这会花一些时间。”她补充说。如果您有一个被拘留的人,有时他们会被拘留,直到案件解决。这些类型的延迟攻击了所持有的个人。
Caroline Sinders是研究与设计的无党派智囊团的创始人Caroline Sinders,研究网络安全和人权,他称警察部门违约不愿关闭旨在提供问责制并帮助验证AI生成内容的功能的功能令人不安,甚至有可能这样做。Sinders说,设计是非常政治性的。这些设置为什么在处理与案例产生一样重要的事情时会成为可选的?''
一些初步研究还表明轴突可能高估了AI节省了时间的能力。在阿拉斯加,安克雷奇警察局说,它结束了对草案草案的审判,因为它没有节省大量时间。对新罕布什尔州官员的研究发现了类似的结果。
但是,与用户有限的热情一起,草拟的真正的致命弱点可能是其费用。该软件每年可以使部门每年花费数万美元才能运营,虽然该公司已大力提高了该软件提高警务效率的能力,但电子邮件表明,官员可能并不总是在船上。”
尽管拉斐特警察局与布莱恩·戈萨德(Brian Gossard)是Axon软件的重要早期采用者,但在部门电子邮件中引用的部门船长,是新工具的发言人,是新工具的2024年9月一封来自Axon到Gossard的电子邮件的发言人。
Ai Models,Axon员工在另一封电子邮件中写道,非常对于我们来说,运营昂贵。