法官呼吁迅速制止专家秘密使用人工智能影响案件。
最近，一位纽约法官因一名专家证人在一起房地产纠纷中使用微软的Copilot聊天机器人不准确地估算损失而对其进行批评。这场纠纷的部分胜败取决于对损害赔偿的准确评估。
在一场中订单周四，法官乔纳森·施波夫警告说，“鉴于人工智能快速发展的性质及其内在的可靠性问题”，在法庭上提交证词或证据之前应披露任何使用AI的情况。承认法院“对Copilot的工作原理没有客观的理解”，施波夫建议，如果专家开始过度依赖大量的聊天机器人，可能会扰乱司法系统。
他的警告是在一位专家证人查尔斯·拉森怀疑地使用Copilot来交叉核对巴哈马一处价值48.5万美元的出租房产的计算后提出的。该房产已被纳入已故男子儿子的一个信托基金中。法院被要求评估执行人和受托人——即已故男子的妹妹——是否因推迟出售该财产并承认将其用于个人度假而违反了其受托责任。
为了胜诉，幸存的儿子必须证明他的姨母因保留该房产而违反了她的职责，她在那里的度假属于自我交易行为，并且他因为她据称滥用该财产而遭受了损失。
这取决于Ranson计算如果姑妈在2008年出售房产，儿子能获得多少遗产，与实际上在2022年的售价相比的情况。但Schopf表示，作为一名信托和遗产诉讼的专家，Ranson“没有相关的房地产专业知识”，认为Ranson的证词是“完全推测性的”，未能考虑显而易见的事实，例如疫情对租金价格的影响或诸如房产税之类的信托费用。
似乎因为Ranson在房地产方面没有相关经验，他转向了Copilot来填补空白并计算数据。这一举动令互联网法律专家Eric Goldman感到惊讶，他告诉Ars，“律师聘请专家证人是为了他们的专业技能，让专家证人将这些专业知识外包给生成式人工智能是没有意义的。”
戈德曼建议：“如果专家证人只是向聊天机器人请求计算，那么律师可以直接提出同样的请求，而无需依赖于专家证人（以及支付专家的高额费用）。”
也许儿子的律师团队并不清楚Copilot发挥了多大的作用。Schopf指出，Ranson记不清他使用了哪些提示来得出损害赔偿估算。这位专家证人也无法回忆起他从聊天机器人中获取信息的来源，并承认他对Copilot的工作原理或它是如何得出特定输出结果的基本理解不足。
Ars无法立即联系到Ranson以获取评论。但在Schopf的命令中，法官写道Ranson辩称使用Copilot对于像他这样的专家证人而言是一种常见的做法。
"Ranson 在他的证词中坚持认为，使用 Copilot 或其他人工智能工具来起草专家报告在受托人服务领域通常是被接受的，并代表了受托人决策分析的未来；然而，他无法提供任何关于其使用的出版物或其他来源以确认这是一种普遍接受的方法论，" Schopf写道。
高盛指出，Ransom 靠借Copilot 进行“本质上是数值计算的工作尤其令人困惑，因为生成式AI的已知幻觉倾向使得数值计算不可靠。”
因为Ranson解释不了Copilot是如何工作的，Schopf花了额外的时间实际尝试使用Copilot来生成Ranson得到的估算——但他做不到。
每次法院都将相同的查询输入到Copilot中——“你能计算从2004年12月31日到2021年1月31日在Vanguard平衡指数基金中投资的25万美元的价值吗？”——而每次Copilot都会生成略有不同的答案。
这“引发了对Copilot生成的证据在法庭程序中可靠性和准确性”的质疑，Schopf写道。
法官表示聊天机器人无需承担责任
在法院试验Copilot的同时，他们还询问了聊天机器人一个更宏观的法律问题：Copilot的回答是否准确到可以在法庭上引用？
法院发现，Copilot 对其输出的信任度不及Ranson似乎表现出的那样。当被问及“你是否准确”或“可靠”时，Copilot 回答说，“我的准确性取决于我的信息来源，因此对于重要事项来说，总是明智的做法是进行验证。” 当更具体地询问“你的计算在法庭上使用是否足够可靠”时，Copilot 同样建议输出结果“应始终由专家进行验证，并在附有专业评估的情况下才可用于法庭”。
虽然看来拉森在法庭上使用输出内容之前并没有进行验证，施波夫指出至少“Copilot程序的开发者们认识到需要经过训练的人类操作员对其进行监督，以验证提交的信息和输出结果的准确性。”
微软拒绝了Ars的评论请求。
在法院接受人工智能生成的证词的具体规则存在之前，Schopf建议法院应要求律师进行披露，以防止聊天机器人产生的不可采纳的证词扰乱法律系统。
“人工智能的使用在许多行业中迅速成为现实，”施波夫写道。“仅仅因为人工智能在我们的日常生活中发挥了作用，并且这种作用正在不断扩大，这并不意味着由人工智能生成的结果可以在法庭上被采纳。”
最终，肖普夫发现并没有违反受托人职责的行为，因此没有必要在巴哈马房产案中采纳兰森借鉴Copilot的损害赔偿证词。肖普夫在详细指出兰森滥用聊天机器人的行为后，驳回了儿子的所有异议（以及任何未来可能提出的索赔）。
但在他的命令中，法官暗示兰森在涉及聊天机器人之前似乎全都搞错了。
“无论他是否被继续聘用以及是否在信托责任以外的领域具备损害赔偿专家资格，他的证词表明，他承认没有对问题进行全面分析，使用了错误的时间段来计算损害，并且在他的计算中忽略了显而易见的因素，所有这些都与他对自己的意见的分量和可信度相矛盾，”Schopf写道。
Schopf指出，证据表明，与其儿子因为姨妈管理信托而损失钱财——Ranson引用的聊天机器人输出结果所声称的支持相反——2022年房产的出售导致“没有可归因的资本损失”，“实际上为信托产生了整体利润。”
高曼建议说，兰森似乎没有费心谨慎地使用Copilot，这种方式似乎损害了他在法庭上的信誉。
“专家直接从原始来源获取必要数据并不难，因此这个过程甚至没有节省多少时间——但这种捷径是以牺牲专家的信誉为代价的，”戈德曼告诉Ars。
Ashley 是Ars Technica的一名高级政策记者，致力于追踪新兴政策和新技术带来的社会影响。她是一名拥有20年经验的芝加哥记者。