汤姆·辛格尔顿
技术记者
盖蒂图像
新研究表明,人工智能(AI)工具在回答法律问题方面已经变得更好,但即使是初级律师的能力也无法复制。
英国主要律师事务所Linklaters Put聊天机器人进行测试通过将他们设置为50个有关英国法律的“相对艰难”的问题。
它得出结论是,2019年发布的OpenAI的GPT 2是“绝望的”,但其O1模型于2024年12月发布,表现更好。
Linklaters表示,这表明工具“进入了它们可能有用的阶段”,这对于现实世界的法律工作,但只有在人类专家的监督下。
与许多其他专业一样,法律正在努力影响AI最近的快速进步,以及它是否应被视为威胁或机会。
国际律师事务所希尔·狄金森(Hill Dickinson)阻止一般访问在几种AI工具发现其员工“使用大幅增加”之后,它。
关于AI的风险以及需要严格的监管,还有一场激烈的国际辩论。
上周,美国和英国拒绝就AI签署国际协议,与美国副总统贾德·万斯(JD Vance)一起批评欧洲国家优先考虑安全而不是创新。
“肉碎”的未来
这是Linklaters第二次进行Linksai基准测试,原始练习于2023年10月进行。
在第一轮比赛中,OpenAI的GPT 2、3和4与Google的吟游诗人一起进行了测试。
该考试现已扩展到包括O1,来自OpenAI的O1和Google的Gemini 2.0,该考试也于2024年底发布。
它不涉及DeepSeek的R1-看似低成本的中国模型惊讶的世界上个月 - 或任何其他非美国AI工具。
该测试涉及提出问题的类型,这些问题需要从两年经验的“有能力的中级律师”中提供建议。
Linklaters说,较新的模型对其前辈展示了“重大改进”,但仍表现低于合格律师的水平。
即使是最先进的工具犯了错误,遗漏了重要信息并发明了引用 - 尽管比以前的模型少。
Linklaters说,这些工具“开始在可以协助法律研究的水平上执行”,并举例说明提供初稿或检查答案的例子。
但是,它说,如果律师“对答案没有一个好主意”,则使用它们存在“危险”。
它补充说,尽管近年来取得了“令人难以置信的”进展,但仍然有疑问是否会在将来复制,或者在AI工具可以做的事情上是否存在“固有的局限性”。
它说,无论如何,客户关系将始终是律师所做的关键部分,因此即使未来的AI工具进步也不一定会结束所谓的“法律服务交付中的肉体”。