不列颠哥伦比亚大学（UBC）法学教授已经结束在对生成式人工智能研究和起草解决方案进行了一系列测试后，Lexis+ AI 的内容“充满了错误”，法律专业的学生还不应该使用。一个
本杰明·佩林 (Benjamin Perrin) 除了担任法学教授之外，还领导了 UBC 人工和刑事司法计划，他向 Lexis+AI 提供了多个提示，他已经深度分享以及加拿大律师协会国家杂志上的一篇文章。一个
广告
Lexis+ AI 是一款由人工智能驱动的生成式法律助理，于 2023 年 5 月首次在美国发布。继在澳大利亚、英国和法国推出后，它于今年 7 月向加拿大客户全面开放。一个
Perrin 着手测试加拿大版本是否“不负众望”，但得出的结论是：“经过几轮测试后，我发现 Lexis+ AI 令人失望。我遇到了结果中引用的不存在的立法（没有超链接）、逐字复制的摘要并以“案例摘要”的形式呈现，以及具有重大法律错误的回复。一个
广告
Perrin 的第一个提示是要求 Lexis + AI 起草一份动议，请求允许干预对持有毒品罪的宪法挑战。他说： –它的回复引用了“加拿大立法第 15.07 条”，但该条并不存在。当我指出这一点时，Lexis+ AI 未能确认该错误，而是显示一条自动消息。这是一个令人失望的开始，尤其是考虑到该平台承诺提供可靠、可引用的结果。”一个
他补充道：“然而，我确实注意到，当 Lexis+ AI 提供指向案例或法规的超链接时，这并不是幻觉。“加拿大立法”没有这样的超链接，因此我学会了意识到超链接的缺乏。“动议草案”的质量怎么样？不幸的是，生成的内容甚至不符合粗略的初稿。”一个
在第二次互动中，Perrin 要求 Lexis+ AI加拿大最高法院总结参考参议院改革。—它没有生成原始摘要，而是简单地逐字复制案件摘要（包括最高法院报告页码），没有提供任何附加价值，”佩林说。– 更糟糕的是，当我要求更简短的摘要时，奇怪的是，Lexis+ AI 提供了另一个逐字摘要，但这一次是一个完全不相关的案件，涉及阿尔伯塔省的建筑纠纷。”一个
佩林提出的另一个提示是“刑法中因果关系的检验是什么？”佩兰说，这个答案混淆了刑法和侵权法，导致检验错误。一个
Perrin 对 Lexis+ AI 的初步测试于 2024 年 8 月和 9 月进行，更新后在 2024 年 10 月下旬提交评论之前重新运行相同的提示。Perrin 表示，在重新运行中，w当他要求总结时 参考参议院改革，Lexis+AI再次逐字重现了该摘要。– 当我跟进并要求“更简短的摘要”时，它提供了最高法院在 Charkaoui 诉加拿大（公民身份和移民），â他说。一个
他的所有提示截图都可以下载这里。一个
Perrin 的结论是，鉴于 Lexis+ AI 的“当前局限性”，他无法将其推荐给他的法学院学生，目前也不会将其用于自己的法律研究。一个 LexisNexis 现在对这篇文章进行了深入回应，并发表了一份声明，
LexisNexis 北美和英国首席产品官 Jeff Pfeifer 告诉 Legal IT Insider，Perrin 的文章“并未反映客户对该产品的反应”。 一个 Pfeifer 表示，LexisNexis 拥有以客户为主导的开发流程，“我们定期收到用户的反馈，例如，”所提供服务的广度几乎令人震惊。
我想不出更全面的法律工具，”并且“我喜欢该工具的易用性以及该工具正在访问 Lexis 产品系统中已验证信息的确定性。”
有趣的是，今天（11 月 18 日）回复 Legal IT Insider 并提供有关 Lexis+ AI 反馈的 KM 一位负责人（尽管来自一家大型英国公司）表示：我们正在继续真正强化这样一个事实：任何人工智能输出都需要检查，并且用户仍然是作品的作者，但结果非常积极，而且进展顺利。”一个 一个 至于Lexis+ AI是否应该向学生推广，Pfeifer在给我们的回复中指出，加拿大的律师和法学院为Lexis+ AI的发展做出了贡献，并持续提供重要的反馈。
他说：“自 7 月开始向加拿大法学院教授开放以来，我们一直在寻求并收到来自全国各地法学院的宝贵建议和指导。本学期，十几所加拿大法学院已经在进行有限的学生审判。这些意见为我们在法学院的推广提供了依据，并继续提高 Lexis+ AI 的性能。一个 一个 – 我们咨询过的几乎所有法学院教员、院长和学生都支持从 2025 年 1 月开始为加拿大法学院学生提供 Lexis+ AI 的访问权限。加拿大律师事务所已经在其实践中使用 Lexis+ AI，LexisNexis 也承诺
为法学院学生提供律师所需的工具和技能。”一个 一个 值得注意的是，Lexis 尚未解决 Perrin 提示失败的具体情况，但 Pfeifer 确实表示 Lexis+ AI 提供了链接来源以减轻幻觉，并观察到： – 如果引文没有超链接，该产品建议进一步审查. –
LexisNexis 和汤森路透 Westlaw 今年因幻觉率很高而受到斯坦福大学的批评，Lexis 当时强调，重要的是要理解他们并没有承诺完美，但所有相关的法律引用都是无幻觉的。Pfeifer 强调，Lexis 通过使用增强的检索增强生成平台（该平台现在包括 AgenticRAG）以及结合专有元数据、知识图谱和引文网络技术的使用以及分类服务等技术来对响应进行处理。
一个 一个 Perrin 的文章值得更深入地探讨，我们将与我们的首席分析师 Neil Cameron 合作，他是 Legal IT Insider 的作者
生成人工智能报告。作为初步观察，卡梅伦指出Lexis+ AI 第 15.07 条可能指的是《加拿大权利与自由宪章》（关于平等）的第 15 条，但他也指出 LexisNexis 需要解决 Perrin 测试中出现问题的具体情况。
值得注意的是，在我们的 Gen AI 报告中，Cameron 对法律特定解决方案进行了比较测试，包括（但不限于）Lexis+ AI 与 ChatGPT，在参考参议院改革，给出了相当深入的答案。至于因果关系点，ChatGPT 也明白了，它说：“在加拿大刑法中，因果关系检验要求官方证明事实和法律因果关系，以确定被告对其行为后果的责任。”Ø一个
Perrin Paper 无疑将推动对生成式 AI 工具的输出进行透明基准测试的需求，Legal IT Insider 与 Artificial Lawyer 一起参与了一项由 CMS 首席创新和知识官 John Craske 领导的举措。
Pfeifer 表示：“Perrin 教授尚未与 LexisNexis 联系，但我们欢迎有机会探讨他的建议，以改善产品体验。”更多内容即将推出。 鉴于人们在 LinkedIn 上表示他们在任何地方都找不到 LexisNexis 的回复，您可以在下面找到 Pfeifer 的完整回复。
Benjamin Perrin 教授于 11 月 12 日在加拿大律师协会的《国家杂志》上发表了一篇评论文章，对 Lexis+ AI 的功能做出了断言，但这并不能反映客户对该产品的反应。
作为我们以客户为主导的产品开发方法的一部分，Lexis+ AI 客户告诉我们，Lexis+ AI 的研究答案质量、文档起草技巧和总结能力明显优于以前的方法，每周节省约 11 个小时。我们经常收到用户的反馈，例如：“所提供服务的广度几乎令人震惊。我想不出更全面的法律工具，”并且“我喜欢该工具的易用性以及该工具正在访问 Lexis 产品系统中已验证信息的确定性。”
值得注意的是，加拿大律师和法学院为 Lexis+ AI 的发展做出了贡献，并继续提供重要的反馈。自 7 月开始加拿大法学院教师访问以来，我们向全国各地的法学院寻求并收到了宝贵的建议和指导。本学期，十几所加拿大法学院已经在进行有限的学生试验。这些意见为我们的方法提供了信息法学院的推出，并继续提高 Lexis+ AI 的性能。我们咨询过的几乎所有法学院教员、院长和学生都支持从一月份开始为加拿大法学院学生提供 Lexis+ AI 的访问权限2025 年。加拿大律师事务所已经在实践中使用 Lexis+ AI，LexisNexis 致力于为法学院学生提供律师所需的工具和技能。
在LexisNexis，我们的技术与我们的内容相结合，除了广泛的系统措施（包括由京东培训的律师进行答案质量审查），以及我们以客户为主导的产品开发方法，使Lexis+ AI成为高度可信、准确、安全、安全，并且能够充分处理微妙的法律概念。以下是我们如何确保这一点的一些核心示例：
首先，Lexis+ AI 提供对基础案例和立法的引用权威参考的链接验证，以帮助证实输出并减轻幻觉风险。如果引文没有超链接，该产品建议进一步审查。
其次，在快节奏的大语言模型（LLM）演进中，检索增强生成（RAG）和微调是确保最高答案质量的最佳方法。LexisNexis 通过增强的专有 RAG 平台专注于人工智能答案质量，该平台现在包括用于复杂而细致的法律查询的 AgenticRAG 功能。我们专有的 RAG 基础设施使我们能够确保 Lexis+ AI 响应基于我们广泛的当前独家法律内容存储库，最终通过最新的经过验证的引文参考文献获得最高质量的答案。由于持续的技术发展，我们看到答案和引文质量逐周提高。
第三，LexisNexis 还采用了其他技术来提高我们回复的质量，例如专有元数据、知识图谱和引文网络技术的使用以及分类服务等。每个都有助于识别最相关的法律权威来支持用户的问题。
重要的是，LexisNexis 正在人类监督下负责任地开发合法的人工智能解决方案。LexisNexis 是 RELX 的一部分，遵循RELX悦刻负责任的AI原则，考虑我们的解决方案对人们的现实影响，并采取行动防止不公平偏见的产生或强化。重要的是，人类对人工智能系统的开发、使用和结果拥有所有权和责任。我们在解决方案的整个生命周期中进行适当程度的人工监督。这是确保我们解决方案的质量和适当性能的核心。
Perrin教授建议，与人工总结的案例相比，用户更喜欢人工智能总结的案例。我们感谢他的建议，并将在未来的产品开发中考虑这一点。此外，我们还测试了 Lexis+ AI 不支持的用例。我们清楚地传达由产品支持的起草用例，并指导用户提供有关他们希望看到支持的未来案例的反馈。
最终，我们的目标是为客户提供最高质量的答案，包括经过验证的高质量内容源的链接。
Perrin 教授尚未与 LexisNexis 联系，但我们欢迎有机会探讨他的建议，以改善产品体验。