加利福尼亚州立酒吧使用AI起草考试问题。律师不快乐。

官员们在本周证实，人工智能被用来发展加利福尼亚2月的律师考试。 推出``在多年来都面临最严格的审查，前往法庭，州酒吧面临最严重的审查。

根据AI的协助，由ACS Ventures提出的一些多项选择问题是在AI的协助下，通过内容验证小组和主题专家在考试前进行了审查。新闻稿来自代理机构。

州律师协会执行董事莉亚·威尔逊（Leah Wilson）在新闻稿中说，我们对[多项选择问题]的有效性有信心，可以准确，公平地评估考试者的法律能力。汲取的经验教训正在七月考试中纳入，所有未来的考试都将包括额外的独立审查和验证级别。”

人工智能被用来起草一些考试内容的启示引发了立法者的批评。在与Sfgate的一份声明中，州参议员Thomasâumberg，D-Santa Ana，国家主席 参议院司法委员会，说他对AI的使用深感困扰。 

他说，这些信息没有透露给包括加利福尼亚最高法院的任何人，包括最令人惊讶的。”从创建到管理的2月律师协会考试的整个巡回演出都被证明是一场毫无限制的灾难。每个新的启示都提出了更多有关问题的信息。有关州律师协会决策过程的问题；有关当前领导的表现的问题；以及有关加利福尼亚最高法院在设计2月律师考试时授予的国家律师协会是否在其权力内行事的问题。”

乌姆伯格补充说，他介绍了参议院第47号法案，该法案呼吁由加利福尼亚州审计师对考试进行独立审查。他还携带了参议院第253号法案，该法案是州律师协会的年度费用授权法案，该法案确定了加利福尼亚州律师必须付出多少才能获得许可的费用，并且作为关键工具，立法者可以用来推动监督和改革。两项法案将于5月6日在参议院司法委员会听证会上进行审查。

在考试中，S 171得分多项选择问题，由ACS Ventures开发了23个，Kaplan开发了100个。根据4月18日推介会由代理机构。加利福尼亚州律师协会官员在4月21日的新闻稿中说，在所有来源中，在心理测量目标上表现出的多项选择问题，可靠性得分为0.89。一个 可靠性得分衡量测试问题评估其意义的一致性。 

平均而言，根据演讲，所有来源的问题都达到了难度和歧视的标准，这是指区分高性能测试者和低表现的问题的能力。一个 

州酒吧也 说这是，尽管所有资源中的某些项目都因太容易，太困难或弱歧视而被标记，但仅当它们支持主题覆盖范围并达到最低统计标准时才保留这些信息，换句话说，基线心理测量标准必须满足测试问题才能被视为有效且可靠。

数据还表明，AI所写的问题在统计学上既不比人写的问题更容易，也不比书写的问题更加困难，也不会更令人困惑。

但是AI的使用只是关于2月的考试的更广泛争议的一部分。在拟议的联邦集体诉讼中诉讼考生在加利福尼亚北部提起 Meazure学习雇用来管理考试的供应商未能提供功能测试平台。投诉描述了广泛的技术故障：接受测试者被踢出中前检查，完全被锁定在平台上，或者无法将响应粘贴到关键部分中。

投诉说，由于莫布雷引起的全面技术细分，这项考试对于受到创伤的考试者来说是一场灾难，他们的职业野心延迟了，并向默布尔支付了为已故平台支付费用。”它还声称，州酒吧和Meazure使用尚未准备适应申请人数量的软件快速跟踪推出。

该机构说，为了应对广泛的破坏，律师审查员委员会（CBE）于4月18日投票，以将2月考试的原始传球得分从560降低至534，这两个标准的测量误差低于心理学家追求的原始传球分数。调整旨在说明许多考生面临的不一致的测试条件。

CBE主席亚历克斯·陈（Alex Chan）表示，委员会选择了整个考试方式一致的数据，因此选择了普遍的评分调整。他在新闻稿中说：“在经过深思熟虑的审议和直接听取了许多申请人的审议之后，我们对最高法院提出的建议标志着前进的公平而有意义的道路的开始。”一个 

为了说明成千上万的考试者由于系统故障而无法完成考试的一部分，州栏使用了统计方法来根据每个人在测试的其余部分中的表现来填写丢失的答案。仅当申请人完成考试的很大一部分时，才使用此方法。根据州律师协会的说法，有367个考生以这种方式完成了多项选择的部分，而244个则有一个或两个书面答案估计并包括在评分中。

一个内部审查国家酒吧发现只有8％一个 在2月的考试中，接受测试者符合未遭受中断的完整标准。在351个申请人的样本中，93％一个 显示了至少一种中断的迹象，包括在预期时间范围之外提交的论文，截止响应或平台问题，例如副本纸 - 纸 - 纸函数。一项单独的前检查后调查加强了这些发现：61％的受访者表示，技术问题严重影响了他们的表现，有79％的受访者报告了打字延迟，而75％的受访者在书面部分期间无法使用复制纸 - 纸。” 

据据称路透社。一个单独的问题，即测试问题的泄漏，迫使州律师协会将预定的3月重演推迟至3月18日至19日。

辐射促使人们罕见地呼吁在加利福尼亚州的十几个法学院院长进行干预。加州大学伯克利分校法律院长埃尔温·克里恩斯基（Dean Erwin Chemerinsky）称这种情况为衡量能力的实体的令人惊叹的无能。洛杉矶时报。

2月的酒吧标志着过去的考试，删除了国家律师协会的长期组成部分介绍远程测试。这一变化是每年削减成本的380万美元的一部分，以消除大型测试场所 - 有人说，这种方法的价格过高。

律师兼律师肖恩·西尔弗曼（Sean -Silverman）在2月对SFGATE告诉SFGATE。``加利福尼亚律师考试的修改根本不是未成年人，州律师协会认为几个月就足以修改它。

他补充说：``国家酒吧引起了问题，并试图以使自身负担最小的负担来解决这个问题。

州律师协会已向加利福尼亚最高法院提出了评分建议，并要求在4月28日之前裁定。

除了得分调整外，律师审查员委员会计划5月5日重新考虑下一步，以支持受影响的考试者，包括临时许可和监督实践途径，预计将在5月9日由其董事会审查。

展望未来，州级执行董事利亚·威尔逊（Leah Wilson）表示，该机构将继续完善其考试材料，并为申请人提供新的研究资源。她说，这种改进反映了我们持续的奉献精神，为候选人提供最明确的指导，并在考试过程中保持最高标准。”一个