作者:Winston Thomas
随着AI模型以机器速度的发展,公司发现年度验证周期与飓风中的纸伞一样有用。
AI模型与其他模型一样,除了更多模型。” 大卫,模型风险和AI治理的全球领导 SAS研究所。他在SAS最近在曼谷举行的媒体会议的间隔时说,他们需要验证,文档,持续的监视,但他们需要更多的版本,更频繁的版本。
这种看似简单的观察结果揭示了当今面临的中央悖论:AI的最大力量 - 它的适应性 - 也是使其最难治理的原因。
想象一下,在一个小型验证团队中,负责监视数十个大型语言模型,每个人都需要测试数千个提示和护栏。传统的治理结构以及其手动过程和年度验证周期,只能保持步伐。
``验证和监视这些模型所需的工作量是今天与组织所拥有的真正不符合的。``在围绕围绕AI的AI做出业务决定时,该投资的一部分包括基础设施以确保它们运行良好。
这项基础设施投资并不是至关重要的。如果没有强大的治理机制,公司不仅有监管惩罚的危险,而且有可能造成漂移,幻觉或泄漏敏感信息的模型的灾难性后果。
在治理圈子中出现的最吸引人的解决方案也许涉及使用AI系统监视其他AI系统。
他说,如果您必须验证数千个型号的提示并每天进行此操作,则需要一个自动化工具才能这样做。” - 假设您有一个单独的AI,它正在不断测试主要的大型语言模型的响应。
这种方法介绍了这样的治理专家,例如,专门评估和审核其他AI系统的专门培训的专业模型。但这会产生潜在的循环依赖性:当法官本身需要判断时会发生什么?
对这种循环依赖的解决方案在于治理专家在循环中所说的人类称为“专家人类验证者,他们发现法官自己的模型。
您仍然需要您的人类验证者才能检查我所说的LLM法官,并强调。当人类确定法官犯了一个错误时,然后将其退缩以改善法官。随着时间的流逝,您所做的就是向您的人类验证者授予LLM法官专业知识。
这种混合方法创造了一个良性的循环,其中人类专业知识通过AI系统进行蒸馏和放大,从而使验证可以扩展,同时保持至关重要的人类监督。
一些公司正在进一步迈出一步,实施了具有多个独立法官模型的民主AI治理的民主制度。
``如果您有五位独立的法官怎么办?``回应进来了,其中四个说这很好,一个人说这很糟糕。人会看那个,然后说:四个错误吗?还是那是错的?
这种多法官的方法为治理框架增加了额外的弹性,从而可以检测到边缘案例和细微的失败,这些失败可能会经过单个评估模型。
许多组织认为诸如E.U.AI起作用是障碍,因为他们将它们视为负责任创新的加速器。
他认为,欧洲联盟法案和类似的事情有助于您的组织前进。”它所做的重要的事情之一是,嘿,这是禁止的。甚至不用打扰建造它。
这种风险层次的方法使公司能够将其治理资源集中在最重要的地方,同时在低风险领域自由实验,从而创造了没有生存威胁的学习机会。
AI治理的最被忽视的方面也许是监管机构所说的“识字率”,建立了整个组织层次结构的通用语言和理解。
对我而言,AI识字意味着可以在组织中使用的通用语言。'从实习生到董事会到监管机构的每个人都应该能够看一下,并说:'我了解这种模型,它在做什么,如果有问题,这很容易确定。
随着公司在理论框架和实际实施之间浏览复杂的地形时,该扫盲部分可能最终确定哪种治理方法成功并失败。如果没有共同了解AI系统的所作所为以及它们构成的风险,即使是最复杂的治理框架也将在其复杂性下崩溃。
图片来源:Istockphoto/马尔切夫