今天，我很高兴分享自动推理检查，这是一个新的亚马逊基岩护栏政策我们在AWS中预览：发明，现在通常可用。自动推理检查可帮助您验证由基础模型（FMS）违反领域知识。这可以帮助防止由于AI幻觉而导致的事实错误。该策略使用数学逻辑和正式验证技术来验证准确性，提供确定性的规则和参数，以该规则和参数对AI响应进行检查以提高准确性。
这种方法与概率推理方法根本不同，这些方法通过将概率分配给结果来处理不确定性。实际上，自动推理检查可提供高达99％的验证准确性，可在检测AI幻觉方面可证明的保证，同时还有助于何时开放模型的输出以多种解释开放。
有了一般可用性，您将获得以下新功能：
- 在一个构建中支持大型文档，最多80k代币流程广泛的文档；我们发现这可以加起来100页的内容
- 简化的策略验证 - 保存您的验证测试并重复运行它们，使维护和验证您的策略随着时间的推移更加容易
- 自动场景生成 - 从您的定义中自动创建测试场景，节省时间和精力，同时使覆盖范围更全面
- 增强的政策反馈 - 为政策变更提供自然语言建议，简化您可以改善政策的方式
- 可自定义的验证设置 - 调整置信度得分阈值以符合您的特定需求，使您对验证严格有更多控制
让我看看这在实践中的工作方式。
在亚马逊基石护栏中创建自动推理检查
要使用自动推理检查，您首先将知识域中的规则编码为自动推理策略，然后使用该策略来验证生成的内容。在这种情况下，我将制定抵押贷款批准政策，以保护AI助手评估谁可以有资格获得抵押。重要的是，对AI系统的预测不会偏离为抵押贷款批准制定的规则和准则。这些规则和准则在用自然语言编写的政策文件中捕获。
在亚马逊基岩控制台，我选择自动推理从导航窗格创建策略。
我输入策略的名称和描述，并上传策略文档的PDF。名称和描述只是元数据，没有为构建自动推理政策做出贡献。我描述了源内容，以添加有关如何将其转化为形式逻辑的上下文。例如，我解释了我计划如何在应用程序中使用该策略，包括来自AI助手的示例问答。
当策略准备就绪后，我将登陆概述页面，显示策略详细信息以及测试和定义的摘要。我选择定义从下拉列表来检查自动推理政策，由规则，变量和类型制成，这些策略是为将自然语言政策转化为正式逻辑的创建的。
这规则描述策略中的变量如何相关并在评估生成的内容时使用。例如，在这种情况下，这是要应用的阈值以及如何做出一些决定。对于可追溯性，每个规则都有其独特的ID。
这变量代表原始自然语言文档中发挥作用的主要概念。每个变量都参与一个或多个规则。变量使复杂的结构更容易理解。在这种情况下，某些规则需要查看首付或信用评分。
风俗类型是为既不是布尔也不是数字的变量创建的。例如，对于只能假设有限数量值的变量。在这种情况下，政策中描述了两种抵押，被保险和常规。
现在，我们可以通过测试评估初始自动推理政策的质量。我选择测试从下拉列表。在这里，我可以手动输入包括输入（可选）和输出组成的测试，例如问题及其与AI助手的互动中的答案。然后，我设置了自动推理检查的预期结果。预期的结果可能是有效的（答案是正确的），无效的（答案是不正确的）或令人满意的（根据特定的假设，答案可能是真实或错误的）。我还可以为将查询/内容对从自然语言转换为逻辑的置信度阈值。
在手动输入测试之前，我使用该选项自动从定义中生成场景。这是验证策略的最简单方法，除非您是逻辑专家）应该是制定政策后的第一步。
对于每个生成的方案，我提供了一个预期的验证，可以说这是否可能发生（令人满意）（无效）。如果没有，我可以添加一个注释，然后可以用来更新定义。为了对生成的方案有更高级的理解，我可以使用smt-lib句法。
使用生成方案选项后，我手动输入一些测试。对于这些测试，我设定了不同的预期结果：有些是有效的，因为它们遵循策略，有些是无效的，因为它们违反了策略，有些是令人满意的，因为它们的结果取决于特定的假设。
然后，我选择验证所有测试查看结果。在这种情况下，所有测试通过。现在，当我更新策略时，我可以使用这些测试来验证这些更改没有引入错误。
对于每个测试，我都可以查看发现。如果测试没有通过，我可以查看造成导致测试失败并违背预期结果的矛盾的规则。使用此信息，我可以理解是否应该添加注释，以改进策略或纠正测试。
现在，我对测试感到满意，我可以创建一个新的Amazon Bedrock Guardrail（或更新现有的护栏），以最多使用两种自动推理策略来检查AI助手响应的有效性。护栏提供的所有六个政策都是模块化的，可以一起使用或单独使用。例如，可以与其他保障措施（例如内容过滤和上下文接地检查）一起使用自动推理检查。护栏可以通过亚马逊基岩或任何第三方模型（例如OpenAI和Google Gemini）应用于车型应用guardrailAPI。我也可以将护栏与代理框架（例如链代理）一起使用，包括使用亚马逊基岩代理部署的代理商。
现在，我们看到了如何制定策略，让我们看一下如何在实践中使用自动推理检查。
客户案例研究 - 公用事业停电管理系统
当灯熄灭时，每一分钟都很重要。这就是为什么公用事业公司转向AI解决方案以改善其中断管理系统的原因。我们与该空间中的解决方案合作PWC使用自动推理检查，实用程序可以通过以下方式简化操作：
- 自动化协议生成创建标准化的程序，满足监管要求
- 实时计划验证 - 确保响应计划符合已建立的政策
- 结构化工作流创建 - 开发具有定义响应目标的基于严重性的工作流程
本解决方案本质上将智能政策管理与优化的响应协议相结合。自动推理检查用于评估AI生成的响应。当发现响应无效或令人满意时，自动推理检查的结果将用于重写或增强答案。
这种方法展示了AI如何改变传统的公用事业操作，从而使它们更有效，可靠和对客户需求的响应敏感。通过将数学精度与实际要求相结合，该解决方案为公用事业部门中断管理的新标准设定了新标准。结果是更快的响应时间，提高了准确性，并为公用事业公司及其客户带来了更好的结果。
用普华永道全球和美国商业技术和创新官员马特·伍德（Matt Wood）的话说：
``在普华永道，我们帮助客户从AI飞行员转向生产，尤其是在高度监管的行业中，在高度监管的行业中，失误的成本以美元超过美元衡量。我们与AWS在自动推理检查方面的合作是负责的AI：数学评估的保障措施的突破，现在直接嵌入了Amazon Bedrock Guardrails。我们为成为AWS的合作者而感到自豪，将这项创新带入了诸如Pharma，公用事业和Cloud Comporiance等领域的领域，这是一项要求的，这是一项要求的。
要知道的事情
自动推理检查亚马逊基岩护栏今天通常可以使用AWS地区：美国东部（俄亥俄州，弗吉尼亚州），美国西部（俄勒冈州）和欧洲（爱尔兰法兰克福，巴黎）。
通过自动推理检查，您可以根据处理的文本量付款。有关更多信息，请参阅亚马逊基岩价格。
要了解更多，并构建安全可安全的AI应用程序，请参阅技术文档和GitHub代码样本。跟随此链接直接访问亚马逊基岩控制台。
这此播放列表中的视频包括自动推理检查的介绍，深入潜水演示以及动手的教程，以创建，测试和完善政策。这是播放列表中的第二个视频，我的同事韦尔为功能提供了很好的介绍。