这篇文章是与 Clearwater Analytics 的 Darrel Cherry、Dan Siddall 和 Rany ElHousieny 共同撰写的。
随着全球交易量每年迅速增长，资本市场公司面临着管理庞大且多样化的数据集以保持领先地位的需要。这些数据集不仅数量庞大，而且数量巨大。它们对于推动战略制定、增强执行力和简化风险管理至关重要。数据创建和利用的爆炸式增长，加上对快速决策的需求不断增加，加剧了行业内的竞争并释放了机遇。为了保持竞争力，资本市场公司正在采用亚马逊网络服务(AWS) 整个贸易生命周期的云服务，用于重新构建基础设施、消除容量限制、加速创新并优化成本。
生成式人工智能、人工智能和机器学习(ML) 在资本市场公司加速创收、提供新产品、降低风险和代表客户创新方面发挥着至关重要的作用。我们的客户就是这种创新的一个很好的例子克利尔沃特分析以及他们的使用大语言模型（法学硕士）主办Amazon SageMaker JumpStart，它提高了资产管理生产力，并为客户提供了人工智能驱动的投资管理生产力解决方案。
在这篇文章中，我们将探讨 Clearwater Analytics 进军生成式 AI 领域、他们如何使用 Amazon SageMaker 构建解决方案，并深入探讨 Clearwater Analytics 如何利用法学硕士来利用超过 18 年的投资经验管理域，同时优化模型成本和性能。
关于克利尔沃特分析
Clearwater Analytics（纽约证券交易所代码：CWAN）处于投资管理技术的前沿。Clearwater 于 2004 年在爱达荷州博伊西成立，现已发展成为全球软件即服务 (SaaS) 巨头，为全球数千个账户的超过 7.3 万亿美元资产提供自动化投资数据核对和报告。Clearwater 拥有一支由 1,600 多名专业人士组成的团队，与 AWS 的长期合作关系可追溯至 2008 年，Clearwater 始终如一地突破金融技术创新的界限。
2023 年 5 月，Clearwater 踏上了进入生成式人工智能领域的旅程，首先为其内部员工提供一个私密、安全的基于聊天的生成式人工智能助理，通过以下方式增强客户查询：检索增强生成（RAG）。因此，Clearwater 在不增加运营人员的情况下将管理资产 (AUM) 增加了 20% 以上。同年 9 月，Clearwater 在 Clearwater Connect 用户大会上推出了其生成式人工智能客户产品，标志着其人工智能驱动转型的一个重要里程碑。
关于 SageMaker JumpStart
Amazon SageMaker JumpStart 是一个 ML 中心，可以帮助您加速 ML 之旅。借助 SageMaker JumpStart，您可以根据预定义的质量和责任指标快速评估、比较和选择基础模型 (FM)，以执行文章摘要和图像生成等任务。预先训练的模型可以根据您的数据用例完全定制，您可以通过用户界面轻松将它们部署到生产中，或者AWS软件开发工具包。您还可以在组织内共享工件（包括模型和笔记本），以加速模型构建和部署，管理员可以控制哪些模型对其组织内的用户可见。
Clearwater 的生成式 AI 解决方案架构
Clearwater Analytics™ 生成式 AI 架构通过合并广泛的功能来支持广泛的垂直解决方案浪链框架、通过 RAG 获得的领域知识以及在 Amazon SageMaker 上托管的定制 LLM。这种整合为 Clearwater 客户及其内部团队带来了强大的资产。
下图展示了该解决方案的架构。
截至2024年9月，AI解决方案支持三大核心应用：
- Clearwater 智能控制台 (CWIC)– Clearwater 面向客户的人工智能应用程序。该辅助框架建立在三个支柱之上：
- 知识意识– CWIC 使用 RAG 编译并提供对客户至关重要的全面知识，从账面价值的复杂计算到期末对账流程。
- 应用意识– CWIC 引导客户查询 Clearwater 的应用程序并接收相关投资报告的直接链接，将新手用户立即转变为高级用户。例如，如果客户需要有关人民币风险敞口的信息，CWIC 会利用其工具框架来识别并提供相应货币敞口报告的链接。
- 数据意识– CWIC 深入挖掘投资组合数据，通过访问特定于客户的数据并执行实时计算，熟练地管理复杂的查询，例如验证账面收益绑定。下图显示了生成式 AI 协助的片段CWIC。
- 水晶– Clearwater – 先进的人工智能助手，具有增强内部团队运营能力的扩展功能。Crystal 共享 CWIC 的核心功能，但受益于更广泛的数据源和 API 访问。Crystal 推动的增强措施实现了 25% 至 43% 的效率提升，提高了 Clearwater 在不增加员工的情况下管理 AUM 大幅增长的能力。
- CWIC专家– 他们最新的解决方案 CWIC Specialists 是特定领域的生成人工智能代理，能够处理从会计到监管合规等细致入微的投资任务。这些代理可以在单个或多代理工作流程中工作，以回答问题、执行复杂的操作并协作解决各种与投资相关的任务。这些专家在投资会计、监管要求和合规信息等特定领域为内部团队和客户提供帮助。每个专家都有数千页的域文档作为支撑，这些文档会输入到 RAG 系统中，并用于通过 Amazon SageMaker JumpStart 训练更小的专业模型。这种方法提高了成本效益和性能，以促进高质量的交互。
在接下来的部分中，我们将深入探讨 Clearwater Analytics 如何使用 Amazon SageMaker JumpStart 来微调模型以提高生产力并提供新的 AI 服务。
Clearwater 使用 Amazon SageMaker JumpStart 托管的法学硕士
Clearwater 采用双管齐下的策略来使用法学硕士。这种方法既解决了需要强大语言模型的高复杂性场景，也解决了需要快速响应时间的特定领域应用程序的问题。
- 先进的基础模型– 对于涉及复杂推理或创意输出的任务，Clearwater 使用最先进的预训练模型，例如 Anthropic 的 Claude 或 Meta 的 Llama。这些模型擅长处理复杂查询和生成创新解决方案。
- 针对专业知识的微调模型– 在特定领域的专业知识或快速响应至关重要的情况下，Clearwater 使用微调模型。这些定制的法学硕士针对需要准确性和效率的行业或任务进行了优化。
使用 Amazon SageMaker JumpStart 通过域适应来微调模型
虽然一般的法学硕士很强大，但它们的准确性可以在专门领域进行测试。这就是领域适应（也称为持续预训练）发挥作用的地方。领域适应是一种复杂的迁移学习形式，它允许对预先训练的模型进行微调，以在不同但相关的目标领域中实现最佳性能。当目标域中标记数据稀缺但相关源域中标记数据丰富时，这种方法尤其有价值。
以下是领域适应的一些主要好处：
- 成本效益 —创建一组精心设计的问题和答案以进行指令微调可能会非常昂贵且耗时。领域适应消除了数千个手动创建的问答的需要。
- 综合学习– 与仅从提供的问题中学习的指令调整不同，领域适应从整个文档中提取信息，从而更全面地理解主题。
- 有效利用专业知识– 领域适应将人类专家从生成问题的耗时任务中解放出来，使他们能够专注于自己的主要职责。
- 更快的部署 –通过领域适应，可以更快地开发和部署专门的人工智能模型，从而加快人工智能驱动的解决方案的上市时间。
AWS 一直处于领域适应的前沿，创建了一个框架来创建强大的、专业的 AI 模型。使用这个框架，Clearwater 能够训练针对特定领域定制的更小、更快的模型，而无需大量标记数据集。这种创新方法使 Clearwater 能够为数字专家提供针对特定领域训练的微调模型。结果呢？反应更快的法学硕士构成了其尖端生成人工智能服务的支柱。
使用 Amazon SageMaker JumpStart 进行微调的演变
Clearwater 正在与 AWS 合作增强其微调流程。Amazon SageMaker JumpStart 为他们提供了一个域适应框架。在这一年中，Clearwater 见证了用户界面的显着改进以及使用 SageMaker JumpStart 的轻松微调。
例如，设置和微调 GPT-J-6B 模型所需的代码已得到大幅简化。以前，需要数据科学家在 Amazon SageMaker Notebook 中编写 100 多行代码来识别和检索正确的图像、设置正确的训练脚本并导入正确的超参数。现在，利用 SageMaker JumpStart 和该领域的进步，该过程已简化为几行代码：
估计器 = JumpStartEstimator(model_id=model_id,hyperparameters={"epoch": "3", "per_device_train_batch_size": "4"},）# 使用数据路径启动训练过程估计器.fit({“train”：training_dataset_s3_path，“validation”：validation_dataset_s3_path}，logs = True）微调示例：Clearwater 的方法
对于 Clearwater 的 AI，该团队使用 Amazon SageMaker JumpStart 成功微调了具有域适应功能的 GPT-J-6B (huggingface-text Generation1-gpt-j-6bmodel) 模型。以下是微调过程的具体步骤，可以作为其他人实施类似策略的蓝图。详细的教程可以在这个找到亚马逊-Sagemaker-示例回购。
- 文件组装– 收集将用于培训的所有相关文件。这包括帮助内容、手册和其他特定领域的文本。Clearwater 用于训练该模型的数据是公共帮助内容，不包含客户数据。Clearwater 专门使用客户数据，并经过他们的协作和批准，来微调专门针对特定客户的模型。数据的管理、清理和去识别化对于训练和后续的调整操作是必要的。
- 测试集创建– 制定一组问题和答案，用于评估微调前后模型的性能。Clearwater 实施了复杂的模型评估系统，用于对开源和商业模型的性能进行额外评估。这在模型评估与优化本文稍后部分。
- 预训练模型部署—部署原始的、预先训练的 GPT-J-6B 模型。
- 基线测试—使用问题集测试预训练模型，建立性能基线。
- 预训练模型拆解—删除预训练模型以释放资源。
- 数据准备—将组装的文档上传到 S3 存储桶，确保它们的格式适合微调过程。
- 微调—使用上传的文档训练新模型，根据需要调整超参数。
- 微调模型测试– 使用与基线相同的问题集评估微调模型。
- 微调模型拆解—如果不是立即需要，请拆除微调模型以优化资源使用。
- RAG比较—使用相同的问题集测试基于 RAG 的系统，以进行额外的比较。
- 绩效评估—分析所有测试的结果以评估微调过程的有效性。
这是在调整开源模型 (GGPT-J-6B) 之前、调整之后以及使用具有更大上下文窗口的商业模型 (Claude-3.5-Sonnet) 之前的结果。
迅速的
Clearwater 合规模块有什么作用？
参考答案
Clearwater 合规模块支持客户投资政策，提供每日更新，包括合规警告和违规行为。Clearwater 的合规模块监控各种投资组合特征，包括资产和证券类型配置、行业风险、投资期限和信用质量。合规模块使用户能够建立和更新投资政策、监控账户变化并提供审计报告。规则提供了评估从单个安全级别到投资组合级别的聚合值的数据的灵活性。用户识别的投资也可能被禁止。个人账户和账户集合均可适用多种投资政策。
| GPT-J-6B 预训练 | GPT-J-6B 微调 | 克劳德 3.5 十四行诗与 RAG |
| Clearwater 合规模块是一套集成的控制措施，您可以使用它来管理您对危险材料处理和运输的联邦和州要求的合规性。 | Clearwater 合规模块是一套工具，旨在帮助客户监控和管理其合规政策和程序。 ············ 合规概览仪表板– 提供合规政策的高级视图以及合规政策变更的历史记录。 ············ 合规性设置工具– 用户可以更新合规性设置，例如检查合规性策略的频率以及访问网站合规性限制区域所需的合规性级别。 ············ 合规审核报告– 提供未满足的政策和规则的详细列表。该报告包括违规行为的详细信息以及使政策合规所需采取的行动。 ············ 合规通知工具– 当合规规则即将过期或已被违反时，向指定收件人（例如客户的合规官员）发送通知。 ············ 合规文件工具– 用户可以上传和管理合规策略和规则。 |
Clearwater 合规模块是一个复杂的工具，旨在支持和监控客户投资政策。它的作用如下： ············ 日常监控– 提供每日更新，包括合规警告和违规行为，以促进持续遵守投资政策。 ············ 投资组合特征跟踪– 监控投资组合的各个方面，包括资产和证券类型配置、行业风险、投资期限和信用质量。 ············ 政策管理– 用户可以通过该模块建立、更新和管理投资政策。 ············ 灵活的规则应用– 允许在个人安全和投资组合级别评估合规性规则。 ············ 自定义策略创建– Clearwater 与客户合作，根据他们的具体投资政策和解释制定合规规则。 ············ 多账户支持– 多个投资政策可以应用于个人账户或账户集合。 ············ 报告和审计– 生成审计报告并提供监控账户变化的工具。 ············ 风险缓解– 在 Clearwater 报告网站上提供集成的、定制的每日报告，以主动管理风险。 ············ 监管合规性– 包括客户提供的外部和监管政策，提供更广泛的合规覆盖范围。 ············ 违规追踪– 识别合规规则违规行为，跟踪违规天数，并允许提出解决方案声明。 |
尽管合规性模块很全面，但它也有一些局限性。它仅支持使用 Clearwater 系统内可用数据的客观规则，不涵盖交易前合规性、没有公开数据的投资或场景测试等领域。
总体而言，Clearwater 合规模块是维护投资政策合规性的强大工具，提供日常监控、定制和报告功能，以支持有效的风险管理和监管遵守。
模型评估与优化
Clearwater 采用先进的评价体系评估 Amazon SageMaker JumpStart 上可用的新模型的性能。这意味着只有表现出卓越功能的模型才会集成到生产环境中。
Clearwater 的法学硕士运营 (LLMOps) 流程在此过程中发挥着至关重要的作用，可自动评估和无缝集成新模型。致力于使用最有效的法学硕士来完成每项独特的任务，并提供尖端技术和最佳性能，这是 Clearwater 方法的基石。
评估阶段对于确定微调过程的成功至关重要。当您确定应使用的评估流程和框架时，您需要确保它们符合其领域的标准。在 Clearwater，我们设计了自己的内部评估框架满足我们投资管理和会计领域的特定需求。
以下是主要考虑因素：
- 性能比较—微调后的模型在特定领域的任务上应该优于预训练的模型。如果没有，则可能表明预训练模型已经拥有该领域的重要知识。
- RAG基准测试—将微调模型的性能与使用预训练模型的 RAG 系统进行比较。如果微调后的模型至少与 RAG 性能不匹配，则需要进行故障排除。
- 故障排除清单:
- 数据格式适合微调
- 训练数据集的完整性
- 超参数优化
- 潜在的过度拟合或欠拟合
- 成本效益分析。也就是说，与在生产规模部署微调模型相比，估计使用具有预调模型（例如 Claude-3.5 Sonnet）的 RAG 系统的运营成本。
- 预先考虑:
- 迭代微调– 考虑多轮微调，逐步引入更具体或复杂的数据。
- 多任务学习– 如果适用，同时在多个相关领域对模型进行微调，以提高其通用性。
- 持续学习– 实施策略，随着时间的推移使用新信息更新模型，而无需完全重新训练。
结论
对于寻求在专业领域利用人工智能力量的企业和组织来说，领域适应提供了重要的机会。无论您是在医疗保健、金融、法律服务还是任何其他专业领域，让法学硕士适应您的特定需求都可以提供显着的竞争优势。
通过采用 Amazon SageMaker 的这种综合方法，组织可以有效地使法学硕士适应其特定领域，从而实现比使用 RAG 系统的通用模型更好的性能和可能更具成本效益的解决方案。然而，该过程需要仔细监控、评估和优化才能达到最佳结果。
正如我们观察到的 Clearwater 的成功一样，与 AWS 等经验丰富的人工智能公司合作可以帮助应对领域适应的复杂性并释放其全部潜力。通过采用这项技术，您可以创建不仅功能强大，而且真正根据您的独特需求和专业知识量身定制的人工智能解决方案。
人工智能的未来不仅仅在于更大的模型，还在于更智能、更专业的模型。领域适应正在为这个未来铺平道路，那些利用其力量的人将成为各自行业的领导者。
开始使用Amazon SageMaker JumpStart今天就开始您的 LLM 微调之旅。
关于作者
达雷尔·切里是一位杰出工程师，拥有超过 25 年的经验，领导组织为复杂的业务问题创建解决方案。凭借对新兴技术的热情，他设计了大型云和数据处理解决方案，包括机器学习和深度学习人工智能应用程序。Darrel 拥有 19 项美国专利，并为各种行业出版物做出了贡献。Darrel 目前在 Clearwater Analytics 担任职务，负责领导人工智能解决方案的技术战略以及 Clearwater 的整体企业架构。在职业领域之外，他喜欢旅行、赛车和摩托车，同时也与家人共度美好时光。
丹·西德尔是 Clearwater Analytics 的资深数据科学家，是生成式 AI 和机器学习领域经验丰富的专家，对从开发到生产部署的整个 ML 生命周期有全面的了解。Dan 以其创新的解决问题的能力和领导跨职能团队的能力而闻名，他利用其丰富的软件工程背景和强大的沟通能力来弥合复杂的人工智能概念和实际业务解决方案之间的差距。
拉尼·埃尔豪西尼是 Clearwater Analytics 的工程领导者，在软件开发、机器学习和人工智能方面拥有 30 多年的经验。他在 Microsoft 担任领导职务已有二十年，领导 Microsoft Research 和 Azure AI 的 NLP 团队，为 AI 技术的进步做出了贡献。在 Clearwater，Rany 继续利用其广泛的背景来推动人工智能创新，帮助团队解决复杂的挑战，同时保持领导力和解决问题的协作方法。
巴勃罗·雷东多是 Amazon Web Services 的首席解决方案架构师。他是一位数据爱好者，拥有超过 18 年的金融科技和医疗保健行业经验，并且是 AWS Analytics 技术领域社区 (TFC) 的成员。Pablo 一直领导 AWS 获取洞察计划，帮助 AWS 客户从数据分析和 AI/ML 计划中获得更好的洞察和切实的业务价值。业余时间，巴勃罗与家人一起享受美好时光，并在家乡加利福尼亚州佩塔卢马打匹克球。
普拉山斯·加纳帕蒂是 AWS 中小型企业 (SMB) 部门的高级解决方案架构师。他喜欢了解 AWS AI/ML 服务，并通过为客户构建解决方案来帮助客户实现业务成果。工作之余，Prashanth 喜欢摄影、旅行和尝试不同的美食。