雷RAY（人名或者光线的意思，没有更多上下文的情况下提供两种可能的翻译）是一个开源框架，用于管理、执行和优化AI工作负载的计算需求。它设计成通过提供一个简单直观的分布式计算API，使编写并行和分布式的Python应用程序变得容易。Ray通过单一灵活的框架利用AWS上的任何计算实例和加速器来统一基础设施——从而支持从数据处理到模型训练再到模型服务等各种AI工作负载。
Ray，这个于2016年作为研究项目启动的平台，正迅速成为在Kubernetes上调度AI工作负载的标准。在AWS上，亚马逊弹性Kubernetes服务(Amazon EKS) 是一项托管服务，可让您更轻松地在 AWS 上运行 Kubernetes，而无需安装和管理自己的 Kubernetes 控制平面或工作节点。Amazon EKS 与关键的 AWS 服务深度集成，为应用程序提供计算、扩展性和安全性。EKS 适合运行 AI 和机器学习 (ML) 负载，提供了部署和管理 AI/ML 模型和应用的可扩展且可靠的基础设施。
一起，EKS 和 Ray 提供了关键组件，让客户能够快速在云端构建和扩展人工智能应用。本周，在 Ray Summit 2024 上，Anyscale 发布了一系列新功能，包括雷特urbo，一个新的优化版本的Ray，数据处理速度提高了4.5倍，并且进行了优化，使得客户可以使用少至多50%的节点来运行在线模型服务。
更令人兴奋的是，Anyscale 已经将 RayTurbo 原生集成到了 Kubernetes 中。客户将能够将其 EKS 集群连接到 Anyscale 的 SaaS 管理平台，在其 Amazon EKS 集群上安装和管理 RayTurbo。这将使您能够利用可靠的、可扩展的 AWS 计算基础设施进行机器学习，包括AWS Trainium以及AWS Inferentia在完全管理的Ray和EKS集群中使用芯片。
EKS与RayTurbo的强大结合为客户提供下一代训练和运行AI应用的性能、可靠性和易用性。
下一步
如今，RayTurbo on EKS可以从Anyscale提供给选定的客户。请与您的AWS账户团队联系或预约演示直接通过Anyscale进行。在未来几个月里，Anyscale和AWS将密切合作，将这一体验带给更多客户，以在Amazon EKS上实现一键式AI基础设施。