NVIDIA 和 Oracle 将为企业加速人工智能和数据处理 - NVIDIA 博客

2024-09-11 13:03:35 英文原文

企业正在寻求日益强大的计算来支持其人工智能工作负载并加速数据处理。所获得的效率可以转化为人工智能培训和微调方面的投资获得更好的回报,并改善人工智能推理的用户体验。

在今天的 Oracle CloudWorld 会议上,Oracle 云基础设施 (OCI) 宣布了第一个zettascale OCI Supercluster 由 NVIDIA Blackwell 平台加速,帮助企业使用超过 100,000 个 NVIDIA 最新一代 GPU 训练和部署下一代 AI 模型。

OCI Supercluster 允许客户从广泛的产品范围中进行选择NVIDIA GPU 并将其部署在任何地方:本地、公共云和主权云。基于 Blackwell 的系统预计将于明年上半年推出,可扩展至 131,072 个 Blackwell GPU,并配备适用于 RoCEv2 或 NVIDIA Quantum-2 InfiniBand 网络的 NVIDIA ConnectX-7 NIC,为人工智能计算提供惊人的 2.4 zettaflops云。(阅读新闻稿,了解有关 OCI 超级集群的更多信息。)

在展会上,Oracle 还预览了 NVIDIA GB200 NVL72 液冷裸机实例,以帮助推动生成型 AI 应用程序。这些实例能够使用 Quantum-2 InfiniBand 进行大规模训练,并在扩展的 72 个 GPU NVIDIA NVLink 域中实时推理万亿参数模型,该域可以充当单个大规模 GPU。

今年,OCI 将提供 NVIDIA HGX H200,通过 NVLink 和 NVLink Switch 在单个裸机实例中连接 8 个 NVIDIA H200 Tensor Core GPU,并通过 RoCEv2 集群网络使用 NVIDIA ConnectX-7 NIC 扩展到 65,536 个 H200 GPU。希望大规模提供实时推理并加速训练工作负载的客户可以订购该实例。(阅读有关采用 NVIDIA B200、GB200 和 H200 GPU 的 OCI 超级集群的博客。)

OCI 还宣布全面推出适用于中端 AI 工作负载、NVIDIA Omniverse 和可视化的 NVIDIA L40S GPU 加速实例。(阅读有关采用 NVIDIA L40S GPU 的 OCI 超级集群的博客。)

对于单节点到多机架解决方案,Oracle 的边缘产品在边缘提供由 NVIDIA GPU 加速的可扩展 AI,即使在断开连接的远程位置也是如此。例如,使用 Oracle Roving Edge Device v2 的小规模部署现在将支持最多三个 NVIDIA L4 Tensor Core GPU。

各公司正在使用 NVIDIA 支持的 OCI 超级集群来推动人工智能创新。例如,基础模型初创公司 Reka 正在使用集群开发先进的多模式 AI 模型来开发企业代理。

Rekas 多模式 AI 模型采用 OCI 和 NVIDIA 技术构建,使下一代企业代理能够Reka 联合创始人兼首席执行官 Dani Yogatama 表示,通过阅读、观看、聆听和说出来理解我们复杂的世界。借助 NVIDIA GPU 加速基础设施,我们可以轻松处理超大型模型和广泛的环境,同时支持密集和稀疏训练在集群级别高效扩展。

NVIDIA 荣获 2024 年 Oracle 技术解决方案合作伙伴奖其全堆栈创新方法的创新。

加速生成式 AI Oracle 数据库工作负载

Oracle 自治数据库正在获得针对 Oracle 机器学习笔记本的 NVIDIA GPU 支持,以帮助客户加速数据处理处理 Oracle 自治数据库上的工作负载。

在 Oracle CloudWorld 上,NVIDIA 和 Oracle 合作展示了三项功能,展示了当前或未来如何使用 NVIDIA 加速计算平台来加速生成式 AI 的关键组件检索增强生成管道。

第一个部分将展示如何使用 NVIDIA GPU 直接从 Oracle Autonomous Database Serverless 中加速批量向量嵌入,从而有效地使企业数据更接近 AI。这些向量可以使用 Oracle Database 23ais AI Vector Search 进行搜索。

第二个演示将展示一个概念验证原型,该原型使用 NVIDIA GPU、NVIDIA cuVS 和 Oracle 开发的卸载框架来加速向量图索引生成,这显着减少了为高效矢量搜索构建索引所需的时间。

第三个演示说明了 NVIDIA NIM(一组易于使用的推理微服务)如何提高文本的生成 AI 性能跨各种模型大小和并发级别的生成和翻译用例。

这些新的 Oracle 数据库功能和演示共同强调了如何使用 NVIDIA GPU 帮助企业将生成式 AI 引入其结构化和非结构化数据位于 Oracle 数据库中或由 Oracle 数据库管理。

全球主权 AI

NVIDIA 和 Oracle 正在合作在全球范围内提供主权 AI 基础设施,帮助满足政府和企业的数据驻留需求。

巴西初创公司 Wide Labs 在 OCI 巴西数据中心使用 NVIDIA H100 Tensor Core GPU 和 NVIDIA NeMo 框架训练和部署 Amazonia IA,这是巴西葡萄牙语的首批大型语言模型之一,以帮助确保数据主权

开发主权法学硕士使我们能够为客户提供在巴西境内处理其数据的服务,从而为 Amaznia 提供独特的市场地位,Wide Labs 首席执行官 Nelson Leoni 表示。使用 NVIDIA NeMo 框架,我们成功训练了 Amaznia IA。

在日本,全球领先的咨询服务和系统解决方案提供商野村综合研究所正在使用 OCIs Alloy 基础设施和 NVIDIA GPU 来增强其金融 AI平台上的法学硕士按照财务法规和数据主权要求运行。

通信和协作公司 Zoom 将在 OCI 沙特阿拉伯数据中心使用 NVIDIA GPU,以帮助支持遵守当地数据要求。

地理空间建​​模公司 RSS-Hydro 正在演示其基于 NVIDIA Omniverse 平台构建并由 OCI 上的 L40S GPU 提供支持的洪水测绘平台如何使用数字孪生来模拟日本熊本地区的洪水影响,从而帮助减轻气候变化的影响.

这些客户来自众多国家和组织,他们正在构建和部署由 NVIDIA 和 OCI 提供支持的国内 AI 应用程序,通过主权 AI 基础设施推动经济弹性。

借助 NVIDIA 和 OCI 打造企业级 AIOracle

企业可以通过部署 NIM 微服务和 NVIDIA cuOpt 等 NVIDIA 软件以及 OCI 可扩展云解决方案来加速 OCI 上的任务自动化。这些解决方案使企业能够快速采用生成式 AI,并为代码生成和路由优化等复杂任务构建代理工作流程。

NVIDIA cuOpt、NIM、RAPIDS 等包含在 NVIDIA AI Enterprise 软件平台中,可在Oracle Cloud Marketplace。

在 Oracle CloudWorld 了解更多信息

与 NVIDIA 一起参加 Oracle CloudWorld 2024,了解两家公司的合作如何为世界各地的组织带来人工智能和加速数据处理。

p>

报名参加活动,观看会议、观看演示并与 Oracle 和 NVIDIA 一起参加 9 月 11 日星期三在拉斯维加斯举行的解决方案主题演讲:利用 NVIDIA 加速计算平台 (SOL3866) 解锁 AI 性能。

摘要

企业正在寻求日益强大的计算来支持其人工智能工作负载并加速数据处理。在今天的 Oracle CloudWorld 大会上,Oracle 云基础设施 (OCI) 宣布推出首个 zettascale OCI Supercluster,由 NVIDIA Blackwell 平台加速,帮助企业使用超过 100,000 个 NVIDIA 最新一代 GPU 来训练和部署下一代 AI 模型。希望大规模提供实时推理并加速训练工作负载的客户可以订购该实例。(使用 NVIDIA NeMo 框架,我们成功训练了 Amaznia IA。在日本,全球领先的咨询服务和系统解决方案提供商野村综合研究所正在使用 OCIs Alloy 基础设施和 NVIDIA GPU 来增强其金融 AI 平台,其中法学硕士按照按照NVIDIA cuOpt、NIM、RAPIDS 等均包含在 NVIDIA AI Enterprise 软件平台中,可在 Oracle Cloud Marketplace 上获取。