戴尔通过PowerScale升级扩大AI工厂范围——Blocks and Files

2024-10-16 14:10:04 英文原文

作者:Chris Mellor

戴尔通过全栈组件增强了PowerScale横向扩展集群文件系统阵列,以支持AI工厂工作负载。

我们写了大约VAST数据公司的AI栈方法,和NetApp的ONTAP的AI架构开发项目。现在戴尔正在生产自己的全面AI解决方案,从PowerScale硬件和软件到其数据湖屋通过广泛的数据源摄取、向量化和元数据处理。这与其PowerEdge XE9712(Nvidia GB200)和M7725(液冷AMD Epyc)服务器以及基于OCP的液冷集成机柜IR7000系统配合使用,这些系统为其AI工厂提供计算能力和机架空间。

Arthur Lewis, Dell
阿瑟·刘易斯

戴尔的基础设施解决方案集团总裁阿瑟·刘易斯表示:“当今的数据中心无法满足人工智能的需求,需要高密度计算和液冷创新技术,这些技术具有模块化、灵活且高效的设计。这些新的系统为组织提供了在快速发展的AI领域保持竞争力所需的性能。”

PowerScale这些系统实际上是带有直接连接存储的PowerEdge服务器,运行OneFS操作系统。系统可以集群化部署,包含从3到252个节点。现在,PowerScale支持200 Gbps以太网和InfiniBand前端网络,将之前的网络速度翻倍,最大可提升吞吐量63%。

OneFS 现在支持 61TB QLC(每单元 4bit)SSD,以增加容量,几乎是之前最大容量的两倍。30.72 TB硬盘容量。它还具有数据湖仓的元数据导出功能,并且有一个软件增强功能,可以简化将元数据导出到Elasticsearch数据库的过程,使查询更加高效。地理位置分布式的集群中的元数据可以被组合起来以提供全局视图。

Dell Data Lakehouse

数据湖仓可以将此元数据与从其他联邦来源摄入的额外数据结合。它将支持如Iceberg这样的开放表格式,并将扩展以支持向量数据库。还将具备从文件中提取内容元数据的能力,以增强其文件级别的元数据并启用全文本上下文搜索。

Elasticsearch 和开放格式的扫描可以直接由数据湖仓查询。目的是通过使用SQL、向量、词汇和语义搜索数据来提高查询响应的准确性。

Dell AI-Ready Data Platform

即将推出的戴尔文档加载器用于NvidiaNeMo服务和检索增强生成(RAG)框架设计旨在帮助客户提高数据湖仓的数据摄入速度并降低计算和GPU成本。

戴尔表示对其产品的增强功能如下: (注意:给定的英文句子不完整,因此此处提供了一个合理的中文开头以匹配原句意图,但无法进行确切翻译。如果需要进一步的信息,请提供完整的句子。) 原文:Dell says that the enhancements to the戴尔数据湖 house(注:这里的“lakehouse”是一个结合了数据仓库和数据湖特性的概念,在直接翻译时难以完全准确表达其含义,因此保留英文原词。)数据管理平台通过灾难恢复、自动化模式发现、全面的管理API和自助全套升级为客户节省时间并改进运营。

该公司宣布为PowerScale-数据湖屋客户提供新的服务,包括数据目录优化服务和数据管道实施服务。

戴尔与英特尔联合提供的生成式人工智能解决方案提供了经过共同设计、测试、验证并预配置的灵活平台,用于人工智能部署。这些解决方案包括搭载英特尔Gaudi 3人工智能加速器的PowerEdge XE9680服务器,以及戴尔存储、网络、服务和开源软件堆栈。它们针对内容创作、数字助手、设计与数据创建、代码生成以及其他生成式AI工作负载而设计。

可用性

  • 戴尔IR7000将于2025年第一季度全球上市。
  • PowerEdge XE9712现已向部分客户进行试样。
  • PowerEdge M7725将于2025年日历第一季度全球上市。
  • PowerScale更新将在2024年第四季度提供。
  • 数据湖屋更新将于2025年上半年提供。
  • 戴尔与英特尔的生成式人工智能解决方案将于2024年第四季度提供。

戴尔有更多的信息这里.

关于《戴尔通过PowerScale升级扩大AI工厂范围——Blocks and Files》
暂无评论

摘要

戴尔通过全栈组件增强了PowerScale横向扩展集群文件系统阵列,以支持AI工厂工作负载。现在,PowerScale支持200 Gbps的以太网和InfiniBand前端网络连接,将之前的网络速度翻了一番,并且提高了高达63%的数据吞吐量。Elasticsearch和开放格式可以在数据湖仓中直接查询。戴尔表示,对戴尔Data Lakehouse数据管理平台的增强可以节省客户时间并改善操作,包括灾难恢复、自动模式发现、全面管理API以及自助服务全栈升级功能。PowerScale更新将于2024年第四季度提供。