如果您正在寻找自己的个人人工智能超级计算机,Nvidia 可以满足您的需求。
该芯片制造商宣布在国际消费电子展上该公司将于 5 月推出一款名为 Project Digits 的个人人工智能超级计算机。Project Digits 的核心是新的 GB10 Grace Blackwell Superchip,它具有足够的处理能力来运行复杂的人工智能模型,同时又足够紧凑,可以放在桌子上并通过标准电源插座运行(这种处理能力过去需要更大的,更耗电的系统)。这个桌面大小的系统可以处理多达 2000 亿个参数的 AI 模型,起价为 3000 美元。产品本身看起来很像 Mac Mini。
– 人工智能将成为每个行业每个应用程序的主流。Nvidia 首席执行官黄仁勋 (Jensen Huang) 在一份新闻稿中表示,通过 Project Digits,Grace Blackwell 超级芯片将带给数百万开发者。“在每个数据科学家、人工智能研究人员和学生的办公桌上放置一台人工智能超级计算机,使他们能够参与并塑造人工智能时代。”
图片:英伟达
每个 Project Digits 系统都配备 128GB 统一一致内存(相比之下,一台好的笔记本电脑可能有 16GB 或 32GB RAM)和高达 4TB 的 NVMe 存储。对于要求更高的应用,可以将两个 Project Digits 系统连接在一起,以处理具有多达 4050 亿个参数的模型(Meta 的最佳模型 Llama 3.1、有 4050 亿个参数)。
GB10 芯片以 FP4 精度(这有助于通过近似使计算速度更快)提供高达 1 petaflop 的 AI 性能(这意味着它每秒可以执行 1 万亿次 AI 计算),并且该系统采用 Nvidia 最新一代CUDA 内核和第五代 Tensor 内核通过 NVLink-C2C 连接到包含 20 个基于 Arm 的节能内核的 Grace CPU。联发科以其基于 Arm 的芯片设计而闻名,他们合作开发 GB10,以优化其能效和性能。
图片:英伟达
用户还可以访问 Nvidia 的 AI 软件库,包括开发套件、编排工具以及通过 Nvidia NGC 目录提供的预训练模型。该系统在基于Linux的Nvidia DGX操作系统上运行,并支持PyTorch、Python和Jupyter笔记本等流行框架。开发人员可以使用 Nvidia NeMo 框架微调模型,并使用 Nvidia RAPIDS 库加速数据科学工作流程。
用户可以在 Project Digits 上本地开发和测试他们的 AI 模型,然后使用相同的 Grace Blackwell 架构和 Nvidia AI Enterprise 软件平台将其部署到云服务或数据中心基础设施。
Nvidia 提供了一系列具有相同功能的类似设备可达性风格 — 去年 12 月,该公司宣布推出一款售价 249 美元的 Jetson 计算机版本,用于人工智能应用程序,面向爱好者和初创公司,称为 Jetson Orin Nano Super(它可以处理模型)多达 80 亿个参数)。