在过去的一年里,生成式人工智能改变了人们的生活、工作和娱乐方式,增强了从写作和内容创作到游戏、学习和生产力的一切。PC 爱好者和开发人员正在带头推动这一突破性技术的发展。
无数次,行业定义的技术突破都是在一个地方发明的——车库。本周标志着RTX人工智能车库系列,将为希望了解更多有关 NVIDIA NIM 微服务和 AI 蓝图以及如何在 AI PC 上构建 AI 代理、创意工作流程、数字人类、生产力应用程序等的开发人员和爱好者提供常规内容。欢迎来到RTX人工智能车库。
第一部分重点介绍了本周早些时候发布的公告国际消费电子展, 包括新的人工智能基础模型可用于NVIDIA RTX AI 电脑将数字人类、内容创作、生产力和发展提升到一个新的水平。
这些型号 – 提供为英伟达NIM微服务 – 由新的技术提供支持GeForce RTX 50 系列 GPU。RTX 50 系列 GPU 基于 NVIDIA Blackwell 架构构建,可提供每秒高达 3,352 万亿次 AI 操作的性能、32GB VRAM 和 FP4 计算功能,使 AI 推理性能提高一倍,并使生成式 AI 能够以更小的内存占用在本地运行。
英伟达还推出了NVIDIA 人工智能蓝图– 基于 NIM 微服务构建的即用型、预配置工作流程,适用于数字人类和内容创建等应用程序。
NIM 微服务和 AI 蓝图使爱好者和开发人员能够比以往更快地构建、迭代并向 PC 提供 AI 驱动的体验。其结果是为 PC 用户带来了新一波引人注目的实用功能。
使用 NVIDIA NIM 快速跟踪 AI
将人工智能进步引入个人电脑面临两个关键挑战。首先,人工智能研究的步伐是惊人的,新模型每天都会出现在 Hugging Face 等平台上,该平台目前拥有超过 100 万个模型。结果,突破很快就变得过时了。
其次,使这些模型适应 PC 使用是一个复杂的、资源密集型的过程。针对 PC 硬件优化它们、将它们与人工智能软件集成并将它们连接到应用程序需要大量的工程工作。
NVIDIA NIM 通过提供针对 PC 优化的预打包、最先进的 AI 模型来帮助应对这些挑战。这些 NIM 微服务跨越模型域,只需单击一下即可安装,具有易于集成的应用程序编程接口 (API),并利用 NVIDIA AI 软件和 RTX GPU 来加速性能。
在 CES 上,NVIDIA 宣布推出一系列适用于 RTX AI PC 的 NIM 微服务,支持涵盖大型语言模型 (LLM)、视觉语言模型、图像生成、语音、检索增强生成 (RAG)、PDF 提取和计算机视觉的用例。
新的骆驼 Nemotron开放模型系列为各种代理任务提供了高精度。Llama Nemotron Nano 模型将作为 RTX AI PC 和工作站的 NIM 微服务提供,擅长执行指令跟踪、函数调用、聊天、编码和数学等代理 AI 任务。
很快,开发人员将能够快速下载并使用 Windows Subsystem for Linux (WSL) 在 Windows 11 PC 上运行这些微服务。
为了演示爱好者和开发人员如何使用 NIM 构建 AI 代理和助手,NVIDIA 预览了 Project R2X,这是一款支持视觉的 PC 化身,可以让用户触手可及的信息、协助桌面应用程序和视频电话会议、阅读和总结文档等等。报名用于 Project R2X 更新。
通过使用 NIM 微服务,人工智能爱好者可以跳过模型管理、优化和后端集成的复杂性,专注于利用尖端人工智能模型进行创建和创新。
API 中有什么?
API 是应用程序与软件库通信的方式。API 定义了应用程序可以对库进行的一组“调用”以及应用程序期望的返回结果。传统的人工智能 API 需要大量的设置和配置,使得人工智能功能更难使用并阻碍创新。
NIM 微服务公开了易于使用、直观的 API,应用程序可以简单地向其发送请求并获得响应。此外,它们是围绕不同模型类型的输入和输出媒体而设计的。例如,法学硕士将文本作为输入并产生文本作为输出,图像生成器将文本转换为图像,语音识别器将语音转换为文本等等。
这些微服务旨在与领先的人工智能开发和代理框架无缝集成,例如 AI Toolkit for VSCode、AnythingLLM、ComfyUI、Flowise AI、LangChain、Langflow 和 LM Studio。开发人员可以轻松地下载和部署它们build.nvidia.com。通过将这些 API 引入 RTX,NVIDIA NIM 将加速 PC 上的 AI 创新。
爱好者们有望能够使用即将发布的 NIM 微服务来体验一系列 NIM 微服务。
NVIDIA ChatRTX技术演示。创新蓝图
通过使用针对 PC 预先打包和优化的最先进模型,开发人员和爱好者可以快速创建人工智能驱动的项目。
更进一步,他们可以结合多个人工智能模型和其他功能来构建复杂的应用程序,例如数字人类、播客生成器和应用程序助手。
NVIDIA AI 蓝图基于 NIM 微服务构建,是复杂 AI 工作流程的参考实现。它们帮助开发人员将多个组件(包括库、软件开发套件和人工智能模型)连接到一个应用程序中。
AI 蓝图包括开发人员构建、运行、自定义和扩展参考工作流程所需的一切,其中包括参考应用程序和源代码、示例数据以及用于自定义和编排不同组件的文档。
在 CES 上,NVIDIA 宣布了两个 RTX 人工智能蓝图:一个用于 PDF 到播客,允许用户从任何 PDF 生成播客,另一个用于 3D 引导的生成 AI,它基于FLUX.1 [开发]预计将作为 NIM 微服务提供,为艺术家提供对基于文本的图像生成的更大控制。
借助 AI 蓝图,开发人员可以快速从 AI 实验过渡到 AI 开发,以在 RTX PC 和工作站上实现尖端工作流程。
专为生成式人工智能而打造
全新 GeForce RTX 50 系列 GPU 专为应对复杂的生成式 AI 挑战而设计,配备支持 FP4 的第五代 Tensor Core、更快的 G7 内存和 AI 管理处理器,可在 AI 和创意工作流程之间实现高效的多任务处理。
GeForce RTX 50 系列增加了 FP4 支持,有助于为 PC 带来更好的性能和更多型号。FP4 是一种较低量化方法,类似于文件压缩,可减小模型大小。与 FP16(大多数型号采用的默认方法)相比,FP4 使用的内存不到一半,而 50 系列 GPU 提供的性能是上一代产品的 2 倍以上。使用以下提供的先进量化方法可以在几乎没有质量损失的情况下完成此操作NVIDIA TensorRT 模型优化器。
例如,Black Forest Labs FP16 的 FLUX.1 [dev] 模型需要超过 23GB 的 VRAM,这意味着它只能由 GeForce RTX 4090 和专业 GPU 支持。使用 FP4,FLUX.1 [dev] 需要不到 10GB,因此它可以在更多 GeForce RTX GPU 上本地运行。
借助配备 FP16 的 GeForce RTX 4090,FLUX.1 [dev] 模型可以在 15 秒内通过 30 个步骤生成图像。使用配备 FP4 的 GeForce RTX 5090,只需五秒多一点即可生成图像。
开始使用适用于 PC 的新 AI API
NVIDIA NIM 微服务和 AI 蓝图预计将于下个月开始提供,并为 GeForce RTX 50 系列、GeForce RTX 4090 和 4080 以及 NVIDIA RTX 6000 和 5000 专业 GPU 提供初步硬件支持。未来将支持更多 GPU。
宏碁、华硕、戴尔、技嘉、惠普、联想、微星、雷蛇和三星以及本地系统制造商 Corsair、Falcon Northwest、LDLC、Maingear、Mifcon、Origin PC、PCS 预计将提供支持 NIM 的 RTX AI PC和扫描。
GeForce RTX 50 系列 GPU 和笔记本电脑可提供改变游戏规则的性能、推动变革性的 AI 体验,并使创作者能够在创纪录的时间内完成工作流程。重温 NVIDIA 首席执行官黄仁勋的演讲主题演讲了解有关 NVIDIA 在 CES 上发布的 AI 新闻的更多信息。
看 注意关于软件产品信息。