NVIDIAGeForce RTX 5090和5080 GPU基于开创性的NVIDIA BLACKWELL建筑 - 使用NVIDIA DLSS 4技术提供多达8倍的帧速率，使用NVIDIA Reflex 2降低潜伏期，并增强了NVIDIA RTX RTX神经着色器的图形保真度。
这些GPU旨在加速最新的AI工作负载，每秒提供高达3,352 AI的运营（顶部），为AI爱好者，游戏玩家，创作者和开发人员带来了令人难以置信的体验。
为了帮助AI开发人员和爱好者利用这些功能，NVIDIA在CES贸易展上个月揭幕NVIDIA NIM和AI蓝图对于RTX。NVIDIA NIM微服务是预先包装的生成AI模型，可让开发人员和发烧友轻松开始使用生成AI，快速迭代并利用RTX用于在Windows PC上加速AI。NVIDIA AI蓝图是参考项目，向开发人员展示了如何使用NIM微服务来构建下一代AI体验。
NIM和AI蓝图针对GeForce RTX 50系列GPU进行了优化。这些技术无缝合作，以帮助开发人员和爱好者在AI PC上建立，迭代并提供最先进的AI体验。
NVIDIA NIM在PC上加速了生成AI
尽管AI模型开发正在迅速发展，但将这些创新带入PC仍然是许多人的挑战。必须在平台上发布的模型进行策划，调整和量化以在PC上运行。它们还需要集成到新的AI应用程序编程接口（API）中，以确保与现有工具的兼容性，并转换为优化的推理后端以获得峰值性能。
RTX AI PC和工作站的NVIDIA NIM微服务可以通过提供对社区驱动和NVIDIA开发的AI模型来减轻此过程的复杂性。这些微服务易于下载并通过行业标准的API连接，并涵盖了AI PC所必需的关键方式。它们还与各种AI工具兼容，并提供灵活的部署选项，无论是在PC，数据中心还是在云中。
NIM微服务包括使用RTX GPU在PC上运行优化型号所需的一切，包括针对特定GPU的预构建发动机，NVIDIA TENSORRT软件开发试剂盒（SDK）（SDK），开放源Nvidia tensorrt-lllm tensorrt-lllm库，用于使用张力核心加速的选择，以及更多。
Microsoft和Nvidia共同努力，为Linux（WSL2）中的Windows子系统中的RTX启用NIM微服务和AI蓝图。使用WSL2，在数据中心GPU上运行的相同的AI容器现在可以在RTX PC上有效运行，从而使开发人员更容易在平台上构建，测试和部署AI模型。
此外，NIM和AI蓝图还基于GeForce RTX 50系列的Blackwell Architecture（包括第五代张量核心核心）和对FP4精度的支持。
张量核心驱动下一代AI性能
AI计算的要求非常高，需要大量的处理能力。无论是生成图像和视频还是理解语言并做出实时决策，AI模型都依靠数百万亿数学操作每秒完成。为了跟上，计算机需要专门为AI构建的专门硬件。
在2018年，NVIDIA GEFORCE RTX GPU通过介绍改变了游戏张量专门的AI处理器旨在处理这些密集的工作负载。与传统的计算核心不同，张量芯是通过更快，更有效地执行计算来加速AI的。这一突破有助于将AI驱动的游戏，创意工具和生产力应用程序带入主流。
Blackwell Architecture将AI加速度提高到了一个新的水平。Blackwell GPU中的第五代张量核心可提供高达3,352个AI上衣，以处理更苛刻的AI任务并同时运行多个AI模型。这意味着从实时渲染到智能助手，更快的AI驱动体验为游戏，内容创建及其他方面的更大创新铺平了道路。
FP4较小的型号，更大的性能
优化AI性能的另一种方法是通过量化，这是一种降低模型大小的技术，使模型可以更快地运行，同时减少内存需求。
输入FP4 –一种高级量化格式，该格式允许AI模型运行速度更快，更精细，而不会损害输出质量。与FP16相比，它可将模型尺寸降低60％，而双重性能则降低了，但降解最少。
例如，黑森林实验室Flux.1 [dev]FP16的模型需要超过23GB的VRAM，这意味着它只能由GeForce RTX 4090和专业GPU支持。使用FP4，Flux.1 [dev]需要小于10GB，因此它可以在更多的GeForce RTX GPU上本地运行。
在具有FP16的GeForce RTX 4090上，Flux.1 [DEV]模型可以在15秒内以仅30个步骤生成图像。使用带有FP4的GeForce RTX 5090，可以在仅五秒钟内生成图像。
Blackwell Architecture在本地支持FP4，这比以往任何时候都更容易在本地PC上部署高性能AI。它也集成到NIM微服务中，有效地优化了以前难以量化的模型。通过启用更有效的AI处理，FP4有助于为内容创建带来更快，更智能的AI体验。
AI蓝图电源高级AI工作流程RTX PC
nvidia ai蓝图，基于NIM微服务，提供预先包装的，优化的参考实现，使得开发高级AI驱动的项目变得更加容易 - 无论是用于数字人类，播客生成器还是应用程序助理。
在CES，NVIDIA证明PDF到播客，一种允许用户将PDF转换为有趣播客的蓝图，甚至随后与AI播客主机创建问答。该工作流程集成了七个不同的AI模型，所有模型都在同步工作，提供了动态的交互式体验。
使用AI蓝图，用户可以迅速从实验到RTX PC和工作站上的AI。
NIM和AI蓝图即将推出RTX PC和工作站
Generative AI正在突破游戏，内容创建等可能的界限。使用NIM微服务和AI蓝图，最新的AI进步不再限于云 - 现在，它们针对RTX PC进行了优化。借助RTX GPU，开发人员和爱好者可以从PC和工作站从本地进行试验，建造和部署AI。
NIM微服务和AI蓝图即将推出，并在GeForce RTX 50系列，GeForce RTX 4090和4080以及NVIDIA RTX 6000和5000 Professional GPU上提供了初始的硬件支持。将来将支持其他GPU。