英语轻松读发新版了,欢迎下载、更新

控制AI生成的图像与3D引导生成AI的NVIDIA AI蓝图的组成

2025-04-30 13:01:45 英文原文

作者:Gerardo Delgado

AI驱动的图像生成已经取得了显着的速度,从早期的示例中,模型创建了人类的图像,这些图像现在用手指过多而产生了惊人的影视效果。即使有了这样的飞跃,仍然存在一个挑战:实现创造性控制。

使用文本创建场景变得更加容易,不再需要复杂的描述,并且模型可以改善与提示的一致性。但是,单独描述构图,摄像头角度和对象放置等细节很难,进行调整更加复杂。使用ControlNet的高级工作流 - 通过提供对输出的更大控制来增强图像生成的工具,提供解决方案,但它们的设置复杂性限制了更广泛的可访问性。

为了帮助克服这些挑战并快速访问高级AI功能,NVIDIA在今年早些时候的CES贸易展览会上宣布NVIDIA AI蓝图用于3D引导的RTX PC的生成AI。此示例工作流包括开始生成具有完整组成控制的图像所需的一切。用户可以下载新的蓝图今天。

线束3D控制AI生成的图像

用于3D引导的生成AI的NVIDIA AI蓝图通过使用草稿3D场景来控制图像生成混合器为图像生成器提供深度图Flux.1-dev,来自黑森林实验室,与用户提示一起生成所需的图像。

深度图有助于图像模型了解应该放置物品的位置。该技术的优点是,它不需要高度详细的对象或高质量的纹理,因为它们会转换为灰度。而且由于场景为3D,用户可以轻松地移动对象并更改相机角度。

蓝图的引擎盖下是Comfyui,它是一种强大的工具,可让创作者链生成的AI以有趣的方式模型。例如,comfyui搅拌机插件让用户将搅拌机连接到comfyui。另外,一个NVIDIA NIM微服务使用户可以部署磁通。1-DEV模型,并以GeForce RTX GPU的最佳性能运行,然后攻入nvidia tensorrt软件开发套件和优化格式(例如FP4和FP8)。3D引导生成AI的AI蓝图需要NVIDIA GEFORCE RTX 4080 GPU或更高。

预先建立的生成AI工作流程的基础

3D引导的生成AI的蓝图包括使用高级图像生成工作流程所需的一切:搅拌机,comfyui,连接两者的搅拌机插件,flux.1-dev nim microservice及其运行所需的comfyui节点。对于AI艺术家来说,它还带有安装程序和详细的部署说明。

蓝图提供了一种结构化的方式来潜入图像生成,提供可以根据特定需求量身定制的工作管道。分步文档,样本资产和预配置的环境为创作过程提供了稳固的基础,使创作过程更易于管理,结果更强大。

对于AI开发人员而言,蓝图可以作为构建类似管道或扩展现有管道的基础。它带有源代码,示例数据,文档和用于入门的工作示例。

由RTXAIâ驱动的实时生成 

AI蓝图在NVIDIA RTX AI PC和工作站上运行,从而利用了最近的性能突破Nvidia Blackwell建筑学。

3D引导生成型AI中包含的Flux.1-DEV NIM微服务通过张力优化,并将其定量为Blackwell GPU的FP4精度,使天然Pytorch FP16的推理速度超过一倍以上。

适用于用户Nvidia Ada Lovelace Generation GPU,Flux.1-DEV NIM微服务带有FP8变体,也加速了Tensorrt。这些改进使高性能工作流程更容易进行快速迭代和实验。量化还有助于使用较少的VRAM运行模型。例如,使用FP4,与FP16相比,模型尺寸降低了2倍以上。

使用RTX AI自定义和创建

目前有10个NIM微服务可用于RTX,支持跨越图像和语言的用例,以语音AI和计算机视觉,并在途中带有更多的蓝图和服务。

现在可用https://build.nvidia.com/nvidia/genai-3d-guided,AI蓝图和NIM微服务为准备创建,自定义和推动RTX PC和工作站上生成AI的界限的人提供了强大的基础。

每个星期,RTX AI车库博客系列具有社区驱动的AI创新和内容,以了解有关NIM微服务和AI蓝图以及构建的人的更多信息人工智能代理,创意工作流程,数字人类,生产力应用程序以及更多有关人工智能和工作站的应用程序。

插入NVIDIA AI PCFacebook,,,,Instagram,,,,蒂克托克x并通过订阅RTX AI PC新闻通讯

关注NVIDIA工作站LinkedInx

注意关于软件产品信息。

关于《控制AI生成的图像与3D引导生成AI的NVIDIA AI蓝图的组成》的评论


暂无评论

发表评论

摘要

NVIDIA在CES上引入了用于3D引导的生成AI的NVIDIA AI蓝图,提供了使用Blender Affers和Flux.1-DEV模型的工作流程,以生成具有完整组成控制的图像。该蓝图通过提供针对RTX GPU的所有必要工具和插件来简化高级AI功能,从而通过张力和精确量化技术优化了RTX GPU,可以更快地推理速度并降低VRAM使用情况。它可以在NVIDIA网站上获得,它支持自定义工作流程,并且是旨在增强RTX系统生成的AI系列的一部分。