作者:Shashank Maheshwari
机器人技术正在发生一场革命,超越了专业机器时代到通才机器人技术。这种转变从单活使用的固定功能机器人转移到受训练的适应性机器人,以在各种环境中执行各种任务。受人类认知的启发,这些适应能力的机器人将快速,反应性的反应与高级推理和计划相结合,从而实现了更有效的学习和适应性。”
这种范式为机器人在行业中灵活运营,降低成本并扩大实际应用的开业打开了大门,远远超出了专业机器人的实现。在GTC 2025年,NVIDIA ISAAC GR00T平台是介绍为基础对于这种转变,将机器人基础模型,,,,合成数据管道,模拟环境和运行时计算机。
今天,我们很高兴地宣布NVIDIA JETSON AGX THR开发人员套件和NVIDIA JETSON T5000模块通常可用,赋予各地开发人员建立未来的开发商物理AI。使用Jetson Thor,不再需要为每个新工作重新编程机器人。Jetson Thor是物理AI的终极平台,为生成推理和多模式,多传感器处理提供了超级计算机。可以将Jetson Thor集成到下一代机器人中,以加速基础模型,从而灵活地应对诸如对象操纵,导航和遵循复杂说明的挑战。”
建立典型的人形机器人需要四个基本层:
这NVIDIA JETSON AGX THR开发人员套件为您提供无与伦比的性能和可扩展性。它由Nvidia BlackwellGPU和128 GB的内存,可在AI的2070 FP4 TERAFLOPS(TFLOPS)中毫不费力地运行最新的生成AI型号,这些模型均在130 W功率信封内。相比NVIDIA JETSON AGX ORIN,它提供高达7.5倍的AI计算和3.5倍更好的能源效率。
Jetson Thor可帮助您使用新的Blackwell Multi-Instance GPU(MIG)技术和强大的14核ARM Neoverse-V3AE CPU加速低延迟,实时应用。它还包括一套加速器,包括第三代可编程视觉加速器(PVA),双重编码器和解码器,光流加速器等等。
对于高速传感器融合,开发人员套件提供了广泛的I/O选项,包括带有4x25GBE的QSFP插槽,有线的多GBE RJ45连接器,多个USB端口和其他连接接口。它还设计用于与现有的类人机器人平台的无缝集成,从而轻松地束缚启动原型。
建立在Nvidia Blackwell建筑,Jetson Thor使用下一代变压器引擎引入了天然FP4量化,该量子在FP4和FP8之间动态切换以获得最佳性能。通过将4位权重和具有更高记忆带宽的激活相结合,Thor可以加速预填充和解码生成的AI工作负载。
杰森·雷神(Jetson Thor)介绍mig,使单个GPU可以通过专用资源将单个GPU分配到孤立的实例中。这可以通过保留关键工作量的能力,同时在同时运行较少的时间敏感任务来确保可预测的绩效,这对于混合批判性机器人应用程序特别有价值。
表1和2显示了Jetson T5000模块和Nvidia Jetson Agx Thor开发人员套件载体板的关键特征和接口。
NVIDIA JETSON T5000一个 | NVIDIA JETSON T4000* | |
AI性能 | 2070 Tflops(稀疏FP4)1035 Tflops(密集的FP4 |稀疏FP8 |稀疏INT8)517 TFLOPS(密集FP8 |稀疏FP16) | 1200 Tflops(稀疏FP4)600 Tflops(密集的FP4 |稀疏FP8 |稀疏INT8)300 tflops(密集FP8 |稀疏FP16) |
GPU | 2560核Nvidia Blackwell Architecture GPU,带96个第五代张量核心MIG,10 tpcs | 1536核Nvidia Blackwell Architecture GPU,具有64个TPCS的第五代张量MIG |
中央处理器 | 14核臂Neoverse-V3AE 64位CPU | 12核臂Neoverse-V3Ae 64位CPU |
记忆 | 128 GB 256位LPDDR5X,273 GB/s | 64 GB 256位LPDDR5X,273 GB/S |
频率 | 1.57 GHz Max GPU 2.6 GHz最大CPU | 1.57 GHz Max GPU 2.6 GHz最大CPU |
贮存 | 通过PCIE支持NVME; 通过USB3.2支持SSD | 通过PCIE支持NVME; 通过USB3.2支持SSD |
视觉加速器 | PVA v3.0PVA v3.0 | 视频编码 |
高达6x4kp60(H.265/H.264) | 最高6x4KP60(H.265/H.264)* | 视频解码 |
高达4x 8kp30(H.265) | 最多4x 4KP60(H.264) 最大4x 8kp30(H.265)* | 最大4x 4KP60(H.264)* 相机 |
使用虚拟通道C-Phy 2.1(10.25 Gbps)D-Phy 2.1(40 Gbps),通过HSB最多可通过HSB;通过16倍LANES MIPI CSI-2UP到32台摄像机最多20台摄像机。 | 通过HSB最多20台摄像机;使用虚拟通道C-Phy 2.1(10.25 Gbps)D-Phy 2.1(40 Gbps),最多可通过16倍车道MIPI CSI-2UP到32个摄像机,最多6台摄像机。 | 展示 |
4X共享HDMI2.1 vesa显示端口1.4a hbr2,MST | 4X共享HDMI2.1 vesa显示端口1.4a hbr2,MST | 力量 |
40 Wâ130 W | 40 W 70 W | 表1。 |
NVIDIA JETSON TOR模块集成 | |
NVIDIA JETSON T5000模块 | 贮存 |
M.2键M插槽上的集成1TB NVME | 相机 |
HSB摄像机通过QSFP插槽USB相机 | PCIE |
M.2键M插槽,带有X4 PCIE GEN5(填充1TB NVME)的M.2带有X1 PCIE GEN5的钥匙插槽(填充了Wi-Fi 6e Plus 6e Plus Bluetooth模块) | USB |
2X USB A型3.2 GEN22X USB Type-C 3.1 Gen11x USB Type-C(仅调试) | 联网 |
1x 5GBE RJ45 Connector1x QSFP28(4x 25GBE) | 无线上网 |
802.11AX Wi-Fi 6e | 展示 |
1X HDMI 2.0B 1倍显示port 1.4a | 其他I/OS |
2x 13针罐头2x 6针自动化标头2x 5针头JTAG连接器1x 4针风扇连接器12V,PWM和TACH 2X 2X 5-PIN音频面板标头2针RTC RTC备用电池电池连接器Microfit Microfit Power Jack Power,Quack Power,Force Recession和Reset按钮恢复和重新设定按钮 | 机械的 |
243.19毫米x 112.40毫米x 56.88毫米(高度包括脚,载体板,模块和热溶液) | 表2。 |
它支持广泛的生成AI模型,从视觉语言动作(VLA)诸如NVIDIA ISAAC GR00T N1.5到所有流行的模型大语言模型(LLM)和视觉语言模型(VLM)。一个
为了提供无缝的云到边缘体验,Jetson Thor运行了用于物理AI应用程序的NVIDIA AI软件堆栈,包括Nvidia Isaac用于机器人技术,Nvidia Metropolis用于视觉代理AI和Nvidia Holoscan用于传感器处理。您也可以使用NVIDIA在边缘构建AI代理代理AI工作流视频搜索和摘要(VSS)。
生成推理模型对于可以模拟可能的动作序列,预测后果,对语言或视觉提示的原因,并灵活地生成高级计划或低级运动策略的机器人技术平台至关重要。这导致机器人系统在现实世界中具有更高灵活,适应性和能够强大的人类水平推理。
Nvidia Jetson Thor通过提供高达5倍的加速度与Jetson Orin相比,在生成推理方面取得了巨大的飞跃。借助FP4和投机解码,开发人员将能够在Jetson Thor上获得2倍的性能加速。
Jetson Thor还无缝处理多种生成的AI模型和大量的多模式传感器输入,从而提供了实时响应。图5使用QWEN2.5-VL-3B VLM和LLAMA 3.2 3B LLM展示了此功能,同时处理16个请求。这两种模型都达到了一个远低于200毫秒和每次输出令牌(TPOT)的时间,远低于50毫秒的系统响应能力两个关键指标。
Jetson Thor利用了Blackwell本机FP4支持,还可以实现高级技术,例如投机解码。在这种方法中,较小的草案模型提出了令牌,较大的模型验证了它们。这种方法在保持准确性的同时加速了生成的AI推断,最终提供了更快,更高质量的输出。
图4表明,与使用W4A16运行的Jetson Oin(4位权重,16位激活)相比,使用FP4量化和基于Eagle的投机解码,对Thor的QWEN2.5-VL-7B模型的提高至3.5倍。
此外,Jetson Thor提供了新的加速度,并在包括LLMS,VLMS和VLA在内的生成AI模型上提供了高达5倍的加速度,如表3所示。
家庭 | 模型 | Jetson Agx Thor(输出令牌/秒) | Jetson Agx Orin(输出令牌/秒) | 加速 |
LLM | ||||
骆驼 | 美洲驼3.1 8b | 150.8 | 112.33 | 1.34 |
美洲驼3.3 70b | 12.64 | 7.38 | 1.71 | |
QWEN | QWEN3-30B-A3B | 226.42 | 76.69 | 2.95 |
QWEN3-32B | 79.1 | 16.84 | 4.70 | |
DeepSeek | DeepSeek-R1-Distill-Qwen-7b | 304.76 | 180.41 | 1.69 |
DeepSeek-R1-Distill-Qwen-32b | 82.63 | 16.96 | 4.87 | |
VLM | ||||
QWEN | QWEN2.5-VL-3B | 356.86 | 216 | 1.65 |
QWEN2.5-VL-7B | 252 | 154.02 | 1.64 | |
骆驼 | Llama 3.2 11B视觉 | 69.63 | 44.22 | 1.57 |
vla | ||||
gr00t | GR00T N1 | 46.7 | 18.5 | 2.52 |
GR00T N1.5 | 41.5 | 15.2 | 2.74 |
这些基准的配置:序列长度:2048,输出序列长度:128;最大并发:8;使用VLLM运行LLM和VLM模型,并使用Tensorrt运行VLA模型;电源模式:Jetson Agx Thor和Jetson Agx Orin的Maxn
JETSON软件通过提供一个针对机器人技术,医疗保健,物流和自主系统的实时,高通量应用程序优化的紧密集成,全堆栈软件平台来加速AI在边缘的性能。
供电喷气背包7,使用Linux内核6.8,Ubuntu 24.04 LT和最新的NVIDIA AI堆栈,Jetson Software可以实现低延迟,确定性地执行物理AI的高级生成AI模型。它结合了硬件加速的计算和系统级优化,以驱动诸如人形机器人,自动驾驶机器和工业自动化等复杂系统中响应迅速的智能行为。”
凭借集成的Holoscan传感器桥,MIG支持和可抢先的实时内核,Jetson软件可以提高高速传感器融合和运动计划等任务的性能和效率。由Jetson AI实验室,一个广泛的生态系统,Jetson软件对于Edge AI和机器人应用程序,显着加速了绩效的时间。
Jetson Thor平台支持新的宇宙原因,一个开放的,可自定义的7B推理VLM,用于物理AI和机器人技术。
使用JetPack 7,Jetson软件与服务器基础系统体系结构(SBSA)保持一致,将Jetson Thor与行业标准的ARM服务器设计放置。SBSA标准化了关键的硬件和固件接口,提供更强的OS支持,更简单的软件可移植性以及更平滑的企业集成。Jetson Thor以此为基础,支持统一的CUDA 13.0在所有ARM目标上安装,简化开发,减少碎片以及确保从服务器级系统到Jetson Thor的一致性。
是一个开放的机器人平台CUDA加速图书馆,用于构建AMR,操纵器,类人动物等的框架和AI模型。现代机器人需要实时处理多模式数据的高级控制,视觉和语言模型,以实现无缝感知。
Jetson Thor是专门建造的,可以运行苛刻的模型ISAAC GR00T N1.5,提供实时的人类互动,空间意识和强大的感知。Isaac和Thor共同启用了可扩展的,边缘部署的多模式AI,在行业和研究中加速了机器人创新。
这NVIDIA蓝图用于视频搜索和摘要(VSS)来自Nvidia Metropolis为您提供了通过分析实时相机流来构建和部署视频分析代理的工具,这些工具可以执行上下文化的实时警报,摘要和问答。
VSS正在为跨越视觉检查和工人安全制造的视觉代理劳动力提供动力,例如粉丝参与和玩家分析,并改善了道路事件的紧急响应时间。
Nvidia Holoscan是一个AI传感器处理平台,可提供软件定义和实时AI所需的加速,全堆栈基础架构。它的构建是为了简化企业级硬件的简化和扩展边缘AI,为实时AI提供了高性能的边缘解决方案。
借助Holoscan,在Jetson Thor上,您可以安全地分区和隔离并发AI工作流程,以确保确定性的性能,容忍度和防止对关键任务应用程序的数据泄漏的保护。这使得不损害安全性的不损害安全性的AI创新,这使Holoscan成为可信赖的操作层,以实时行动,以实时行动。 -
现代机器人依靠各种传感器,包括相机,IMU,执行器,以及对于智能操作所必需的。与NVIDIA Holoscan传感器桥,您可以无缝将所有传感器通过以太网连接到NVIDIA JETSON平台,而不管方式如何。使用Jetson Thor中提供的新相机,将传感器数据流直接进入GPU内存,大大降低了延迟并最大程度地减少CPU开销。这种方法用简化的软件定义的API取代了传统的驾驶员复杂性,以实现实时Edge AI应用程序,以实现精确的同步和可靠的可伸缩性。
为了帮助开发人员更快地将解决方案推向市场,由1,000多个合作伙伴组成的网络通过各种合作伙伴类别提供有针对性的支持,确保在流程的每个阶段都能获得正确的能力。”
合作伙伴类别 | 产品 |
单个软件供应商(ISV) | 应用软件 |
云服务提供商(CSP)和软件工具 | 平台OS,设备管理,AI模型自定义和移植 |
平台软件和AI服务 | 平台操作系统,系统软件 |
HW合作伙伴(OEM / ODM /系统建筑商,设计公司等) | 运营商板,婴儿床,定制系统,交钥匙设计服务,连接模块 |
传感器 | 相机(MIPI / GMSL,以太网,USB),LiDAR,IMU,音频,ISP调整 |
分销商 | Jetson模块和开发人员套件 |
通过连接您的软件开发Jetson Agx Thor开发人员套件直接进入现有机器人。您可以立即开始创建和测试应用程序。无需等待完整的系统集成。
加入200万开发商并启动您的下一代物理AI项目。Jetson Agx Thor开发人员套件的价格为3,499美元,Jetson T5000生产模块为现在可以购买通过全球授权分销商的NVIDIA。
开始使用Jetson Agx Thor开发人员套件,下载最新喷气背包7。一个
可以通过Jetson下载中心和生态系统合作伙伴。有疑问还是需要指导?与专家和其他开发人员建立联系NVIDIA开发人员论坛。