英语轻松读发新版了,欢迎下载、更新

引入NVIDIA JETSON THR,是物理AI的最终平台|NVIDIA技术博客

2025-08-25 15:02:26 英文原文

作者:Shashank Maheshwari

机器人技术正在发生一场革命,超越了专业机器时代到通才机器人技术。这种转变从单活使用的固定功能机器人转移到受训练的适应性机器人,以在各种环境中执行各种任务。受人类认知的启发,这些适应能力的机器人将快速,反应性的反应与高级推理和计划相结合,从而实现了更有效的学习和适应性。” 

这种范式为机器人在行业中灵活运营,降低成本并扩大实际应用的开业打开了大门,远远超出了专业机器人的实现。在GTC 2025年,NVIDIA ISAAC GR00T平台是介绍为基础对于这种转变,将机器人基础模型,,,,合成数据管道,模拟环境和运行时计算机。

今天,我们很高兴地宣布NVIDIA JETSON AGX THR开发人员套件NVIDIA JETSON T5000模块通常可用,赋予各地开发人员建立未来的开发商物理AI。使用Jetson Thor,不再需要为每个新工作重新编程机器人。Jetson Thor是物理AI的终极平台,为生成推理和多模式,多传感器处理提供了超级计算机。可以将Jetson Thor集成到下一代机器人中,以加速基础模型,从而灵活地应对诸如对象操纵,导航和遵循复杂说明的挑战。” 

建造通才的人形机器人需要什么? 

建立典型的人形机器人需要四个基本层:

  • 硬件抽象:整合了所有关键的感应和驱动方式,使机器人能够感知其环境并与世界进行物理互动。
  • 实时控制框架:管理机器人运动的精确,低延迟的控制,其中最小化延迟对于安全和响应迅速的操作绝对至关重要。
  • 感知和计划:将机器人提供环境的理解,掌握和运动计划,运动,对象识别和本地化,从而有效地与周围世界的互动。与实时控制不同,该层允许更多的处理时间来确保周到,准确的决策。
  • 高级推理:Powers高级功能,例如场景理解,复杂的任务计划和自然语言互动,在该功能可以接受更长的处理时间以支持更深入的推理和适应性。
A humanoid application on the left with the various layers used to build it on the right, including sections labeled high-level reasoning, perception and planning, real-time control framework, and hardware abstraction.
图1。建造类人机器人需要一系列硬件和软件组件

Nvidia Jetson Thor如何成为物理AI和人形机器人技术的最终平台? 

NVIDIA JETSON AGX THR开发人员套件为您提供无与伦比的性能和可扩展性。它由Nvidia BlackwellGPU和128 GB的内存,可在AI的2070 FP4 TERAFLOPS(TFLOPS)中毫不费力地运行最新的生成AI型号,这些模型均在130 W功率信封内。相比NVIDIA JETSON AGX ORIN,它提供高达7.5倍的AI计算和3.5倍更好的能源效率。 

Jetson Thor可帮助您使用新的Blackwell Multi-Instance GPU(MIG)技术和强大的14核ARM Neoverse-V3AE CPU加速低延迟,实时应用。它还包括一套加速器,包括第三代可编程视觉加速器(PVA),双重编码器和解码器,光流加速器等等。 

对于高速传感器融合,开发人员套件提供了广泛的I/O选项,包括带有4x25GBE的QSFP插槽,有线的多GBE RJ45连接器,多个USB端口和其他连接接口。它还设计用于与现有的类人机器人平台的无缝集成,从而轻松地束缚启动原型。 

变压器引擎和FP4支持

建立在Nvidia Blackwell建筑,Jetson Thor使用下一代变压器引擎引入了天然FP4量化,该量子在FP4和FP8之间动态切换以获得最佳性能。通过将4位权重和具有更高记忆带宽的激活相结合,Thor可以加速预填充和解码生成的AI工作负载。

多实施GPU

杰森·雷神(Jetson Thor)介绍mig,使单个GPU可以通过专用资源将单个GPU分配到孤立的实例中。这可以通过保留关键工作量的能力,同时在同时运行较少的时间敏感任务来确保可预测的绩效,这对于混合批判性机器人应用程序特别有价值。

表1和2显示了Jetson T5000模块和Nvidia Jetson Agx Thor开发人员套件载体板的关键特征和接口。 

NVIDIA JETSON T5000一个 NVIDIA JETSON T4000*
AI性能2070 Tflops(稀疏FP4)1035 Tflops(密集的FP4 |稀疏FP8 |稀疏INT8)517 TFLOPS(密集FP8 |稀疏FP16) 1200 Tflops(稀疏FP4)600 Tflops(密集的FP4 |稀疏FP8 |稀疏INT8)300 tflops(密集FP8 |稀疏FP16) 
GPU2560核Nvidia Blackwell Architecture GPU,带96个第五代张量核心MIG,10 tpcs1536核Nvidia Blackwell Architecture GPU,具有64个TPCS的第五代张量MIG
中央处理器14核臂Neoverse-V3AE 64位CPU12核臂Neoverse-V3Ae 64位CPU
记忆128 GB 256位LPDDR5X,273 GB/s64 GB 256位LPDDR5X,273 GB/S
频率1.57 GHz Max GPU
2.6 GHz最大CPU
1.57 GHz Max GPU
2.6 GHz最大CPU
贮存通过PCIE支持NVME;
通过USB3.2支持SSD
通过PCIE支持NVME;
通过USB3.2支持SSD
视觉加速器PVA v3.0PVA v3.0视频编码
高达6x4kp60(H.265/H.264)最高6x4KP60(H.265/H.264)*视频解码
高达4x 8kp30(H.265)最多4x 4KP60(H.264)
最大4x 8kp30(H.265)*
最大4x 4KP60(H.264)*
相机
使用虚拟通道C-Phy 2.1(10.25 Gbps)D-Phy 2.1(40 Gbps),通过HSB最多可通过HSB;通过16倍LANES MIPI CSI-2UP到32台摄像机最多20台摄像机。通过HSB最多20台摄像机;使用虚拟通道C-Phy 2.1(10.25 Gbps)D-Phy 2.1(40 Gbps),最多可通过16倍车道MIPI CSI-2UP到32个摄像机,最多6台摄像机。展示
4X共享HDMI2.1 vesa显示端口1.4a hbr2,MST4X共享HDMI2.1 vesa显示端口1.4a hbr2,MST力量
40 Wâ130 W40 W 70 W表1。
*初步和可能改变
NVIDIA JETSON AGX TOR开发人员套件规格
NVIDIA JETSON TOR模块集成
NVIDIA JETSON T5000模块贮存
M.2键M插槽上的集成1TB NVME相机
HSB摄像机通过QSFP插槽USB相机PCIE
M.2键M插槽,带有X4 PCIE GEN5(填充1TB NVME)的M.2带有X1 PCIE GEN5的钥匙插槽(填充了Wi-Fi 6e Plus 6e Plus Bluetooth模块)USB
2X USB A型3.2 GEN22X USB Type-C 3.1 Gen11x USB Type-C(仅调试)联网
1x 5GBE RJ45 Connector1x QSFP28(4x 25GBE)无线上网
802.11AX Wi-Fi 6e展示
1X HDMI 2.0B 1倍显示port 1.4a其他I/OS
2x 13针罐头2x 6针自动化标头2x 5针头JTAG连接器1x 4针风扇连接器12V,PWM和TACH 2X 2X 5-PIN音频面板标头2针RTC RTC备用电池电池连接器Microfit Microfit Power Jack Power,Quack Power,Force Recession和Reset按钮恢复和重新设定按钮机械的
243.19毫米x 112.40毫米x 56.88毫米(高度包括脚,载体板,模块和热溶液)表2。
图2。
Block diagram showing the different components in Jetson Thor modules.
Jetson Thor如何在边缘增强生成AI?

Jetson Agx Thor属于一类新的机器人计算机,该机器人计算机从地面构造,并为下一代人形生物机器人提供动力。

它支持广泛的生成AI模型,从视觉语言动作(VLA)诸如NVIDIA ISAAC GR00T N1.5到所有流行的模型大语言模型(LLM)视觉语言模型(VLM)。一个 

为了提供无缝的云到边缘体验,Jetson Thor运行了用于物理AI应用程序的NVIDIA AI软件堆栈,包括Nvidia Isaac用于机器人技术,Nvidia Metropolis用于视觉代理AI和Nvidia Holoscan用于传感器处理。您也可以使用NVIDIA在边缘构建AI代理代理AI工作流视频搜索和摘要(VSS)

Logos of all the frameworks and models supported on Jetson, including Hugging Face, PyTorch, Meta, Gemini, OpenAI, Qwen, and many more.
图3。JetsonThor支持各种AI框架和生成AI模型

为什么生成推理和多模式传感器处理对物理AI很重要?

生成推理模型对于可以模拟可能的动作序列,预测后果,对语言或视觉提示的原因,并灵活地生成高级计划或低级运动策略的机器人技术平台至关重要。这导致机器人系统在现实世界中具有更高灵活,适应性和能够强大的人类水平推理。

Nvidia Jetson Thor通过提供高达5倍的加速度与Jetson Orin相比,在生成推理方面取得了巨大的飞跃。借助FP4和投机解码,开发人员将能够在Jetson Thor上获得2倍的性能加速。

Bar chart comparing Jetson Thor to Jetson Orin on generative reasoning benchmarks.
图4。与Jetson Orin相比,Jetson Thor的生成推理速度快5倍

Jetson Thor还无缝处理多种生成的AI模型和大量的多模式传感器输入,从而提供了实时响应。图5使用QWEN2.5-VL-3B VLM和LLAMA 3.2 3B LLM展示了此功能,同时处理16个请求。这两种模型都达到了一个远低于200毫秒和每次输出令牌(TPOT)的时间,远低于50毫秒的系统响应能力两个关键指标。

Chart comparing performance of TPOT and TTFT on Orin and Thor.
图5。Jetson Thor在处理多种生成AI模型和大量多模式传感器输入时会提供实时响应

Jetson Thor利用了Blackwell本机FP4支持,还可以实现高级技术,例如投机解码。在这种方法中,较小的草案模型提出了令牌,较大的模型验证了它们。这种方法在保持准确性的同时加速了生成的AI推断,最终提供了更快,更高质量的输出。

图4表明,与使用W4A16运行的Jetson Oin(4位权重,16位激活)相比,使用FP4量化和基于Eagle的投机解码,对Thor的QWEN2.5-VL-7B模型的提高至3.5倍。

此外,Jetson Thor提供了新的加速度,并在包括LLMS,VLMS和VLA在内的生成AI模型上提供了高达5倍的加速度,如表3所示。

家庭模型Jetson Agx Thor(输出令牌/秒)Jetson Agx Orin(输出令牌/秒)加速
LLM
骆驼美洲驼3.1 8b150.8112.331.34
美洲驼3.3 70b12.647.381.71
QWENQWEN3-30B-A3B226.4276.692.95
QWEN3-32B79.116.844.70
DeepSeekDeepSeek-R1-Distill-Qwen-7b304.76180.411.69
DeepSeek-R1-Distill-Qwen-32b82.6316.964.87
VLM
QWENQWEN2.5-VL-3B356.862161.65
QWEN2.5-VL-7B252154.021.64
骆驼Llama 3.2 11B视觉69.6344.221.57
vla
gr00tGR00T N146.718.52.52
GR00T N1.541.515.22.74
t能够3。杰森·索尔(Jetson Thor)和杰森·阿格克斯(Jetson Agx Orin)的基准测试 

这些基准的配置:序列长度:2048,输出序列长度:128;最大并发:8;使用VLLM运行LLM和VLM模型,并使用Tensorrt运行VLA模型;电源模式:Jetson Agx Thor和Jetson Agx Orin的Maxn

Jetson软件如何在边缘加速AI? 

JETSON软件通过提供一个针对机器人技术,医疗保健,物流和自主系统的实时,高通量应用程序优化的紧密集成,全堆栈软件平台来加速AI在边缘的性能。 

供电喷气背包7,使用Linux内核6.8,Ubuntu 24.04 LT和最新的NVIDIA AI堆栈,Jetson Software可以实现低延迟,确定性地执行物理AI的高级生成AI模型。它结合了硬件加速的计算和系统级优化,以驱动诸如人形机器人,自动驾驶机器和工业自动化等复杂系统中响应迅速的智能行为。” 

凭借集成的Holoscan传感器桥,MIG支持和可抢先的实时内核,Jetson软件可以提高高速传感器融合和运动计划等任务的性能和效率。由Jetson AI实验室,一个广泛的生态系统,Jetson软件对于Edge AI和机器人应用程序,显着加速了绩效的时间。

Jetson Thor平台支持新的宇宙原因,一个开放的,可自定义的7B推理VLM,用于物理AI和机器人技术。 

Diagram showing the different components of the Jetson software stack.
图7。Jetson软件堆栈 

JetPack 7具有SBSA体系结构

使用JetPack 7,Jetson软件与服务器基础系统体系结构(SBSA)保持一致,将Jetson Thor与行业标准的ARM服务器设计放置。SBSA标准化了关键的硬件和固件接口,提供更强的OS支持,更简单的软件可移植性以及更平滑的企业集成。Jetson Thor以此为基础,支持统一的CUDA 13.0在所有ARM目标上安装,简化开发,减少碎片以及确保从服务器级系统到Jetson Thor的一致性。

Nvidia Isaac如何加速机器人开发端到端? Nvidia Isaac

是一个开放的机器人平台CUDA加速图书馆,用于构建AMR,操纵器,类人动物等的框架和AI模型。现代机器人需要实时处理多模式数据的高级控制,视觉和语言模型,以实现无缝感知。 

Jetson Thor是专门建造的,可以运行苛刻的模型ISAAC GR00T N1.5,提供实时的人类互动,空间意识和强大的感知。Isaac和Thor共同启用了可扩展的,边缘部署的多模式AI,在行业和研究中加速了机器人创新。

Diagram showing different components of Isaac GR00T.
图8。NVIDIAISAAC GR00T加速机器人开发端到端

如何使用VSS从边缘相机解锁知识? 

NVIDIA蓝图用于视频搜索和摘要(VSS)来自Nvidia Metropolis为您提供了通过分析实时相机流来构建和部署视频分析代理的工具,这些工具可以执行上下文化的实时警报,摘要和问答。 

VSS正在为跨越视觉检查和工人安全制造的视觉代理劳动力提供动力,例如粉丝参与和玩家分析,并改善了道路事件的紧急响应时间。 

Diagram showing the components of the VSS development platform for building video analytics AI agents.
图9。VSS用于在制造业中的视觉检查和工人安全,并改善道路事件中的紧急响应时间

Holoscan在Thor上如何用于实时传感器处理?

Nvidia Holoscan是一个AI传感器处理平台,可提供软件定义和实时AI所需的加速,全堆栈基础架构。它的构建是为了简化企业级硬件的简化和扩展边缘AI,为实时AI提供了高性能的边缘解决方案。 

借助Holoscan,在Jetson Thor上,您可以安全地分区和隔离并发AI工作流程,以确保确定性的性能,容忍度和防止对关键任务应用程序的数据泄漏的保护。这使得不损害安全性的不损害安全性的AI创新,这使Holoscan成为可信赖的操作层,以实时行动,以实时行动。 -

现代机器人依靠各种传感器,包括相机,IMU,执行器,以及对于智能操作所必需的。与NVIDIA Holoscan传感器桥,您可以无缝将所有传感器通过以太网连接到NVIDIA JETSON平台,而不管方式如何。使用Jetson Thor中提供的新相机,将传感器数据流直接进入GPU内存,大大降低了延迟并最大程度地减少CPU开销。这种方法用简化的软件定义的API取代了传统的驾驶员复杂性,以实现实时Edge AI应用程序,以实现精确的同步和可靠的可伸缩性。 

加速TTM的全面生态系统

为了帮助开发人员更快地将解决方案推向市场,由1,000多个合作伙伴组成的网络通过各种合作伙伴类别提供有针对性的支持,确保在流程的每个阶段都能获得正确的能力。” 

合作伙伴类别产品
单个软件供应商(ISV) 应用软件 
云服务提供商(CSP)和软件工具 平台OS,设备管理,AI模型自定义和移植
平台软件和AI服务平台操作系统,系统软件
HW合作伙伴(OEM / ODM /系统建筑商,设计公司等)运营商板,婴儿床,定制系统,交钥匙设计服务,连接模块
传感器相机(MIPI / GMSL,以太网,USB),LiDAR,IMU,音频,ISP调整
分销商Jetson模块和开发人员套件
表4。Jetson生态系统包括1000多个合作伙伴
Image showing the logos of the partners in the NVIDIA robotics ecosystem.
图10. nvidia合作伙伴提供灵活的参与模型,使您可以选择设计所需的特定组件和服务 

开始使用Nvidia Jetson Thor进行身体AI

通过连接您的软件开发Jetson Agx Thor开发人员套件直接进入现有机器人。您可以立即开始创建和测试应用程序。无需等待完整的系统集成。

视频1。学习如何开始使用Nvidia Jetson Agx Thor开发人员Kitâ 

加入200万开发商并启动您的下一代物理AI项目。Jetson Agx Thor开发人员套件的价格为3,499美元,Jetson T5000生产模块为现在可以购买通过全球授权分销商的NVIDIA。 

开始使用Jetson Agx Thor开发人员套件,下载最新喷气背包7。一个 

可以通过Jetson下载中心生态系统合作伙伴。有疑问还是需要指导?与专家和其他开发人员建立联系NVIDIA开发人员论坛

关于《引入NVIDIA JETSON THR,是物理AI的最终平台|NVIDIA技术博客》的评论


暂无评论

发表评论

摘要

通过利用NVIDIA的Jetson Agx Thor等利用平台,可以极大地促进了建立下一代物理AI系统,特别是需要实时互动,感知和强大决策能力的人形机器人。该平台提供了强大的硬件和软件资源组合,旨在加速开发周期并提供复杂的边缘AI解决方案。这是如何将Jetson Thor用于此类高级应用程序的概述:### 1。**高性能硬件**#### ** Jetson Agx Thor开发人员套件:** - **专用建筑:** Jetson Agx Thor设计具有功能强大的NVIDIA GPU,使其能够像类似人类相互作用所需的那样运行复杂的AI模型。 - **实时响应能力:**能够实时处理多个多模式传感器输入,以确保机器人可以立即处理视觉,听觉和其他感觉数据。 - **确定性性能:**利用Blackwell本地FP4支持和投机解码等技术,以确保高速推断,同时保持准确性。### 2。**集成软件堆栈**#### ** Jetpack 7:** - **统一的CUDA安装:**通过在从服务器到边缘设备的各种ARM目标上提供一致的CUDA环境来简化开发。 - ** SBSA合规性:**确保与行业标准的ARM服务器设计的兼容性,从而促进更轻松地集成到企业环境中。#### ** Nvidia Isaac:** - **高级机器人技术平台:**提供了用于开发高级机器人应用程序(包括操纵,感知和人类机器人互动)的预制库和框架。 - **实时人类互动:**使机器人使用GR00T N1.5之类的模型实时理解和响应人类命令。#### ** Holoscan:** - **传感器处理平台:**通过以太网通过以太网简化了各种传感器与Jetson Thor的连接,从而减少了延迟和CPU开销。 - **实时边缘AI:**支持关键任务应用程序的确定性绩效,以确保现实部署的鲁棒性。### 3。** AI模型支持**#### **宇宙原因:** - **为物理AI打开VLM:**一种专门为物理AI任务(例如导航和对象识别)设计的可自定义推理模型。#### **视频搜索和摘要(VSS):** - **上下文化的分析:**基于实时摄像头提要,启用实时警报,汇总和问答,增强了制造安全和紧急响应等领域的功能。### 4。**生态系统支持** - **多元化的合作伙伴网络:**超过1,000个合作伙伴提供了从硬件到软件工具的广泛支持,可确保针对各种用例的全面解决方案。### 5。** Jetson Agx Thor ** - **直接集成:**将开发人员套件直接连接到现有的机器人系统,以立即进行测试和应用程序开发,而无需等待完全集成。 - **文档和资源:**通过NVIDIA的开发人员平台访问广泛的文档,支持材料和社区论坛。### 结论NVIDIA的Jetson Agx Thor为开发高级物理AI应用(例如人形机器人机器人)提供了强大的平台。它功能强大的硬件功能与集成软件堆栈相结合,使开发人员可以构建复杂的Edge AI系统,该系统可以有效地处理实时交互,感知任务和复杂的决策过程。利用广泛的生态系统支持进一步加速了开发周期,这比以往任何时候都更容易将下一代机器人解决方案推向市场。首先,您可以购买Jetson Agx Thor开发人员套件,并从NVIDIA的官方渠道下载最新的JetPack 7软件套件。

相关讨论