NVIDIA 宣布推出 Alpamayo 系列开源 AI 模型和工具,以加速基于推理的安全自动驾驶汽车开发
新闻摘要:
- NVIDIA率先发布开放推理VLA模型,旨在应对长尾自动驾驶挑战;NVIDIA Alpamayo 系列还包括用于 AV 开发的模拟工具和数据集。
- Alpamayo 1、AlpaSim 和物理 AI 开放数据集支持开发能够以类人判断来感知、推理和行动的车辆,使开发人员能够微调、提炼和测试模型,从而实现更高的安全性、稳健性和可扩展性。
- 借助 Alpamayo,JLR、Lucid 和 Uber 等出行领导者以及 Berkeley DeepDrive 等自动驾驶研究社区可以快速跟踪安全、基于推理的 4 级部署路线图。
�
CES·NVIDIA 今天推出了NVIDIA阿尔帕马约系列开放人工智能模型、模拟工具和数据集,旨在加速下一个安全、基于推理的自动驾驶汽车 (AV) 开发时代。
自动驾驶汽车必须在各种驾驶条件下安全运行。罕见、复杂的场景(通常被称为“长尾”)仍然是自主系统安全应对的一些最艰巨的挑战。传统的自动驾驶架构将感知和规划分开,这会在出现新的或异常情况时限制可扩展性。端到端学习的最新进展取得了重大进展,但克服这些长尾边缘情况需要模型能够安全地推理因果关系,特别是当情况超出模型的训练经验时。
Alpamayo 家族引入了基于推理的思维链视觉语言动作(VLA)模型为自动驾驶决策带来类人思维。这些系统可以逐步思考新颖或罕见的场景,提高驾驶能力和可解释性——这对于扩大智能车辆的信任和安全性至关重要——并且以NVIDIA 光环安全系统。
NVIDIA 创始人兼首席执行官黄仁勋表示,“物理 AI 的 ChatGPT 时刻已经到来,机器开始在现实世界中理解、推理和行动。”– 机器人出租车是最先受益的。Alpamayo 为自动驾驶汽车带来了推理能力,使它们能够思考罕见的场景,在复杂的环境中安全驾驶并解释他们的驾驶决策——这是安全、可扩展的自动驾驶的基础。
完整、开放的推理生态系统——基于自治
Alpamayo 将三个基本支柱(开放模型、仿真框架和数据集)集成到一个有凝聚力的开放生态系统中,任何汽车开发人员或研究团队都可以在此基础上进行构建。
Alpamayo 模型不是直接在车辆中运行,而是作为大型教师模型,开发人员可以对其进行微调并提炼到完整 AV 堆栈的骨干中。
在 CES 上,NVIDIA 发布了:
- 阿尔帕马约 1:业界第一个专为 AV 研究社区设计的思想链推理 VLA 模型,现已推出抱脸。Alpamayo 1 拥有 100 亿参数架构,使用视频输入生成轨迹和推理轨迹,显示每个决策背后的逻辑。开发人员可以将 Alpamayo 1 改编成更小的运行时模型以进行车辆开发,或者将其用作 AV 开发工具(例如基于推理的评估器和自动标记系统)的基础。Alpamayo 1 提供开放模型权重和开源推理脚本。该系列的未来模型将具有更大的参数数量、更详细的推理能力、更多的输入和输出灵活性以及商业用途的选项。
- 阿尔帕模拟:用于高保真 AV 开发的完全开源的端到端仿真框架,可在GitHub。它提供真实的传感器建模、可配置的流量动态和可扩展的闭环测试环境,从而实现快速验证和策略细化。
- 物理人工智能开放数据集:NVIDIA 为 AV 提供最多样化的大规模开放数据集,其中包含在最广泛的地理位置和条件下收集的 1,700 多个小时的驾驶数据,涵盖对于推进推理架构至关重要的罕见且复杂的现实世界边缘情况。这些数据集可在抱脸。
�
这些工具共同为基于推理的 AV 堆栈实现了自我强化的开发循环。
广泛的视听行业支持 Alpamayo
包括 Lucid、JLR、Uber 和 Berkeley DeepDrive 在内的移动领导者和行业专家都对 Alpamayo 表现出兴趣,以开发基于推理的 AV 堆栈,以实现 4 级自治。
Lucid Motors 的 ADAS 和自动驾驶副总裁 Kai Stepper 表示,“向物理 AI 的转变凸显了对能够推理现实世界行为而不仅仅是处理数据的 AI 系统的需求不断增长。”– 先进的模拟环境、丰富的数据集和推理模型是进化的重要元素。 –
“开放、透明的人工智能开发对于负责任地推进自动驾驶出行至关重要,”捷豹路虎产品工程执行总监 Thomas Müller 表示。– 通过 Alpamayo 等开源模型,NVIDIA 正在帮助加速整个自动驾驶生态系统的创新,为开发人员和研究人员提供新工具来安全地处理复杂的现实场景。 –
“处理长尾和不可预测的驾驶场景是自动驾驶的决定性挑战之一,”Uber 自动驾驶移动和交付全球主管 Sarfraz Maredia 表示。–Alpamayo 为行业创造了令人兴奋的新机遇,以加速物理 AI、提高透明度并增强安全 4 级部署。 –
“Alpamayo 1 使车辆能够解释复杂的环境、预测新的情况并做出安全的决策,即使是在以前没有遇到过的情况下,”S&P Global 高级首席分析师 Owen Chen 表示。– 该模型的开源性质加速了全行业的创新,使合作伙伴能够根据自己的独特需求调整和完善技术。 –
“Alpamayo 产品组合的推出代表了研究界的重大飞跃,”伯克利 DeepDrive 联合主任 Wei Zhan 表示。“NVIDIA 决定公开这项技术具有变革性意义,因为它的访问权限和功能将使我们能够进行前所未有的大规模培训,从而为我们提供推动自动驾驶成为主流所需的灵活性和资源。”
除了 Alpamayo 之外,开发人员还可以利用 NVIDIA 丰富的工具和模型库,包括来自英伟达宇宙§ 和NVIDIA Omniverse⑤ 平台。开发人员可以根据专有车队数据微调模型版本,将其集成到使用 NVIDIA DRIVE AGX Thor™ 加速计算构建的 NVIDIA DRIVE Hyperion™ 架构中,并在商业部署之前验证模拟性能。
通过观看了解更多NVIDIA 现场直播 CES。