在快速发展的人工智能领域，开发能够准确模拟和预测物理现实环境中结果的模型以支持下一代物理人工智能系统变得越来越重要。
NVIDIA 研究副总裁、IEEE 院士 Ming-Yu Liu 加入了 NVIDIA AI 播客，讨论了世界基础模型(WFM) – 可以模拟物理环境的强大神经网络。WFM 可以从文本或图像输入数据生成详细的视频，并通过将当前状态（图像或视频）与动作（例如提示或控制信号）相结合来预测场景如何演变。
“世界基础模型对于物理人工智能开发人员来说非常重要，”刘说。“他们可以想象许多不同的环境，并且可以模拟未来，因此我们可以根据这种模拟做出正确的决策。”
这对于物理人工智能机器人和自动驾驶汽车等系统必须与现实世界安全有效地交互。
为什么世界基础模型很重要？
构建世界模型通常需要大量数据，收集这些数据既困难又昂贵。WFM 可以生成综合数据，提供丰富多样的数据集来增强训练过程。
此外，在现实世界中训练和测试物理人工智能系统可能会占用大量资源。WFM 提供虚拟 3D 环境，开发人员可以在受控环境中模拟和测试这些系统，而无需承担与现实世界试验相关的风险和成本。
世界基金会模型的开放获取
在 CES 贸易展上，NVIDIA 宣布英伟达宇宙，一个生成 WFM 平台，可加速机器人和自动驾驶汽车等物理人工智能系统的开发。
该平台的设计目的是开放且可访问，并包括预训练的基于扩散和自回归架构的 WFM，以及可以将视频压缩为标记的标记器变压器型号。
刘解释说，通过这些开放模式，企业和开发者拥有了他们所需的一切要素。建立大型模型。该开放平台还为团队提供了灵活性，可以探索各种培训和微调模型的选项，或根据特定需求构建自己的模型。
增强跨行业的人工智能工作流程
WFM 有望增强各行业的人工智能工作流程和开发。刘认为两个领域的影响尤其重大：
“自动驾驶汽车行业和人形[机器人]行业将从世界模型的开发中受益匪浅，”刘说。–[WFM] 可以模拟现实世界中难以实现的不同环境，以确保代理的行为分别。 –
为了自动驾驶汽车，这些模型可以模拟允许全面测试和优化的环境。例如，自动驾驶汽车可以在各种模拟天气条件和交通场景中进行测试，以帮助确保其在道路上部署之前安全高效地运行。
在机器人技术WFM 可以模拟和验证机器人系统在不同环境中的行为，以确保它们在部署之前安全高效地执行任务。
NVIDIA 正在与 1X、火币和小鹏等公司合作，帮助解决物理 AI 开发中的挑战并改进他们的系统。
“我们仍处于世界基础模型开发的起步阶段，它很有用，但我们需要让它变得更有用，”刘说。“我们还需要研究如何最好地将这些世界模型整合到物理人工智能系统中，从而真正使它们受益。”
收听刘明宇的播客，或者阅读文字记录。
观看有关 NVIDIA Cosmos 以及生成式 AI 和机器人技术的最新公告的更多信息NVIDIA 创始人兼首席执行官黄仁勋 (Jensen Huang) 发表 CES 开幕主题演讲，以及加入展会上的 NVIDIA 会议。