加入我们的每日和每周时事通讯，了解有关行业领先人工智能报道的最新更新和独家内容。了解更多
机器人初创公司 1X Technologies 开发了一种新的生成模型，可以提高模拟训练机器人系统的效率。该公司在一篇新博客文章中宣布的该模型解决了机器人技术的一个重要挑战，即学习可以预测世界如何响应机器人动作而变化的世界模型。
鉴于直接在物理环境中训练机器人的成本和风险，机器人专家通常使用模拟环境来训练他们的控制模型，然后再将其部署到现实世界中。然而，模拟和物理环境之间的差异带来了挑战。
机器人专家通常会手工创作现实世界的数字孪生场景，并使用 Mujoco、Bullet、Isaac 等刚体模拟器来模拟他们的动作。1X Technologies 人工智能副总裁 Eric Jang 告诉 VentureBeat。然而，数字孪生可能存在物理和几何误差，导致在一种环境上进行训练并在不同的环境上进行部署，从而导致 sim2real 差距。例如，您从互联网下载的门模型的手柄弹簧刚度不太可能与您测试机器人的实际门相同。
为了弥补这一差距，1X 的新模型通过直接从机器人收集的原始传感器数据进行训练来学习模拟现实世界。通过查看从公司自己的机器人收集的数千小时的视频和执行器数据，该模型可以了解当前对世界的观察，并预测如果机器人采取某些行动将会发生什么。
这些数据是从 EVE 人形机器人在家庭和办公室执行各种移动操作任务以及与人互动时收集的数据。
我们在各个 1X 办公室收集了所有数据，并拥有一支 Android 操作员团队，帮助注释和张说，过滤数据。通过直接从真实数据学习模拟器，随着交互数据量的增加，动态应该更接近现实世界。
学习的世界模型对于模拟对象交互特别有用。该公司分享的视频显示，该模型成功预测了机器人抓取盒子的视频序列。根据 1X 的说法，该模型还可以预测重要的对象交互，例如刚体、掉落对象的影响、部分可观察性、可变形对象（窗帘、衣物）和铰接对象（门、抽屉、窗帘、椅子）。
一些视频展示了使用可变形物体（例如折叠衬衫）模拟复杂的长视野任务的模型。该模型还模拟环境的动态，例如如何避开障碍物并与人保持安全距离。
环境的变化仍将是一个挑战。与所有模拟器一样，随着机器人运行环境的变化，生成模型也需要更新。研究人员认为，模型学习模拟世界的方式将使其更容易更新。
如果训练数据过时，生成模型本身可能会存在 sim2real 差距，Jang 说。但其想法是，由于它是一个完全学习的模拟器，因此从现实世界输入新数据将修复模型，而无需手动调整物理模拟器。
1X 的新系统受到 OpenAI 等创新的启发Sora 和 Runway 已经表明，通过正确的训练数据和技术，生成模型可以学习某种世界模型并随着时间的推移保持一致。
但是，虽然这些模型旨在从文本生成视频, 1X 的新模型是生成系统趋势的一部分，可以对生成阶段的操作做出反应。例如，谷歌的研究人员最近使用类似的技术来训练可以模拟游戏《DOOM》的生成模型。交互式生成模型可以为训练机器人控制模型和强化学习系统开辟多种可能性。
但是，生成模型固有的一些挑战在 1X 提出的系统中仍然很明显。由于该模型不是由明确定义的世界模拟器提供支持，因此有时会生成不切实际的情况。在 1X 分享的示例中，模型有时无法预测物体如果悬在空中就会掉落。在其他情况下，对象可能会从一帧到另一帧消失。应对这些挑战仍然需要付出巨大的努力。
解决方案之一是继续收集更多数据并训练更好的模型。Jang 说，过去几年来，我们看到生成视频建模方面取得了巨大进展，OpenAI Sora 等结果表明，扩展数据和计算可以走得更远。
与此同时，1X 正在鼓励社区通过发布其模型和权重来参与这项工作。该公司还将举办竞赛来改进模型，获胜者将获得金钱奖励。
Jang 说，我们正在积极研究多种世界建模和视频生成方法。