麻省理工学院的新型机器狗在生成人工智能的模拟中学会了行走和攀爬
作者：Edd Gent
训练人工智能模型来控制机器人时的一大挑战是收集足够的真实数据。现在，麻省理工学院的研究人员证明他们可以使用 100% 的合成数据来训练机器狗。
传统上，机器人是通过手工编码来执行特定任务的，但这种方法会导致系统脆弱，难以应对现实世界的不确定性。用现实世界的例子训练机器人的机器学习方法有望创造出更灵活的机器，但收集足够的训练数据是一个重大挑战。
一种可能的解决方法是火车机器人使用计算机模拟现实世界的一部分，这使得为他们设置新的任务或环境变得更加简单。但这种方法受到“模拟与真实差距”的困扰，这些虚拟环境仍然是现实世界的不良复制品，并且在其中学到的技能通常无法转化。
现在，麻省理工学院 CSAIL 研究人员找到了一种方法将模拟和生成人工智能结合起来，使机器人在零真实世界数据的训练下，能够解决物理世界中一系列具有挑战性的运动任务。
“机器人技术从模拟到真实的迁移的主要挑战之一是在模拟环境中实现视觉真实感，”斯坦福大学的 Shuran Song（未参与这项研究）在一份报告中说道。麻省理工学院的新闻稿。
– LucidSim 框架通过使用生成模型为任何模拟创建多样化、高度逼真的视觉数据，提供了一个优雅的解决方案。这项工作可以显着加速在虚拟环境中训练的机器人在现实世界任务中的部署。
如今用于训练机器人的领先模拟器可以真实地再现机器人可能遇到的物理情况。但它们不太擅长重建现实世界中的各种环境、纹理和照明条件。这意味着依赖视觉感知的机器人通常在控制较少的环境中举步维艰。
为了解决这个问题，麻省理工学院的研究人员使用文本到图像生成器来创建逼真的场景，并将其与流行的名为 MuJoCo 的模拟器相结合，将几何和物理数据映射到图像上。为了增加图像的多样性，该团队还使用 ChatGPT 为图像生成器创建了数千个提示，涵盖了广泛的环境。
生成这些逼真的环境图像后，研究人员使用他们开发的另一个名为“运动中的梦想”的系统，将它们从机器人的角度转换为短视频。这会计算当机器人在环境中移动时图像中的每个像素将如何移动，从而从单个图像创建多个帧。
研究人员将这个数据生成管道称为 LucidSim，并用它来训练人工智能模型，仅使用视觉输入来控制四足机器人。机器人学会了一系列运动任务，包括上下楼梯、爬箱子和追足球。
培训过程分为几个部分。首先，该团队根据专家人工智能系统生成的数据来训练他们的模型，该系统在尝试执行相同任务时可以访问详细的地形信息。这使模型对任务有足够的了解，可以根据 LucidSim 的数据进行模拟，从而生成更多数据。然后，他们根据组合数据重新训练模型，以创建最终的机器人控制策略。
尽管仅依赖视觉输入，但该方法在实际测试中的五项任务中有四项与专家人工智能系统相匹配或优于专家人工智能系统。在所有任务中，它的性能都显着优于使用“域随机化”训练的模型，“域随机化”是一种领先的模拟方法，通过对环境中的对象应用随机颜色和图案来增加数据多样性。
研究人员告诉麻省理工科技评论他们的下一个目标是利用 LucidSim 生成的纯合成数据训练人形机器人。他们还希望利用这种方法来改进机械臂在需要灵活性的任务上的训练。
鉴于对机器人训练数据的无限需求，此类可以提供高质量合成替代品的方法可能在未来几年变得越来越重要。
图片来源：麻省理工学院 CSAIL
我是一位居住在印度班加罗尔的自由科技作家。我的主要兴趣领域是工程、计算和生物学，特别关注三者之间的交叉点。
关于《麻省理工学院的新型机器狗在生成人工智能的模拟中学会了行走和攀爬》的评论
暂无评论