Gen AI 模型不仅适合创建图片，还可以进行微调以生成有用的机器人训练数据。
生成式人工智能模型可以在几秒钟内根据提示生成图像，它们最近被用于各种用途，从突出自己固有的偏见到保存珍贵的记忆。
现在，斯蒂芬·詹姆斯机器人学习实验室的研究人员伦敦的一家公司正在将图像生成人工智能模型用于一个新目的：为机器人创建训练数据。他们开发了一种名为 Genima 的新系统，可以对图像生成 AI 模型稳定扩散进行微调以绘制机器人运动，从而帮助指导它们在模拟和现实世界中的运动。该研究将于下个月在机器人学习会议 (CoRL) 上公布。
该系统可以更轻松地训练不同类型的机器人来完成从机械臂到人形机器人和无人驾驶等任务的机器汽车。参与该项目的专门从事机器人操作的研究科学家莫希特·施里达尔 (Mohit Shridhar) 表示，它还可以帮助制造人工智能网络代理，这是下一代人工智能工具，可以在很少监督的情况下执行复杂的任务，更好地滚动和点击。/p>
你可以使用图像生成系统来完成机器人技术中几乎所有可以做的事情，他说。我们想看看是否可以将扩散中发生的所有这些令人惊奇的事情用于解决机器人问题。
为了教机器人完成任务，研究人员通常在图像上训练神经网络机器人前面是什么。然后网络以不同的格式输出输出，例如前进所需的坐标。
Genimas 的方法有所不同，因为它的输入和输出都是图像，这更容易让机器学习，伦敦帝国理工学院的博士生 Ivan Kapelyukh 说道，他专门研究机器人学习，但没有参与这项研究。
它对用户来说也非常好，因为你可以看到你的机器人将移动到哪里以及它将做什么。他说，这使得它更容易解释，并且意味着如果你真的要部署它，你可以在你的机器人穿过墙壁或其他东西之前看到。
Genima 通过利用稳定扩散能力来工作识别模式（例如，知道杯子是什么样子，因为它接受过杯子图像的训练），然后将模型转变为一种代理决策系统。
首先，研究人员精细-调整稳定的扩散，让它们将机器人传感器的数据叠加到摄像头捕获的图像上。
系统将所需的动作（例如打开盒子、挂围巾或拿起笔记本）渲染成图像顶部的一系列彩色球体。这些球体告诉机器人其关节在未来一秒应该移动到哪里。
该过程的第二部分将这些球体转换为动作。该团队通过使用另一个名为 ACT 的神经网络实现了这一目标，该网络映射到相同的数据上。然后，他们使用 Genima 机器人手臂完成了 25 次模拟和 9 次现实世界的操纵任务。平均成功率分别为 50% 和 64%。
尽管这些成功率并不是特别高，但 Shridhar 和团队乐观地认为机器人的速度和准确性可以提高。他们对将 Genima 应用于视频生成人工智能模型特别感兴趣，这可以帮助机器人预测一系列未来动作，而不仅仅是一个。
这项研究对于训练家庭机器人叠衣服特别有用，关闭抽屉和其他家务活。然而，它的通用方法意味着它不限于特定类型的机器，华盛顿大学的博士生 Zoey Chen 说，她之前也使用稳定扩散来生成机器人的训练数据，但没有参与这项研究。
这是一个非常令人兴奋的新方向，她说。我认为这可以成为为各种机器人训练数据的通用方法。
发生了一些奇怪且有点出乎意料的事情：人们开始与人工智能系统建立关系。
人工智能伴侣的吸引力在于难以抗拒。这就是监管创新如何帮助保护人们。
它能够利用大量数据来改进其比赛风格并根据比赛的进展调整战术。
发现特别优惠、热门故事、即将举行的活动等等。