使用AI，研究人员设计了一种快速而精确的方法来教机器人复杂的技能

在加州大学伯克利分校，谢尔盖·莱文（Sergey Levine）的机器人AI和学习实验室的研究人员注视着一张桌子，一张39个Jenga街区的塔完美地堆积了。然后是一个白色和黑色的机器人，它的肢体像驼背的长颈鹿一样翻了一番，朝塔缩放，挥舞着黑色皮革鞭子。

通过像物理奇迹一样，通过随便的观众看来的东西，鞭子恰好在正确的位置撞到了从堆栈中飞出的一个块，而塔楼的其余部分保持结构上。

这项任务被称为“ Jenga Whipping”，是具有敏捷和反射以实现这一目标的人们追求的爱好。现在，它已经由机器人掌握，这要归功于一种小说，AI驱动的训练方法。

通过从人类的示威和反馈中学习以及其自己的现实世界尝试，该培训协议教会了机器人如何以100％的成功率执行复杂的任务，例如Jenga鞭打。

更重要的是，机器人以令人印象深刻的速度教授，使他们能够在一到两个小时内学习如何完美地组装计算机主板，建造一个架子等。

在AI的推动下，机器人学习领域试图面临如何教授无法预测或复杂的机器活动的挑战，而不是单个动作，例如反复从传送带上的特定位置捡起一个物体。为了解决这一难题，莱文的实验室对所谓的“强化学习。”

博士后研究员江兰·卢（Jianlan Luo）解释说，在加强学习中，机器人尝试在现实世界中执行任务，并使用相机的反馈从错误中学习，以最终掌握该技能。当团队时首先宣布Luo在2024年初使用这种方法的新软件套件说，他们很高兴其他人可以自行使用开源软件快速复制自己的成功。

今年秋天，Levine，Luo，Charles Xu，Zheyuan Hu和Jeffrey Wu的研究团队发行了技术报告关于它的最新系统，它是jenga鞭打的一个系统。这种新的和改良的版本在人类干预中添加。发现也是出版在arxiv预印服务器。

通过控制机器人的特殊鼠标，人可以纠正机器人的路线，这些更正可以纳入机器人的谚语记忆库中。该机器人使用称为增强学习的AI方法，分析了其所有尝试协助和无助，成功和失败的尝试的总和，以更好地执行其任务。

罗说，随着机器人从经验中学到的，人类需要越来越少地干预。他说：“我需要以最初的30％或其他东西来照顾机器人，然后逐渐地我可以减少关注。”

该实验室将其机器人系统置于Jenga鞭打之外的复杂任务的手套中。机器人在锅中翻转一个鸡蛋。将一个物体从一个手臂传递给另一只手臂；并组装了主板，汽车仪表板和正时皮带。研究人员之所以选择这些挑战，是因为它们变化了，用Luo的话来说，“在复杂的现实世界中执行机器人任务时，各种不确定性”。

正时皮带任务在难度方面脱颖而出。每当机器人与正时皮带相互作用时，想象在两个钉子上操纵软盘项链链时，就需要预测和对这种变化做出反应。

Jenga鞭打构成了另一种挑战。它涉及难以建模的物理学，因此仅使用模拟训练机器人的效率较低。现实世界的经验至关重要。

研究人员还通过分期不幸测试了机器人的适应性。他们会强迫抓手打开，因此当机器人试图安装微芯片时，它掉下了一个物体或移动主板，训练它以应对可能在实验室环境外遇到的变化情况。

到培训结束时，机器人可以在100％的时间内正确执行这些任务。研究人员将其结果与一种称为行为克隆的常见“复制我的行为”方法进行了比较，该方法接受了相同数量的示范数据训练。他们的新系统使机器人更快，更准确。

卢说，这些指标至关重要，因为机器人能力的标准非常高。普通的消费者和工业家都不想购买不一致的机器人。罗强调，尤其是“按订单”制造工艺，例如经常用于电子，汽车和航空航天零件的制造过程，可以从可以可靠，可适应地学习一系列任务的机器人中受益。

Luo说：“机器人第一次征服了Jenga鞭打挑战，” Luo说。“对于大多数人来说，jenga的任务非常困难。我手里鞭打了它；我的成功率是0％。”他补充说，即使在与熟练的人类的jenga鞭子上堆叠在一起时，机器人也可能胜过人类，因为它没有最终会疲倦的肌肉。

莱文实验室的新学习系统是机器人创新中更广泛趋势的一部分。在过去的两年中，由行业投资和人工智能推动的较大领域的飞跃和界限已转移，这为工程师提供了涡轮增压工具，以分析机器人可能正在观察的性能数据或图像输入。伯克利教授和研究人员是这项创新中这项高涨的一部分。

莱文（Levine）共同创立了机器人公司体力情报（PI），该公司目前的价值为20亿美元，因为它可以创建可以适用于各种机器人的软件。

2018年，肯·戈德堡（Ken Goldberg）教授和其他伯克利研究人员成立了AMBI机器人技术。该公司创建通过AI模拟培训的机器人，该机器人将包裹掌握在不同的容器中，使其对电子商务企业必不可少。

伯克利人工智能研究实验室主任Pieter Abbeel共同创建了AI Robotics Startup Covariant，其模型和大脑信任是去年被亚马逊邀请的。机械工程教授Homayoon Kazerooni创立了公开交易的公司Ekso Bionics，该公司使机器人“外骨骼”供行动不便的人使用。

至于Luo的研究，他很高兴看到他的团队和其他研究人员可以在哪里推动它。他说，下一步将是通过基本的对象操纵功能预先培训系统，从而消除了从头开始学习这些系统的需求，而是直接进步以获得更复杂的技能。该实验室还选择进行研究开源，以便其他研究人员可以使用并在其基础上进行构建。

Luo说：“该项目的关键目标是使该技术像iPhone一样可访问且用户友好。”“我坚信，可以使用它的人越多，我们就能产生的影响越大。”

更多信息：Jianlan Luo等人，通过人类在循环增强学习的精确和灵巧的机器人操作，arxiv（2024）。doi：10.48550/arxiv.2410.21845