AI从单个操作视频 - 神经科学新闻中教机器人任务

概括：研究人员开发了押韵，这是一种AI驱动的系统，使机器人能够通过观看单个人类演示视频来学习复杂的任务。传统机器人在不可预测的场景中挣扎，需要广泛的培训数据，但是押韵允许机器人通过绘制以前的视频知识来适应。

这种方法弥合了人类和机器人运动之间的差距，从而通过模仿实现了更加灵活和有效的学习。只有30分钟的机器人数据，配备押韵的机器人的任务成功比以前的方法高出50％以上，这标志着朝着更聪明，更有能力的机器人助手迈出的重大步骤。

关键事实：

• 一记：押韵使机器人只能从一个操作视频中学习。
• 不匹配解决方案：该系统桥接人与机器人行动之间的差异。
• 有效的培训：仅需要30分钟的机器人数据，将任务成功提高了50％。

来源：康奈尔大学

康奈尔大学的研究人员开发了一个新的机器人框架，该框架由人工智能供电，称为Rhyme（在不匹配的执行中取回混合模仿），允许机器人通过观看单个方法视频来学习任务。

机器人可以是挑剔的学习者。从历史上看，他们需要精确的，逐步的方向来完成基本任务，并倾向于在纸条置于订阅后（例如放下工具或失去螺丝钉）时退出。

研究人员说，押韵可以通过大大减少培训它们所需的时间，能量和金钱来快速追踪机器人系统的开发和部署。

与机器人一起工作的烦人的事情之一是收集有关机器人执行不同任务的大量数据。”计算机科学领域的博士生Kushal Kedia说。

这不是人类如何完成任务。我们将其他人视为灵感。

凯迪亚（Kedia）将于5月在亚特兰大的电气与电子工程师国际机器人技术和自动化国际会议上发表这篇论文，在不匹配的处决下进行一次性模仿。

家庭机器人助理还有很长的路要走，因为他们缺乏智慧，无法驾驭物理世界和无数意外事件。

为了使机器人达到速度，像吉迪亚这样的研究人员正在培训他们的操作视频中，在实验室环境中对各种任务进行了示范。

这种方法的希望是机器学习的一个称为模仿学习的分支 - 机器人将更快地学习一系列任务并能够适应现实世界的环境。

``我们的工作就像将法语翻译成英文一样。”计算机科学助理教授Sanjiban Choudhury说，我们将任何给定的任务从人类翻译为机器人。

但是，这项翻译任务仍然面临着更广泛的挑战：人类的流动性太大，无法追踪和模仿机器人，并且使用视频的训练机器人需要GOB。

此外，研究人员说，视频示范 - 拿起餐巾纸或堆叠式晚餐板必须缓慢而完美地进行，因为视频和机器人之间的任何不匹配都在历史上拼写了厄运，以供机器人学习。

乔杜里说，如果人类以与机器人的移动方式不同的方式移动，则该方法立即崩溃了。”

我们的想法是，我们能找到一种有原则的方法来应对人类和机器人如何完成任务之间的不匹配吗？”

押韵是团队的回答 - 一种可扩展的方法，它使机器人不那么挑剔，更适应性。它会增强机器人系统使用自己的内存并在执行任务时连接点，仅通过绘制它看到的视频来查看一次。

例如，配备押韵的机器人显示了一个人类从柜台获取杯子并将其放入附近水槽中的视频，将梳理其视频库，并从类似动作中汲取灵感 - 例如抓住杯子并降低餐具。

研究人员说，押韵为机器人学习多步序列的道路铺平了道路，同时显着降低了培训所需的机器人数据量。

押韵只需要30分钟的机器人数据。研究人员说，在实验室环境中，使用该系统训练的机器人与以前的方法相比，任务成功率提高了50％以上。

关于这个AI和机器人研究新闻

作者：贝卡·鲍耶（Becka Bowyer）
来源：康奈尔大学
接触：贝卡·鲍耶（Becka Bowyer）康奈尔大学
图像：图像被认为是神经科学新闻

原始研究：封闭式访问。
在执行不匹配下的一击模仿Sanjiban Choudhury等。arxiv

抽象的

在执行不匹配下的一击模仿

作为提示的人类示范是编程机器人进行长途操纵任务的有力方法。但是，将这些示范转换为机器人的可靠动作，由于运动方式和物理能力的执行不匹配而提出了重大挑战。

现有的人类机器人翻译方法要么取决于配对数据，这对于扩展而言是不可行的，要么严重依赖于帧级的视觉相似性，这些视觉相似性通常在实践中分解。

为了应对这些挑战，我们提出了押韵，这是一个新颖的框架，可以使用序列级别的最佳运输成本功能自动配对人类和机器人轨迹。

给定长马机器人的演示，押韵通过检索和组成短摩根人的人类剪辑来综合语义上的人类视频。这种方法促进了无需配对数据的有效政策培训。

与以前的方法相比，押韵在模拟和真实的人手中成功模仿了一系列跨物种示威者，无论是在模拟还是人类的手中，任务成功都超过50％。

我们发布代码和数据集 此HTTPS URL。