通过视频训练的机器人：自主手术的飞跃 - Neuroscience News

概括：首次通过观看专家外科医生的视频来训练机器人执行外科手术，标志着机器人手术的飞跃。“模仿学习”的这一突破意味着机器人可以学习复杂的任务，而无需为每个单独的动作进行编程。

通过对手术录像进行训练，机器人以与人类外科医生相当的技能复制了手术程序，展示了其自主适应甚至纠正其行为的能力。研究人员相信，这种方法可以为机器人提供更快、更准确的手术训练，为未来完全自主的手术打开大门。

该技术使用与语言模型相同的基本人工智能原理，但采用它们来控制机器人运动。这项研究可以改变外科领域，减少医疗错误并提高精确度。

主要事实：

• 通过视频模仿训练的机器人可以像人类外科医生一样有效地进行手术。
• 这种人工智能方法加速了机器人手术的培训，实现更快、适应性更强的学习。
• 该模型使用与 ChatGPT 类似的机器学习，但采用机器人运动学的“语言”。

来源：约翰霍普金斯大学医学

机器人首次通过观看经验丰富的外科医生的视频进行训练，能够像人类医生一样熟练地执行相同的外科手术。

成功使用模仿学习来训练手术机器人，无需对医疗手术过程中所需的每个单独动作进行编程，并使机器人手术领域更接近真正的自主性，即机器人可以在没有人类帮助的情况下执行复杂的手术。

“拥有这个模型真的很神奇，我们所做的就是向它提供摄像头输入，它就可以预测手术所需的机器人动作，”资深作者 Axel Krieger 说。“我们相信这标志着医疗机器人技术向新领域迈出了重要一步。”

由约翰霍普金斯大学研究人员领导的研究结果本周在慕尼黑机器人学习会议上受到关注，这是机器人和机器学习的顶级活动。

该团队包括斯坦福大学的研究人员，利用模仿学习来训练达芬奇手术系统机器人执行基本的外科手术：操纵针；提起身体组织并缝合。

该模型将模仿学习与支持 ChatGPT 的相同机器学习架构相结合。然而，ChatGPT 处理的是单词和文本，而该模型则用运动学来与“机器人”对话，运动学是一种将机器人运动角度分解为数学的语言。

研究人员向他们的模型输入了数百个在手术过程中由戴在达芬奇机器人手臂上的腕式摄像机录制的视频。这些视频由世界各地的外科医生录制，用于术后分析，然后存档。

全球有近 7,000 台达芬奇机器人在使用，超过 50,000 名外科医生接受了该系统的培训，为机器人创建了大量数据以供“模仿”。

尽管达芬奇系统被广泛使用，但研究人员表示，它的不精确性是出了名的。但团队找到了一种方法来使有缺陷的输入发挥作用。关键是训练模型执行相对运动而不是绝对动作，这是不准确的。

“我们所需要的只是图像输入，然后这个人工智能系统就会找到正确的动作，”主要作者 Ji Woong – Brian Kim 说。

“我们发现，即使进行了数百次演示，该模型也能够学习该过程并概括它尚未遇到的新环境。”

该团队训练机器人执行三项任务：操纵针、提起身体组织和缝合。在每种情况下，经过团队模型训练的机器人都像人类医生一样熟练地执行了相同的外科手术。

“这个模型非常适合学习我们没有教过的东西，”克里格说。– 就像如果针掉了，它会自动捡起来并继续。这不是我教它做的事情。”

研究人员表示，该模型可用于快速训练机器人执行任何类型的外科手术。该团队现在正在使用模仿学习来训练机器人不仅执行小型手术任务，而且执行完整的手术。

在此进步之前，对机器人进行编程以执行即使是手术的一个简单方面也需要对每个步骤进行手动编码。克里格说，有人可能会花十年时间尝试模拟缝合。这只是一种手术的缝合。

“这非常有限，”克里格说。– 这里的新之处在于我们只需要收集不同程序的模仿学习，并且我们可以训练机器人在几天内学习它。它使我们能够加速实现自主目标，同时减少医疗失误并实现更准确的手术。”

约翰·霍普金斯大学的作者包括博士生 Samuel Schmidgall；副研究工程师 Anton Deguet；机械工程副教授 Marin Kobilarov。作者是斯坦福大学博士生托尼·赵。

关于机器人和人工智能研究新闻

作者：吉尔·罗森
来源：约翰霍普金斯大学
接触：吉尔·罗森 — JHU
图像：该图像来自《神经科学新闻》

原创研究：研究结果将在机器人学习会议上公布