经过
已发表
2024 年 11 月 11 日
机器人首次通过观看经验丰富的外科医生视频进行训练，能够像人类医生一样熟练地执行相同的外科手术。
成功使用模仿学习来训练手术机器人，无需对医疗手术过程中所需的每个单独动作进行编程，并使机器人手术领域更接近真正的自主性，即机器人可以在没有人类帮助的情况下执行复杂的手术。
由约翰·霍普金斯大学研究人员领导的研究结果本周在机器人学习会议在慕尼黑举办的机器人和机器学习顶级盛会。
“拥有这个模型真的很神奇，我们所做的就是向它提供摄像头输入，它可以预测手术所需的机器人动作，”资深作者说阿克塞尔·克里格，JHU 助理教授机械工程系。“我们相信这标志着医疗机器人技术向新领域迈出了重要一步。”
视频信用：约翰·霍普金斯大学
该团队包括斯坦福大学的研究人员，利用模仿学习来训练达芬奇手术系统机器人执行外科手术所需的三项基本任务：操纵针、提起身体组织和缝合。在每种情况下，接受团队模型训练的机器人都像人类医生一样熟练地执行相同的外科手术。
该模型将模仿学习与支持 ChatGPT 的相同机器学习架构相结合。然而，ChatGPT 处理的是单词和文本，而该模型则用运动学来与“机器人”对话，运动学是一种将机器人运动角度分解为数学的语言。
研究人员向他们的模型输入了数百个在手术过程中由戴在达芬奇机器人手臂上的腕式摄像机录制的视频。这些视频由世界各地的外科医生录制，用于术后分析，然后存档。全球有近 7,000 台达芬奇机器人在使用，超过 50,000 名外科医生接受了该系统的培训，为机器人“模仿”创建了大量数据档案。
虽然达芬奇系统被广泛使用，但研究人员表示，它的不精确性是出了名的。但团队找到了一种方法来使有缺陷的输入发挥作用。关键是训练模型执行相对运动而不是绝对动作，这是不准确的。
“我们所需要的只是图像输入，然后这个人工智能系统就会找到正确的行动，”主要作者、约翰·霍普金斯大学博士后研究员 Ji Woong “Brian” Kim 说。“我们发现，即使进行了数百个演示，该模型也能够学习该过程并概括它未遇到的新环境。”
“我们相信这标志着医疗机器人技术向新领域迈出了重要一步。”
阿克塞尔·克里格
机械工程系助理教授
克里格补充道：“这个模型非常擅长学习我们没有教过的东西。就像如果它掉了针，它会自动捡起来并继续。这不是我教它做的事情。”
研究人员表示，该模型可用于快速训练机器人执行任何类型的外科手术。该团队现在正在使用模仿学习来训练机器人不仅执行小型手术任务，而且执行完整的手术。
在此进步之前，对机器人进行编程以执行即使是手术的一个简单方面也需要对每个步骤进行手动编码。克里格说，有人可能会花十年时间尝试模拟缝合。这只是一种手术的缝合。
“这非常有限，”克里格说。“这里的新鲜之处在于，我们只需要收集不同手术的模仿学习，我们就可以训练机器人在几天内学习它。它使我们能够加速实现自主目标，同时减少医疗错误并实现更准确的手术”。
约翰·霍普金斯大学的作者包括博士生 Samuel Schmidgall；副研究工程师 Anton Deguet；机械工程副教授 Marin Kobilarov。斯坦福大学的作者是博士生托尼·赵和助理教授切尔西·芬恩。