机器人仅通过观看视频就可以熟练地执行手术任务

2024-11-12 11:59:47 英文原文

作者:By Abhimanyu Ghoshal

人类需要多年的深入研究和稳定的双手才能进行手术,但借助当今的人工智能技术,机器人可能会更容易接受。

约翰·霍普金斯大学 (JHU) 和斯坦福大学的研究人员已经教会机器人手术系统像人类医生一样执行一系列手术任务,只需通过这些手术的视频对其进行训练即可。

该团队利用了达芬奇手术系统对于这项研究。这是一种机器人系统,通常由外科医生用手臂进行远程控制,操作仪器来完成解剖、抽吸、切割和密封血管等任务。此类系统使外科医生能够更好地控制、更精确,并能更仔细地观察手术台上的患者。最新版本是估计耗资超过200万美元,这不包括配件、消毒设备或培训。

The da Vinci surgical system at work

工作中的达芬奇手术系统

直觉的

使用称为的机器学习方法模仿学习期间,该团队训练了达芬奇手术系统,使其能够自行执行外科手术中涉及的三项任务:操纵针、提起身体组织和缝合。看看吧。

手术机器人 Transformer 演示

外科手术系统不仅能像人类一样执行这些操作,它还学会纠正自己的错误。“就像它掉下针一样,它会自动捡起并继续。这不是我教它做的事情,”约翰霍普金斯大学助理教授阿克塞尔·克里格(Axel Krieger)说,他是该书的合著者。一张纸该团队在本周的机器人学习会议上发表的研究结果。

研究人员通过将模仿学习与构建 ChatGPT 等流行聊天机器人所使用的机器学习架构相结合来训练人工智能模型。然而,虽然这些聊天机器人被设计为处理文本,但该模型会输出运动学(一种用于用数字和方程等数学元素描述运动的语言)来指导手术系统的手臂。

Robotic surgical systems involve a human surgeon to guide every step, while enabling greater precision

机器人手术系统需要一名人类外科医生来指导每一步,同时实现更高的精度

直觉的

该模型使用外科手术期间放置在达芬奇机器人手臂上的腕式摄像机记录的数百个视频进行训练。

该团队相信,其模型可以训练机器人快速执行任何类型的外科手术,并且比手动编码指导手术机器人动作所需的每一步的传统方法容易得多。

'Wrist' cameras attached to the arms of the robot surgical system capture footage to help train the AI model

连接到机器人手术系统手臂上的“手腕”相机捕捉镜头以帮助训练人工智能模型

约翰霍普金斯大学/斯坦福大学

克里格表示,这可能有助于让自动化手术比我们之前想象的更早成为现实。“这里的新鲜之处在于,我们只需要收集不同程序的模仿学习,我们就可以训练机器人在几天内学习它,”他说。“它使我们能够加速实现自主目标,同时减少医疗错误并实现更准确的手术。”

这可能是近年来机器人辅助手术领域最大的突破之一。有一些自动化设备可用于复杂的操作,例如Corindus 的 CorPath 心血管手术系统。然而,他们的能力通常仅限于他们所帮助的手术的某些步骤。

此外,克里格指出,为机器人系统编写每个步骤可能会非常慢。“有人可能会花十年时间尝试模拟缝合,”他说。“这只是一种手术的缝合。”

克里格此前还研究过一种不同的方法来自动化手术任务。2022 年,他的研究团队开发了智能组织自主机器人,或 STAR,在 JHU。在基于结构光的三维内窥镜和基于机器学习的跟踪算法的引导下,机器人将猪肠的两端复杂地缝合在一起,无需人工干预。

约翰霍普金斯大学的研究人员目前正致力于用模仿学习方法训练机器人来进行完整的手术。我们可能还需要数年时间才能看到机器人完全取代外科医生,但像这样的创新可以使复杂的治疗更安全,让全球患者更容易获得。

来源:约翰霍普金斯大学

关于《机器人仅通过观看视频就可以熟练地执行手术任务》的评论


暂无评论

发表评论

摘要

约翰·霍普金斯大学和斯坦福大学的研究人员开发了一种人工智能驱动的手术机器人,可以执行针操作、组织提升和缝合等任务,其熟练程度可与人类外科医生相媲美。使用模仿学习和先进的机器学习技术,机器人接受了达芬奇手术系统(一种广泛使用的机器人手术平台)进行的手术视频的训练。新方法可以显着加快手术机器人的训练过程,从而有可能在不久的将来使全自动手术变得更加可行。