在去医院接受手术之前,患者常常有很多问题想要了解,并且往往会感到非常紧张。
为了帮助减少术前的紧张情绪,NVIDIA和德勤正在开发使用NVIDIA人工智能技术的AI代理,将下一代数字、前线队友引入患者在踏入医院之前。
这些虚拟队友可以与患者进行自然、类似人类的对话,回答各种问题,并在医院预约前提供支持和指导。
这个演示展示了一个虚拟代表的实际操作,回答患者的问题:
与NVIDIA合作,德勤开发了Frontline AI Teammate,用于医院等环境中使用。数字助手可以进行实用对话——任何语言——为最终用户提供即时答案,例如为医院患者解答紧迫问题。
由以下技术驱动: NVIDIA人工智能企业软件平台前线AI队友包括 avatar、生成式AI和大型语言模型。
“基于Avatar的对话式人工智能代理为解决我们医疗系统在数字化过程中面临的生产力悖论提供了巨大的机会,”德勤加拿大合伙人尼拉吉·达尔米亚表示。“这可能是减轻行政负担、补充我们的医疗人力资源以释放容量,并帮助解决患者体验挑战的互补性创新。”
下一代技术驱动的数字人类
数字人可以提供逼真的互动,从而增强医生和患者的经验。
开发人员可以利用NVIDIA NIM微服务,这些微服务简化了开发AI驱动的应用程序并将AI模型投入生产的过程,用于为医疗行业的应用程序打造数字人类。NIM包括一个易于适应的NIM 代理蓝图开发人员可以使用它来创建互动的、基于AI的头像,这些头像非常适合远程医疗——以及NVIDIA NeMo 检索器一个行业领先的嵌入式、检索和重新排序模型,能够基于最新的医疗数据快速响应。
可定制的数字人——像詹姆斯由NVIDIA开发的一个互动演示程序可以处理诸如安排预约、填写登记表和回答关于即将提供的医疗服务的问题等任务。这可以使医疗保健服务更加高效,并且更易于患者访问。
除了NIM微服务之外,James还使用了NVIDIA ACE以及ElevenLabs数字人技术提供自然、低延迟的响应。
NVIDIA ACE是一款结合了人工智能、图形和模拟技术的套件,用于创造活灵活现的数字人类。它可以将数字人的各个方面集成到医疗应用中——从能够理解各种口音和语言的语音和翻译能力,到面部和身体动作的真实动画表现。
德勤的一线AI队友,由NVIDIA AI Enterprise平台提供支持,并基于德勤的对话式人工智能框架构建,旨在为医疗环境中的人机交互体验提供服务。开发于 NVIDIA Omniverse在平台上,德勤的真实感虚拟人物能够回答与医疗交付密切相关的重要且特定领域的复杂问题。
头像使用了NVIDIA Riva为了实现流利的多语言沟通,确保不会因为语言障碍而遗漏任何患者。它还配备了NeMo Megatron-Turing 530B大型语言模型,能够准确理解并处理患者数据。这些先进的功能可以使临床访问不再那么令人畏惧,特别是对于那些可能对医疗环境感到不安的患者来说。
个性化医院患者体验
患者可能会因为术前信息量过大而感到不知所措。通常,他们只有一次术前预约,在手术的许多周之前进行,这可能让他们留下一些未解决的问题和日益增长的担忧。严重的诊断压力可能导致他们在这些简短的互动中无法问出所有必要的问题。
这可能导致患者在术前预约时准备不足,不了解预约的目的、持续时间、地点和所需文件,从而可能导致手术延误甚至重新安排手术日期。
为了增强患者的准备并减少术前焦虑,渥太华医院正在使用由NVIDIA和德勤技术提供支持的AI代理,以提供更一致、准确和持续的信息访问。
有了数字同事,患者可以体验到的好处包括:
- 全天候使用智能手机、平板电脑或家用计算机访问数字同事。
- 可靠的、预先批准的答案来回答详细的问题,包括与麻醉或程序本身相关的信息。
- 术后咨询以解决关于康复过程中的任何问题,有可能提高治疗依从性和健康结局。
在今年夏天进行的数字队友用户验收测试中,大多数测试者注意到提供的回复清晰、相关,并且满足了给定交互的需求。
“前线AI队友提供了一种新颖且创新的解决方案,有助于解决我们的卫生人力资源危机——它有可能减轻行政负担,让医疗服务提供商有更多时间来提供我们社区期望和应得的高质量护理。”数字体验负责人马修·勒布朗(Mathieu LeBreton)表示,“鉴于渥太华新校区开发项目的规划,探索这些技术的机会恰到好处。正确识别我们要解决的问题对于确保这项工作负责任且透明地进行至关重要。”
德勤正在与其他医院和医疗保健机构合作部署数字代理。与渥太华医院面向患者的一项试点项目预计将于今年年底上线。
开发人员可以通过访问开始入门数字人NIM代理蓝图.