需要一种基于风险的方法对医疗保健中的AI和机器学习的方法

在本文中，EHR协会AI工作队副主席蒂娜·乔罗斯（Tina Joros）和医学博士史蒂芬·斯佩切尔（Stephen Speicher）探讨了基于风险的方法对医疗保健中的AI和机器学习的重要性。

人工智能（AI）和机器学习（ML）的监管格局继续发展。当美国等待在2025年1月发布的AI行动计划的发布时，消除了美国AI创新行政命令的障碍，并且随着联邦机构审查其现有的AI政策，我们已经看到，在州一级涌入了对AI在医疗保健技术中使用的担忧。这种状态活动可能会导致调节性破坏，从而使电子健康记录（EHR）供应商，其他健康IT开发人员以及使用这些系统的医疗保健提供者更加复杂，以构建，支持和采用AI工具来帮助患者护理。

当前的AI景观

越来越关注人工智能在美国决策者中，随着卫生IT开发人员继续开发符合使用涉及AI和ML功能的决策支持干预措施（DSI）的透明度要求的软件功能，这是联邦EHR认证计划的一部分。许多人还在试行或部署生成的AI解决方案，这些解决方案可能有助于解决医疗保健行业的临床和行政挑战。

例如，最近对构成该协会的近30家EHR公司的调查，为大多数美国医院和使用EHR和其他健康的急性，特定于专业和门诊的医疗保健提供者提供服务，它发现异步的聊天机器人在临床和非临床场景中均可在临床和非临床方案中均可用来三个the and Plan and Plan teprient suppertions and Plan teprient sublist and Plan teprient sumpert and Suppert and Supperiant and Supperiant and Suppert 5案例。

当使用EHR协会成员公司开发的软件评估医疗保健提供商的AI请求时，用于临床决策支持，临床事先授权，异步聊天机器人和患者教育的生成AI模型属于前五名。

环境聆听和转录，事先授权，患者沟通和福利验证是最高的非临床用例请求，其次是安排聊天机器人，预测分析，临床文档完整性，主张拒绝管理和预约提醒。

基于风险的监管模型

开发人员社区一直主张AI法规的联邦框架，以减轻合规负担并建立统一的报告和透明度标准。但是，无论是在州还是联邦一级，都应在AI/ML立法或监管要求中解决一些核心问题。最高的列表是需要关注对高风险临床工作流程的直接影响的技术，再加上并认识到，并非所有的AI用例都对患者护理以及最终的患者安全都有直接或结果的影响。从根本上讲，这是基于风险的监管要求的论点。

当前，法律法规中包括的高风险AI的许多标准定义包括任何可能影响护理提供的技术。这包括临床用例（例如，临床决策支持，药物决策支持，临床事先授权，临床干预措施和预测分析），行政工作流程（例如计划和人员配置）以及供应链，编码和计费解决方案。但是，这些用例不会对患者构成不良事件的风险。

更好的方法将更加细粒度，在高风险工作流和低风险工作流程之间进行区分，并利用现有框架，这些框架根据发生，严重性和积极影响或利益来分层风险。这将有助于减轻所有可以在护理点使用的EHR中纳入所有技术的报告负担。

此外，对于真正的高风险用例，在实施和使用这些工具以及其他合理的透明度要求时，应配置“人类或人类超级保障”。最终用户还应被要求实施工作流程，以优先使用AI工具在患者护理中使用人工智能原则。

确保对使用AI工具的人进行适当的干预培训也是确保人类超越原则增加价值并减轻风险的关键要素。

其他核心问题

除了采用基于风险的方法并确保人类留在干预循环中外，AI法规还应优先考虑结果和降低风险，而不是针对必须如何构建AI工具的技术规格。与其他领域差异中的消费者技术相比，医疗保健部门的重点是患者的安全性，需要在法规中反映出来。

因此，监管机构应专注于解决其主要关注点和对患者的最大风险。这包括允许开发人员通过合并适当的保障措施，而不是要求开发，培训和实施的特定步骤和阶段来增强其当前软件开发生命周期。

关于责任，推荐的方法是将现有框架用于可能涉及AI技术的医疗事故实例。EHR开发人员在开发和部署AI工具时有责任遵循安全性最佳实践，包括透明地共享对知情使用至关重要的信息。但是，他们不能因为不适当使用AI工具对特定患者造成的伤害负责。临床医生最适合评估特定患者的AI支持工具的适当性，并在需要时获得知情同意。他们还有义务在采取影响患者的行动之前审查所有AI源建议。

此外，为避免扩大国家已经很大的数字鸿沟，公共政策所产生的要求应易于管理，并且适用于大型卫生系统和小型独立诊所。这样做可以确保公平使用AI工具，而不论组织的大小如何。

AI工具的采用，使用和实施后监控的法规和指导也必须是合理的，并且要体贴各种护理环境和能力。这将最大程度地利用广泛采用和有效使用AI技术的机会。

持续监控的重要性

对AI模型进行的持续的部署后监测对于确保质量和减轻模型漂移的风险至关重要，尤其是考虑到生成AI的性质。不断发展的健康信息和数据景观会增加模型随着时间而过时的风险。因此，最有影响力的规则将需要有关EHR开发人员的计划透明度，以保持发布后信息的最新信息并确保在最后更新模型时可见性。开发人员更新实践的透明度是维持AI工具的信任和可靠性的关键，最终改善了患者护理。

这种AI法规的方法将有助于维持AI模型的整体质量，并为最终用户提供必要的信息，以确定工具是否适合特定患者。它还使开发人员有一些灵活性来部署低风险的AI功能，而无需额外负担。

随着美国的监管格局的不断变化，我们希望看到一个合理的AI开发和部署框架，可以平衡风险与使用这些新工具进行患者护理的现实益处。

关于作者

JD的Tina Joros与Veradigm是EHR协会工作队主席，而Flatiron Health的MD的Stephen Speicher是副主席。