新州法律将限制健康保险公司使用人工智能

加利福尼亚州正在制定一项新法律，针对保险公司用于做出事先授权和其他承保决策的算法，该法律将对人工智能 (AI) 生成公式的使用方式进行限制。

该州还将开始要求提供商在人工智能生成患者通信时通知消费者。

这些法律反映了州立法者日益增长的趋势更严格监管在联邦政府不采取行动的情况下，人工智能在医疗保健和其他领域的使用。

医生做出决定法（SB 1120）于 1 月 1 日生效。它得到了数十个医生组织和医疗团体、加州医院协会和几个患者倡导团体的支持。保险业团体反对该法案。

“作为医生，我们认识到人工智能可以成为改善医疗保健的重要工具，但它不应取代医生的决策，”加州医学协会 (CMA) 主席 Tanya W. Spirtos 医学博士表示在一份声明中。

该立法的发起者、州参议员乔什·贝克尔（D-Menlo Park）表示，新法律确保人为因素始终决定患者的医疗质量。

“算法不能完全了解和理解患者的病史和需求，可能会导致错误或有偏见的医疗决策，”他说。

法律设置护栏

新法律要求人工智能或任何算法的使用必须基于患者的病史和个人的临床情况。决策不能仅基于群体数据集，不能取代临床医生的决策，并且必须得到人类医生的批准。

根据法律要求，该算法必须“公平、公正地应用”。

UCSF Health 副总裁兼首席健康人工智能官 Sara Murray 医学博士告诉我们，算法可能存在偏见Medscape 医学新闻。她引用了最近的一篇论文在科学 研究发现，基于医疗系统（而非保险公司）广泛使用的算法做出的决策意味着，病情比白人患者病情更重的黑人患者将获得更少的护理。

该法律试图解决用于训练保险公司算法的数据问题。“人工智能工具的准确性取决于输入其中的数据和算法，”法学博士、公共卫生硕士 Carmel Shachar、Amy Killelea 和 Sara Gerke 写道在卫生事务。“对于用作训练集的数据保持透明度，并确保它与算法实际使用的人群相匹配，这一点非常重要。”Shachar，助理临床教授

马萨诸塞州剑桥市哈佛法学院的法律告诉Medscape 医学新闻。

默里说，由人工签署人工智能生成的决策很重要，但“也存在风险”。“我们可能会过度依赖这些工具，而且我们可能也会有偏见，而且可能不容易看到偏见，或者如果算法给我们提供有偏见的输出，我们可能看不到偏见，”默里说。

一个ProPublica 的调查2023 年声称，Cigna 算法允许医生快速拒绝以医疗为由的索赔，而无需审查患者的档案。该出版物报道称，Cigna 雇用的医生在两个月内拒绝了超过 300,000 起索赔，平均每起索赔花费 1.2 秒。

她说，加州正在“对真正的恐惧做出反应”。

缺乏联邦监督

虽然用于检测疾病和改善诊断和治疗的人工智能受到美国食品和药物管理局的监管，但 SB 1120 立法者针对的人工智能工具“没有受到同样的审查，也几乎没有独立的监督，”说Anna Yap，医学博士，萨克拉门托急诊医学医师，当她作证2024 年初，代表 CMA 支持 SB 1120。

沙查尔说，加利福尼亚州的法律是良好的第一步。她说，算法“一直是我们监管系统中的一个盲点”。她说，新法律“授权国家监管机构采取行动，并为保险公司如何实施人工智能提供了某种责任和要求”。

Shachar 和同事指出，人工智能有潜力简化和加速事先授权决策。

纽约大学格罗斯曼医学院的神经学家 Neil Busis 医学博士在 2017 年发表的一篇论文中表示同意美国医学会神经病学杂志。“如果可以使用适当的数据进行训练，人工智能可以通过减少管理负担、提高效率以及增强患者、临床医生和付款人的整体体验来改善事先授权，”他写道。

在2022 年报告麦肯锡公司吹捧人工智能在提高事先授权效率方面的潜力。但作者指出，人工智能需要受到监控，以确保它不会从有偏见的数据集中学习，这些数据“可能导致意外或不适当的决定”，特别是对于社会经济地位较低的患者。该报告的结论是“经验丰富的临床医生仍将是 PA 的最终决策者。”

虽然美国医学会 (AMA) 没有对 SB 1120 采取立场，但该组织将在 2023 年采取了类似的政策，呼吁基于人工智能的算法使用临床标准，并包括医生和其他具有所审查服务专业知识的卫生专业人员的审查，并且没有动机拒绝护理。

AMA 董事会成员 Marilyn Heine 医学博士当时表示，即使人工智能简化了事先授权，数量仍在增长。“底线仍然是一样的：我们必须减少需要事先授权的事情的数量，”她说。

Shachar 和同事写道，人工智能可能会激励更多评论。——他们写道，我们可能会看到“审查缓慢”。

因人工智能使用而针对保险公司的诉讼层出不穷

在缺乏监管的情况下，保险公司因使用人工智能算法而受到多起诉讼。

居住在明尼苏达州的两名已故 Medicare Advantage 受益人的家人起诉联合健康据哥伦比亚广播公司新闻报道，2023 年，该公司的算法错误率高达 90%，并且被非法使用。

美国参议院常设调查小组委员会十月报道其深入调查发现，保险公司正在使用自动事先授权算法系统性地拒绝为 Medicare Advantage 参保者提供急性后期护理服务，其拒绝率远高于拒绝为其他被保险人提供其他类型护理的比例。

3月份，有人提出集体诉讼指控 Cigna 根据 ProPublica 报告的信息使用其算法来否认索赔。

沙查尔表示，诉讼并不是处理算法的令人满意的方式，部分原因是“你必须等待伤害。”侵权制度仍在制定如何将法律的各个方面适用于人工智能她补充说，保险公司使用的。

沙查尔说，更多的州可能会追随加州的脚步。

AMA 发言人对此表示同意。“AMA 预计未来的立法活动将在 2025 年进行，因为我们看到越来越多的关于健康计划使用人工智能系统性拒绝索赔的报告，”AMA 的 R.J.米尔斯告诉Medscape 医学新闻。

人工智能生成的提供商通信的新规则

加州州长也签署了AB 3030，这要求采用人工智能的患者通信表明它是由人工智能生成的，除非该通信首先由经过许可或认证的医疗保健提供者阅读和审查。

穆雷说，加州大学旧金山分校健康中心已经在这样做了。

卫生系统一直在测试人工智能的使用，以帮助医生起草对患者信息的答复，目的是帮助他们更快地答复。这些消息中包含文本，告知患者人工智能已被用来协助医生。它还指出医生仍然会审查每一次沟通。

“我们只是想对患者保持非常透明的态度，”默里说。

她说，人工智能“将对医疗保健非常有利”。但新的加州法律对于提供“护栏”是必要的。

沙查尔和穆雷报告称没有相关的财务关系。

艾丽西亚·奥尔特 (Alicia Ault) 是佛罗里达州圣彼得堡的一名自由撰稿人，其作品曾发表在以下出版物中： 美国医学会杂志和史密森尼网站。您可以在 X @aliciaault 上找到她。