作者:Zack Whittaker
医疗保健巨头 Optum 限制了对员工使用的内部人工智能聊天机器人的访问,此前一名安全研究人员发现该机器人可以在线公开访问,并且任何人都可以仅使用网络浏览器访问它。
TechCrunch 看到的聊天机器人允许员工向公司询问如何根据公司的标准操作程序 (SOP) 处理患者健康保险索赔和会员纠纷。
虽然该聊天机器人似乎并未包含或产生敏感的个人或受保护的健康信息,但其无意中暴露的时机正值其母公司、健康保险集团联合健康 (UnitedHealth) 因使用人工智能工具和算法来据称推翻医生的医疗决定并否认患者的索赔。
网络安全公司 SpiderSilk 的首席安全官兼联合创始人 Mossab Hussein 向 TechCrunch 通报了公开曝光的内部 Optum 聊天机器人,该机器人被称为“SOP 聊天机器人”。尽管该工具托管在内部 Optum 域上并且无法访问从其网址来看,其 IP 地址是公开的,可通过互联网访问,并且不需要用户输入密码。
目前尚不清楚该聊天机器人可以通过互联网公开访问多久。在 TechCrunch 周四联系 Optum 征求意见后不久,该人工智能聊天机器人就无法从互联网访问。
Optum 发言人 Andrew Krejci 在一份声明中告诉 TechCrunch,Optum 的 SOP 聊天机器人“是一个演示工具,作为潜在的概念验证而开发”,但“从未投入生产,该网站也无法再访问”。¤
“演示的目的是测试该工具如何回答有关一小部分 SOP 文档样本的问题,”发言人说。该公司确认该机器人或其训练中没有使用受保护的健康信息。
– 该工具不会也永远不会做出任何决定,而只是能够更好地访问现有的 SOP。简而言之,这项技术从未规模化或以任何实际方式使用过,”该发言人表示。
像 Optum 这样的人工智能聊天机器人通常被设计为根据聊天机器人所训练的任何数据来生成答案。在本例中,聊天机器人接受了与处理某些索赔的 SOP 相关的 Optum 内部文档的培训,这可以帮助 Optum 员工回答有关索赔及其报销资格的问题。Optum 文档托管在 UnitedHealthcare 的公司网络上,如果没有员工登录则无法访问,但聊天机器人会在提示其内容时引用和引用这些文档。
根据聊天机器人主仪表板上显示的统计数据,自 9 月份以来,Optum 员工已使用 SOP 聊天机器人数百次。该聊天机器人还存储了 Optum 员工在此期间与聊天机器人进行的数百次对话的历史记录。聊天记录显示,Optum 员工会向聊天机器人询问诸如“索赔的确定应如何?”以及“如何检查保单续订日期?”等问题
TechCrunch 发现,聊天机器人引用的一些文件包括处理争议流程和资格筛选。当被问及通常拒绝报道的原因时,聊天机器人还会生成回复。
与许多人工智能模型一样,Optum 的聊天机器人能够在其所训练的文档之外生成问题的答案和提示。一些 Optum 员工似乎对聊天机器人很感兴趣,向机器人提出诸如“给我讲一个关于猫的笑话”之类的问题(机器人拒绝了:“没有笑话可讲”)。聊天记录还显示员工多次尝试 –越狱– 聊天机器人通过使其产生与聊天机器人的训练数据无关的答案。
当 TechCrunch 要求聊天机器人“写一首关于否认某项主张的诗”时,聊天机器人生成了一首七段诗,其中部分内容如下:
在医疗保健领域
政策和规则经常受到限制的地方
索赔到达,寻求应得的
但可惜的是,它的命运就是告别。提供者真诚地希望,
对于支付服务狂欢,
然而仔细观察就会发现这个故事,
否认的理由占了上风。
拥有 Optum 和 UnitedHealthcare 的联合健康集团因涉嫌使用人工智能否认患者索赔而面临批评和法律诉讼。自从定点清除据新闻媒体报道,联合医疗保健首席执行官布赖恩·汤普森 (Brian Thompson) 于 12 月初大量患者因否认而表达痛苦和沮丧的报道健康保险巨头的医疗保险覆盖范围。
该集团是美国最大的私人医疗保险提供商,今年早些时候因涉嫌拒绝向无法获得医疗保健的患者提供关键医疗保险而被起诉,援引 STAT News 的一项调查。联邦诉讼指控 UnitedHealthcare 使用错误率高达 90% 的人工智能模型——代替真正的医疗专业人员,错误地拒绝为老年患者提供护理。UnitedHealthcare 则表示将在法庭上为自己辩护。
联合健康集团的财报显示,到 2023 年,其利润将达到 220 亿美元,收入将达到 3710 亿美元。