在南加州，无家可归率是全国最高的，一家私营公司，秋户实验室，正在为无家可归的病人和其他低收入者经营诊所。警告？医疗助理会为患者看诊，他们使用人工智能（AI）听取对话，然后提出潜在的诊断和治疗计划，然后由医生进行审查。该公司的首席技术官告诉《麻省理工科技评论》，该公司的目标是——让医生退出就诊—。

这很危险。然而，这是一个更大趋势的一部分，即生成式人工智能正在被推向医疗专业人员的医疗保健领域。2025 年，调查美国医学会报告称，三分之二的医生使用人工智能来协助日常工作，包括诊断患者。一AI初创公司筹集了2亿美元为医疗专业人员提供一款名为“ChatGPT for doctors”的应用程序。美国立法者正在考虑账单这将承认人工智能能够开药。虽然人工智能在医疗保健领域的趋势几乎影响到所有患者，但它对低收入人群的影响更大，他们已经面临巨大的护理障碍和医疗机构中更高的虐待率。无家可归和低收入的人不应该成为人工智能在医疗保健领域的试验场。相反，他们的声音和优先事项应该决定是否、如何以及何时在他们的护理中实施人工智能。

人工智能在医疗保健领域的兴起并不是凭空发生的。医院人满为患、临床医生工作过度，以及医疗办公室无缝运行、接送患者进出大型营利性医疗保健系统的巨大压力，这些都创造了条件。在经济贫困的社区，医疗保健人员的需求往往更加复杂，这些社区的医疗保健机构往往资源不足，患者没有保险，由于种族主义和贫困，慢性病的负担更大。

说到这里，有人可能会问：“有东西不是比什么都没有好吗？”嗯，实际上，没有。研究表明，人工智能工具会产生不准确的诊断。一个2021年学习《自然医学》杂志检查了用于医学成像研究的大型胸部 X 射线数据集训练的人工智能算法，发现这些算法系统性地低估了黑人和拉丁裔患者、记录为女性的患者以及拥有医疗补助保险的患者。对于已经面临护理障碍的患者来说，这种系统性偏见可能会加剧健康不平等。 另一个学习发表于 2024 年，发现人工智能误诊了黑人患者的乳腺癌筛查——黑人患者乳腺癌筛查出现假阳性的几率高于白人患者。由于算法偏差，一些临床人工智能工具在黑人患者和其他有色人种上的表现较差。那是因为人工智能并不是独立“思考”；而是它依赖于概率和模式识别，这可能会加剧对已经被边缘化的患者的偏见。

有些患者甚至不知道他们的医疗服务提供者或医疗系统正在使用人工智能。一名医疗助理告诉麻省理工学院技术评论他的病人知道人工智能系统正在倾听，但他没有告诉他们它会提出诊断建议。这让人回想起剥削性医疗种族主义的时代，黑人在未经知情同意的情况下被进行实验，而且常常违背他们的意愿。人工智能能否通过快速向医疗服务提供者提供信息来帮助他们治疗下一位患者？可能吧。但问题是，这可能会以牺牲诊断准确性和加剧健康不平等为代价。

潜在的影响超出了诊断准确性。TechTonic 正义一个致力于保护经济边缘社区免受人工智能危害的倡导组织，发布了一份开创性的报告，该报告估计9200万美国人低收入人群——他们生活的一些基本方面是由人工智能决定的。这些决定的范围包括如何他们从医疗补助中获得的金额，以及他们是否有资格获得社会保障管理部门的残疾保险。

现实生活中的一个例子正在联邦法院上演。2023 年，一群 Medicare Advantage 客户被起诉明尼苏达州的 UnitedHealthcare 声称他们被拒绝承保，因为该公司的人工智能系统 nH Predict 错误地认为他们不符合资格。一些原告是 Medicare Advantage 客户的遗产；据称，这些患者因得不到必要的医疗护理而死亡。联合健康保险试图驳回此案，但法官在 2025 年裁定原告可以继续提出部分索赔。类似的案例是提交在肯塔基州联邦法院起诉Humana。在那里，Medicare Advantage 客户声称 Humana 使用 nH Predict“根据不完整和不充分的医疗记录提出通用建议”。该案仍在进行中，法官裁定原告的法律论据足以继续推进，从而使保险公司的驳回动议得以幸存。虽然这两个案例的最终决定仍有待确定，但它们表明人工智能被用来决定低收入人群的健康保险的趋势不断增长——及其陷阱。如果您有经济资源，您可以获得优质的医疗保健。但如果你无家可归或收入低，人工智能甚至可能会阻止你完全获得医疗保健。这就是医学阶级主义。

我们不应该对无家可归或低收入的患者进行人工智能推广试验。记录在案的危害大于初创企业和其他科技企业承诺的潜在的、未经证实的好处。考虑到无家可归和低收入人群面临的障碍，他们必须接受以患者为中心的护理，并由倾听他们健康相关需求和优先事项的人类医疗保健提供者提供服务。我们无法建立一个依赖医疗系统的标准，在该系统中，医疗从业者处于次要地位，而由私营公司运营的人工智能占据主导地位。未经社区本身严格评估而“倾听”并开发的人工智能系统会剥夺患者的决策权，从而剥夺他们决定在医疗保健中实施哪些技术（包括人工智能）的权力。

• Leah Goodridge 是一名律师，从事无家可归者预防诉讼工作 12 年

• Oni Blackstock，医学博士、MHS，是一名医生、健康正义组织的创始人和执行董事，也是 OpEd 项目公共利益技术公共之声研究员