通过开放基础模型帮助每个人构建医疗保健应用人工智能

人工智能可以帮助提高诊断准确性、扩大护理范围并减轻管理负担，使护理团队能够专注于患者，从而对医疗保健产生巨大的潜在影响。然而，医疗保健领域广阔，潜在的用例超出了开发人员所能涵盖的范围。此外，健康领域的人工智能开发尤其具有挑战性，因为构建达到临床环境中使用所需性能水平的模型需要大量数据、专业知识和计算。

如果没有足够多样化的数据（例如跨患者群体、数据采集设备或协议），模型在部署到与训练数据不同的环境中时可能无法很好地概括。由此产生的高准入门槛阻止了许多潜在的健康人工智能开发人员进行实验，并使他们更难以将他们的想法从概念转化为原型，更不用说长凳到床边。为了继续发挥医疗保健的潜力，它需要来自不同的贡献者在多种用例、界面和商业模式上的创新。

考虑到这一点，今天我们要介绍的是健康人工智能开发者基金会(HAI-DEF)，一个公共资源，可帮助开发人员更有效地构建和实施医疗保健人工智能模型。总结在随附的技术报告，HAI-DEF 包括开放重量模型、指导性 Colab 笔记本和文档，以协助从早期研究到商业投资的每个开发阶段。

HAI-DEF 是我们支持医疗保健人工智能发展的更广泛承诺的一部分。它建立在医学人工智能研究基金会存储库于 2023 年发布，其中包括胸部 X 射线和病理图像的模型。它还赞扬了诸如开放健康堆栈，也于 2023 年推出，为开发人员提供了用于构建有效健康应用程序的开源构建块，以及人口动态基础模型，于 2024 年推出，为开发人员提供地理空间嵌入，以实现对包括公共卫生等在内的人口水平变化进行建模。通过提供此类资源，我们的目标是实现医疗保健人工智能开发的民主化，使开发人员能够创建可改善患者护理的创新解决方案。

HAI-DEF 的首款车型

HAI-DEF 的首次发布包括三个专注于支持医学成像应用开发的模型：

• CXR基金会用于胸部 X 光检查
• 真皮基金会对于皮肤图像
• 路径基金会用于数字病理学

其中每一个都是专门针对特定医学成像模式的嵌入模型。它们提高了训练和服务模型的效率，将图像作为输入并生成有效表示输入图像的固定长度向量（嵌入）。这些模型是通过对各自模式的大量多样化、去识别化数据进行广泛的、自我监督的训练而开发的。因此，模型生成的嵌入为开发人员提供了一个强大的起点，只需极少量的额外数据和计算即可为自己的用例构建高性能 AI 模型。

CXR Foundation 使用以下方式进行预训练EfficentNet-L2架构超过 800,000 张 X 射线。它是使用训练的监督对比,夹子和BLIP-2损失。作为 BLIP 训练阶段的一部分，它还具有伯特基于文本编码器，允许将文本和图像投影到共享嵌入空间中。CXR Foundation 的图像编码模型采用DICOM图像，其文本编码器接受文本字符串。这允许用户进行数据有效的分类，在嵌入之上构建小型模型来对用户关心的条件进行分类。语言组件还允许用户执行以下操作：

• 语义图像搜索：根据嵌入空间与某些搜索词的接近程度对一组图像进行排名；和
• 零样本分类：使用文本术语和图像嵌入之间的距离来提供分类分数，无需示例图像。请注意，零样本的性能将低于数据高效分类。

Derm 基金会基于BiT ResNet-101x3建筑学。它在各种皮肤图像上进行了预训练，以生成丰富的嵌入，可用于皮肤相关任务的数据高效分类。这些可能包括临床任务，例如皮炎、黑色素瘤或牛皮癣，但也可以用于了解涉及哪些身体部位、确定图像质量以及是否应该重新拍摄照片。

Path Foundation 是一种高效的嵌入模型，由ViT-S架构，专门从事苏木精和伊红(H&E) 染色图像。Path Foundation 接受来自 H&E 幻灯片的 224 x 224 像素块来生成嵌入，这些嵌入可用于数据高效的分类，适用于分级或识别肿瘤、对组织或染色类型进行分类以及确定图像质量等应用。嵌入还可以用于类似的图像搜索任务，以查找幻灯片内或幻灯片之间彼此相似的区域。

从先前研究终点的社区经验中学习

在过去的两年里，学术界、医疗机构和制药公司的研究人员一直在通过以下方式构建这些模型：Google Research 托管 API。在给社区时间使用模型并探索不同的应用程序后，我们收集了反馈。许多人希望直接下载模型，以便能够使用不能脱离机构边界的数据集。此外，看到基础模型改善临床工作流程潜力的用户希望构建用例，着眼于帮助临床护理。

为了响应这一反馈，HAI-DEF 将使开发人员能够：

• 在自己的环境中下载并运行这些模型，无论是在本地还是在云端；
• 使用它们开发用于研究或商业企业的应用程序；和
• 微调它们以获得更好的性能。

这些模型可通过以下方式访问Vertex AI 模型花园[CXR,真皮,小路]和拥抱脸[CXR,真皮,小路]。由于模型权重是开放的，开发人员可以微调模型以提高其特定需求和应用程序的性能，将嵌入模型用作复杂集成或混合架构的一部分等等。

构建健康AI开发者生态

HAI-DEF 只是我们支持更广泛的健康生态系统的方式之一，开放健康堆栈和人口动态基础模型。我们很高兴继续投资这一领域，包括向 HAI-DEF 添加更多模型并扩大我们笔记本电脑的范围。我们期待看到社区利用这些资源来实现人工智能改变医疗保健和生命科学的潜力。

致谢

我们感谢领导这项研究并使公开发布成为可能的 Google Health 团队成员，包括 Rory Pilgrim、Fereshteh Mahvar、Liron Yatziv、Tiffany Chen、Kenneth Philbrick、Bram Sterling、Nick George、Atilla Kiraly、Sebastien Baur、Fayaz Jamil、Bill Luan, 普丽蒂·辛格, 法鲁克·艾哈迈德, 林杨, 安德鲁·塞勒格伦, 丹尼尔·戈尔登, 艾比·沃德, 什鲁蒂Prabhakara、Jennifer Klein、Chuck Lau、Jason Klotzer、Shekoofeh Azizi、Rachelle Sico、Anthony Phalen、Amanda Ferber、Lauren Winer、Jenn Sturgeon、David F. Steiner、Yun Liu 和 Shravya Shetty。该人物的创作归功于 Tiya Tiyasirichokchai。