利用医疗AI模型解锁下一代人工智能能力 - Microsoft 行业博客

了解更多关于微软如何利用数据和负责任的人工智能来提升医疗健康行业。阅读最新的微软健康云公告. 

现有的语言模型已经彻底改变了我们与基于文本的医疗用例的强大AI模型交互的方式。但是现代医学主要涉及多模态数据。有效评估患者健康的全貌需要超越对医疗文本的理解，转向能够整合和分析包括医学影像、基因组学、临床记录等不同模式来源的复杂AI模型。

综合性多模态模型的创建一直受到大规模集成数据集需求和训练这些模型所需的重大计算能力的阻碍。这些障碍限制了众多医疗组织充分利用人工智能的能力。

微软云端医疗服务有助于填补这一差距并加速人工智能的发展。我们宣布启动医疗AI模型，这是微软Azure AI模型目录中的一系列尖端的多模态医学成像基础模型集合。该系列AI模型由微软研究院和战略合作伙伴共同开发，专为医疗组织设计，帮助其测试、微调并构建符合特定需求的人工智能解决方案，同时最大限度地减少从零开始构建多模态模型所需的大量计算资源和数据要求。借助这些医疗AI模型，卫生专业人员拥有了探索人工智能全部潜力的工具，以彻底改变患者护理。

医疗AI模型包括：

• MedImageInsight嵌入式模型能够进行复杂的图像分析，包括医学影像中的分类和相似性搜索。医疗组织和研究人员可以使用该模型的嵌入并构建适用于特定任务的适配器，从而简化放射学、病理学、眼科、皮肤病学及其他模态的工作流程。例如，研究人员可以探索如何利用该模型自动将成像扫描分配给专科医生或标记潜在异常以便进一步审查的可能性，以提高效率和患者治疗效果。¹
• 医学图像解析该模型专为精确图像分割设计，涵盖了多种成像模式，包括X光、CT扫描、MRI、超声波、皮肤科影像和病理切片。它可以针对特定应用（如肿瘤分割或器官轮廓勾画）进行微调，使开发人员能够测试和验证利用AI进行高度针对性的癌症及其他疾病检测、诊断和治疗计划的能力。²
• CXR报告生成器胸部X光片是全球最常见的放射学检查。它们非常重要，因为可以帮助医生诊断各种疾病——从肺部感染到心脏问题。这些图像通常是发现影响数百万人的健康问题的第一步。通过结合当前和之前的图像以及关键患者信息，这个多模态AI模型可以从胸部X光片生成详细的结构化报告，并在图像上直接标注出AI生成的结果，以符合人机协作的工作流程。研究人员可以测试这一能力及其加速周转时间并提高放射科医生诊断准确性的潜力。该模型已经在行业标准MIMIC-CXR基准测试中表现出卓越的性能。³

这些基础模型可以加速开创性AI模型的出现，这些模型能够为放射科医生带来智能工作流程、高效的报告生成以及先进的视图识别和分割。除了支持报告准确性之外，人工智能还可以通过从放射学、病理学和基因组学中解锁新的见解来推动患者护理的发展，加快新疾病治疗方法的发现，并预测结果和最佳治疗方案。

资源不再成为创新的障碍

在医疗和生命科学组织面临如此多的需求情况下，很难专门分配时间、资源和预算来尝试使用人工智能。医疗AI模型具有开源的预训练模型，这些模型代表了当前可以实现的最佳性能之一。公共基准测试.

总体而言，我们的多模态医疗基础模型目录中的医疗AI模型及其他模型涵盖了广泛的模态和日益增长的能力清单，使各种用例的测试和验证成为可能，包括：

• 使用图像嵌入模型搜索相似图像或便于检测可能表明潜在数据问题或系统错误的异常（图2：图像嵌入）。
• 构建特定任务的嵌入模型适配器。(图3：特定任务的适配器)
• 微调预训练的单模模型以创建一个专用模型。(图4：针对特定任务的微调)
• 将语言模型集成以实现跨模态的洞察提取并增强多模态数据的可解释性。(图5：适配器到通用推理机)
• 连接不同的数据模态，以获得更全面、整体的数据视角，从而发现新的见解，并揭示之前隐藏的相关性和模式。

凭借模型的灵活性和广泛性，单模态健康模型可以独立使用，连接到不同的模态，或者进一步与GPT-4o和Phi等高级通用推理模型结合，创建强大的多模态模型，而无需从一开始就拥有大规模集成的数据集。Azure AI Studio和医疗AI模型相互补充微软Fabric中的医疗数据解决方案创建一个统一的环境以进行全面分析和获取重要的患者洞察。

由合作伙伴协作网络创建

我们的合作伙伴生态系统致力于推动行业在AI方面的应用，使得医疗AI模型得以实现。Paige、Providence Healthcare、Nvidia和M42为目录贡献了基础模型，涵盖了病理学、3D医学成像、生物医学研究和医学知识共享等领域。这些模型是在一系列共同的AI原则指导下开发的，为组织在启动自己的AI项目时提供了一个强大的起点，并在整个行业内嵌入负责任的做法。微软致力于负责任地扩展AI技术，倾听、学习并改进我们的工具。我们与组织合作，帮助他们利用数据构建预测和分析能力，以获得自身的竞争优势。

在目录和模块化方法上对AI模型的开放访问，允许医疗组织自定义解决方案、维护对其数据的控制，并通过共同开发和监管建立信任。这种方法符合我们对负责任的人工智能的承诺确保我们的技术符合道德标准并赢得医学界的信任。

目录的持续演进将是一项协作努力——不仅限于提供基础模型的各方，还包括那些利用这些模型来开发自己研究或临床系统的客户和合作伙伴的支持。

微软致力于在赋能合作伙伴、开发者和研究人员的生态系统中促进透明度和社区参与，使他们在医疗保健领域拓展可能的边界，并助力医疗和生命科学组织取得更大的成就。这不仅仅是建立模型的问题；更是解锁新的见解、加速创新，最终在全球范围内改善患者结果，从开创尖端制药研究到提供改变生命的医疗服务。

行动中的创新

几位客户已经开始利用医疗AI模型解锁的可能性。

马萨诸塞综合医院布里格姆和威斯康星大学正在致力于从医学影像分析中生成高级报告。随着不断增长的影像数据量与放射科医生工作压力增大及人员短缺问题相碰撞，一个先进的医学影像模型可以用来开发一种应用，该应用能够将医学图像转化为初步笔记。这样的项目可以提高核心医疗流程的效率，在为患者提供更好的治疗结果的同时，帮助临床医生专注于他们职责中的实际操作部分。

基于医学图像的报告生成是一个新的前沿领域。我们共同合作，汇集了各种专业知识来开发、测试和验证新模型。我们致力于识别并克服如何将模型整合到实际临床系统和工作流程中的挑战，以便为这些能力在未来对真实患者护理产生影响开辟一条道路。

—理查德·布鲁斯 医学博士 理学博士，威斯康星大学麦迪逊分校放射学信息委员会副主席

在生命科学领域，Paige致力于结合放射学、病理学和基因组学的洞察力，以实现更全面的疾病诊断方法，旨在加速新治疗方法的发现。在整个医疗连续体中，人工智能发挥着关键作用，我们对风险、疾病和治疗的理解所取得的进步将对改善下游患者护理至关重要。

与微软的合作使Paige能够从数百万数字化病理切片、临床报告和基因组数据中解锁洞察，从而更全面地理解癌症。我们一起开创了前沿的多模态人工智能模型，这些模型有可能加速并重新定义癌症检测、诊断和治疗。我们很高兴继续引领这一领域的发展，并塑造精准肿瘤学的未来。

—拉齐克·优斯菲，Paige公司首席执行官兼首席技术官

而且，不仅仅是人类健康，医疗AI模型还在支持兽医医学领域的发展；玛氏宠物护理正在探索放射学和病理学团队的数据评估等用例。治疗宠物与治疗人类一样复杂，因此这项工作充分展示了该平台的灵活性——每个这些模型都可以通过正确的方法应用于新的应用场景。

我们与微软的战略合作标志着兽医诊断领域的重要飞跃。作为数字病理学和放射学中人工智能的早期采用者，我们亲眼见证了这项技术如何改变动物护理。通过将我们的兽医专业知识与微软前沿的人工智能模型相结合，我们不仅在推进诊断技术的发展，还为宠物创造了一个更好的世界。此次合作将加速我们在AI研发方面的努力，为兽医提供更准确、更高效的工具。共同设立新的兽医学标准并重申了我们对动物健康创新的承诺。

杰里·马丁，玛氏科学与诊断研发副总裁

"Sectra正探索如何利用基础模型生成的图像和文本嵌入来转换放射学中的工作流程任务。这些传统上通过静态配置管理的任务现在正在被重新设计，以适应使用生成式AI处理医疗数据多样性的需求。"

弗雷德里克·霍尔，SECTRA产品总监

"Topcon Healthcare正在构建一个多模态和三维的眼科成像基础模型（FM），通过利用从大规模人群筛查环境中收集的数据，来表征健康人群。该基础模型促进了对眼部生物标志物的探索，这些生物标志物是眼科和全身疾病的早期指标。"

玛丽·达宾，Topcon医疗副总裁，临床科学部门

我们很高兴通过Azure AI Studio提供Med42，这是我们领先的临床LLM。借助Med42，我们正在利用人工智能的力量颠覆传统的医疗系统，并为临床医生、科学家和患者创造价值。从我们的M42系列医疗基础模型到MEDIC，我们全面的临床评估框架，M42正在推动全球医疗创新的发展。

—Ronnie Rajan博士，Med42人工智能与应用科学部副主任

“病理学和医学影像中的基础人工智能模型的发展预计将推动癌症研究和诊断方面的重大进步。这些模型可以通过提供超出传统视觉解读的洞察来补充人类的专业知识，并且随着我们向更集成、多模态的方法迈进，将重塑医学的未来。”

Carlo Bifulco，医学博士，Providence基因组学首席医疗官，《Prov-GigaPath》研究的合著者

微软云医疗健康正在帮助您的组织利用数据和人工智能塑造更健康的未来

我们很高兴通过加强数据和人工智能投资来增强我们的能力通过微软云医疗版我们的医疗解决方案建立在信任的基础之上微软的责任人工智能原则。通过这些创新，我们使合作伙伴和客户能够更容易地在每个护理环节创建互联互通的体验，赋能他们的医疗保健员工，并利用对医疗行业重要的数据标准从其数据中挖掘价值。

了解更多关于医疗保健领域的AI知识

• 加入我们HLTH2024，展位号#4004查看医疗AI模型的实际应用。
• 从2024年10月20日起访问微软Azure AI工作室了解更多关于医疗保健人工智能模型的内容，并探索其基础模型如何帮助您变革组织使用AI的方式。
• 连接并了解关于微软研究院在人工智能和语言模型方面的进展
• 了解更多关于微软织物中的医疗数据解决方案.
• 观看业务转型中的AI：多模态模型访谈.

医疗设备免责声明：微软产品和服务（1）并非设计、意图或提供作为医疗设备使用，且（2）并未设计或意图替代专业医疗建议、诊断、治疗或判断，不应将其用作专业医疗建议、诊断、治疗或判断的替代品。客户/合作伙伴有责任确保解决方案符合适用的法律法规。

生成式AI并不总是提供准确或完整的信息。AI的输出不代表微软的观点。客户/合作伙伴需要彻底测试和评估某个AI工具是否适合其预期用途，并识别和缓解与其使用相关的任何最终用户风险。客户/合作伙伴应仔细查阅每个工具的产品文档。

¹MedImageInsight：一种通用领域医学影像的开源嵌入模型, 2024.

²BioMedParse：一种用于随时随地一次性解析一切图像的生物医学基础模型, 2024.

³MAIRA-2：基于事实的放射学报告生成, 2024.