加入我们的每日和每周时事通讯，了解有关行业领先人工智能报道的最新更新和独家内容。了解更多
MRI 图像非常复杂且数据量大，这是可以理解的。
正因为如此，开发商训练大型语言模型用于 MRI 分析的法学硕士必须将捕获的图像切成 2D。但这只会产生原始图像的近似值，从而限制了模型分析复杂解剖结构的能力。这给涉及的复杂案件带来了挑战脑肿瘤、骨骼疾病或心血管疾病。
但通用电气医疗集团似乎已经克服了这一巨大障碍，在今年的展会上推出了业界首个全身 3D MRI 研究基础模型 (FM)AWS re:Invent。模型第一次可以使用整个身体的完整 3D 图像。
GE Healthcare 的 FM 是从头开始在 AWS 上构建的（很少有专门为 MRI 等医学成像设计的模型），并且基于来自 19,000 多项研究的 173,000 多张图像。开发人员表示，他们训练模型的计算量比以前少了五倍。
GE医疗尚未将基础模型商业化；它仍处于进化研究阶段。早期的评估者，麻省布里格姆将军，即将开始进行试验。
“我们的愿景是将这些模型交到医疗保健系统的技术团队手中，为他们提供强大的工具，帮助他们更快、更经济地开发研究和临床应用，”GE HealthCare 首席人工智能官 Parry Bhatia告诉 VentureBeat。
实现复杂 3D MRI 数据的实时分析
虽然这是一项突破性的发展，但生成式人工智能和法学硕士对于该公司来说并不是新领域。Bhatia 解释说，该团队十多年来一直致力于先进技术。
其旗舰产品之一是空中侦察DL，一种基于深度学习的重建算法，使放射科医生能够更快地获得清晰的图像。该算法消除了原始图像中的噪声并提高了信噪比，将扫描时间缩短了 50%。自 2020 年以来，已有 3400 万名患者接受了 AIR Recon DL 扫描。
GE Healthcare 于 2024 年初开始研究 MRI FM。由于该模型是多模态的，因此可以支持图像到文本搜索、链接图像和文字以及对疾病进行分割和分类。目标是给予医疗保健专业人员巴蒂亚表示，一次扫描可以提供比以往更多的细节，从而实现更快、更准确的诊断和治疗。
“该模型具有实现 3D MRI 数据实时分析的巨大潜力，这可以改善活检、放射治疗和机器人手术等医疗程序，”AWS 医疗保健和生命科学部总经理 Dan Sheeran 告诉我们VentureBeat。
它在前列腺癌和阿尔茨海默病的分类等任务中已经超越了其他公开的研究模型。它在将 MRI 扫描与图像检索中的文本描述进行匹配方面表现出高达 30% 的准确率（这可能听起来不太令人印象深刻，但与类似模型所表现出的 3% 的能力相比，这是一个很大的进步。）
“它已经到了一个阶段，可以提供一些非常强劲的结果，”巴蒂亚说。– 影响是巨大的。 –
用（更少）数据做更多事情
这核磁共振过程巴蒂亚解释说，需要几种不同类型的数据集来支持绘制人体地图的各种技术。
例如，所谓的 T1 加权成像技术可以突出显示脂肪组织并减少水信号，而 T2 加权成像则可以增强水信号。这两种方法是互补的，可以创建大脑的完整图像，帮助临床医生检测肿瘤、创伤或癌症等异常情况。
“MRI 图像有各种不同的形状和大小，类似于不同格式和大小的书籍，对吧？”巴蒂亚说。
为了克服不同数据集带来的挑战，开发人员引入了“调整大小和适应”策略，以便模型可以处理不同的变化并做出反应。此外，某些区域的数据可能会丢失，例如图像可能不完整，因此他们教导模型忽略这些实例。
“我们没有陷入困境，而是教导模型跳过空白并专注于可用的内容，”巴蒂亚说。– 将其视为解决缺少一些碎片的难题。 –
开发人员还采用了半监督的师生学习，这在数据有限时特别有用。通过这种方法，两个不同的神经网络在标记和未标记数据上进行训练，教师创建标签来帮助学生学习和预测未来的标签。
“我们现在正在使用大量此类自我监督技术，这些技术不需要大量数据或标签来训练大型模型，”巴蒂亚说。– 它减少了依赖性，您可以从这些原始图像中学到比过去更多的知识。 –
巴蒂亚解释说，这有助于确保模型在资源较少、机器较旧和数据集不同的医院中表现良好。
他还强调了模型的重要性——多模态。“过去的许多技术都是单模态的，”巴蒂亚说。– 它只会查看图像和文本。但现在它们正在变得多模式，可以从图像到文本，从文本到图像，这样您就可以引入过去使用单独模型完成的许多事情，并真正统一工作流程。”¤
他强调，研究人员只使用他们有权使用的数据集；GE Healthcare 拥有授权去识别化数据集的合作伙伴，并且他们非常谨慎地遵守合规标准和政策。
使用 AWS SageMaker 应对计算和数据挑战
毫无疑问，构建如此复杂的模型会面临许多挑战，例如处理千兆字节大小的 3D 图像的计算能力有限。
“这是海量的 3D 数据，”Bhatia 说。“您需要将其带入模型的内存中，这是一个非常复杂的问题。”
为了帮助克服这一问题，GE 医疗集团建立了亚马逊 SageMaker，它提供跨多个 GPU 的高速网络和分布式训练功能，并利用 Nvidia A100 和张量核心 GPU 进行大规模训练。
“由于数据大小和模型大小，他们无法将其发送到单个 GPU 中，”Bhatia 解释道。SageMaker 允许他们跨多个可以相互交互的 GPU 自定义和扩展操作。
开发者还使用了亚马逊 FSx在亚马逊S3对象存储，可以更快地读取和写入数据集。
Bhatia指出，另一个挑战是成本优化；借助 Amazon 的弹性计算云 (EC2)，开发人员能够将未使用或不经常使用的数据移动到成本较低的存储层。
“利用 Sagemaker 训练这些大型模型（主要是为了跨多个高性能 GPU 集群进行高效、分布式训练）是真正帮助我们加快步伐的关键组件之一，”Bhatia 说道。
他强调，所有组件都是从数据完整性和合规性角度构建的，并考虑了 HIPAA 和其他监管法规和框架。
最终，“这些技术可以真正简化流程，帮助我们更快地创新，并通过减少管理负担来提高整体运营效率，并最终推动更好的患者护理，因为现在您正在提供更加个性化的护理。”¤
作为其他专门微调模型的基础
虽然该模型目前仅限于 MRI 领域，但研究人员看到了扩展到其他医学领域的巨大机会。
Sheeran 指出，从历史上看，医学成像领域的人工智能一直受到针对特定器官的特定条件开发定制模型的需求的限制，需要对训练中使用的每张图像进行专家注释。
但由于疾病在个体之间的表现方式不同，这种方法“本质上是有限的”，并且带来了普遍性挑战。
“我们真正需要的是数千个这样的模型，以及当我们遇到新信息时快速创建新模型的能力，”他说。每个模型的高质量标记数据集也至关重要。
现在，借助生成式人工智能，开发人员无需为每种疾病/器官组合训练离散模型，而是可以预先训练单个基础模型，该模型可以作为下游其他专门微调模型的基础。
例如，GE Healthcare 的模型可以扩展到放射治疗等领域，在这些领域，放射科医生花费大量时间手动标记可能面临风险的器官。巴蒂亚说，它还可以帮助减少 X 光检查和其他目前需要患者长时间坐在机器中的手术过程中的扫描时间。
Sheeran 惊叹道，“我们不仅通过基于云的工具扩大了对医学成像数据的访问，而且还扩大了对医疗成像数据的访问”。我们正在改变这些数据的利用方式，以推动医疗保健领域的人工智能进步。”
使用 VB Daily 每日洞察业务用例
如果您想给老板留下深刻印象，VB Daily 可以满足您的要求。我们为您提供有关公司在生成人工智能方面所做的事情的内幕消息，从监管转变到实际部署，以便您可以分享见解以实现最大投资回报率。
阅读我们的隐私政策
感谢您的订阅。查看更多VB 时事通讯在这里。
发生错误。
