Google Amie：AI医生学会“查看”医学图像

Google通过对AMIE的最新研究（Articulate Medical Intelligence Explorer）提供了诊断AI了解视觉医学信息的能力。

想象一下，与AI谈论健康问题，而不仅仅是处理您的单词，它实际上可以看一下令人担忧的皮疹或使您了解您的心电图打印输出的照片。这就是Google的目标。

我们已经知道艾米在基于文本的医学聊天中表现出了希望，这要归功于早期发表的工作自然。但是，让我面对现实，真正的药物不是言语。

医生在很大程度上依赖他们能做什么看实验室报告说，皮肤状况，机器的读数。正如Google团队正确指出的那样，即使是简单的即时消息平台，也允许静态多模式信息（例如，图像和文档）丰富讨论。

只有文字AI缺少了一个巨大的难题。正如研究人员所说，一个大问题是LLM是否可以进行诊断性临床对话，以结合这种更复杂的信息类型。

Google教艾米的外观和理由

Google的工程师使用其Gemini 2.0 Flash模型作为操作的大脑加强了Amie。他们将其与所谓的国家感知推理框架相结合。用普通的英语，这意味着AI不仅遵循脚本；它根据到目前为止学到的知识以及仍然需要找出的内容来调整其对话。

它接近了人类临床医生的工作方式：收集线索，形成有关可能发生的事情的想法，然后要求提供更具体的信息，包括视觉证据，以缩小事物的范围。

Google解释说，这使Amie能够在需要时请求相关的多模式工件，准确解释其发现，将这些信息无缝集成到正在进行的对话中，并使用它来完善诊断。”

想一想通过阶段流动的对话：首先收集患者的历史，然后朝着诊断和管理建议迈进，最后是跟进。AI不断评估其自己的理解，如果感觉到它的知识差距，则要求该皮肤照片或实验室结果。

为了在没有无休止的反复试验的情况下对真实人士进行正确的处理，Google构建了一个详细的模拟实验室。

Google创建了栩栩如生的患者病例，从PTB-XL ECG数据库和SCIN皮肤病学图像集中摘取现实的医疗图像和数据，并使用Gemini添加了合理的背景故事。然后，他们让艾米（Amie）在此设置中与模拟患者聊天，并自动检查其在诊断准确性和避免错误（或幻觉）之类的事情上的表现。

虚拟OSCE：Google使Amie通过其步伐

真正的测试是一种设置，旨在反映医学生的评估方式：客观的结构化临床检查（OSCE）。

Google进行了一项涉及105种不同医疗方案的远程研究。真正的演员，经过训练，可以始终如一地描绘患者，与新的多模式AMIE或实际人类初级保健医生（PCP）进行了互动。这些聊天通过一个界面发生，就像您可能在现代消息传递应用程序中一样，患者可以上传图像。

之后，专业医生（在皮肤病学，心脏病学和内科医学中），患者参与者本身审查了对话。

人类的医生从历史的良好状态，诊断的准确性，建议的管理计划的质量，直接到沟通技巧和同理心以及AI对视觉信息的解释程度。

模拟诊所的令人惊讶的结果

这里真的很有趣。在对受控研究环境中的这种正面比较中，谷歌发现艾米（Amie）并不掌握自己的自己的经常出现。

在解释聊天过程中共享的多模式数据时，AI被评为比人类PCP更好。它在诊断准确性方面的得分也更高，根据案例细节，专家认为更准确和完整的差异诊断列表（可能的疾病排名清单）。

审查成绩单的专家医生倾向于在大多数领域的表现更高。他们特别指出：图像解释和推理的质量，其诊断工作的彻底性，其管理计划的健全性以及在需要紧急关注的情况时标记的能力。

也许最令人惊讶的发现之一来自患者演员：他们经常发现AI比在这些基于文本的互动中的人类医生更具善解人意和值得信赖。

而且，根据临界的安全性，该研究发现，与人类医生相比，AMIE犯错的频率（幻觉发现）之间没有统计学上的显着差异。

技术永远不会静止不动，因此Google还进行了一些早期测试，将Gemini 2.0 Flash模型换成了新的双子座2.5闪存。使用他们的模拟框架，结果暗示了进一步的收益，尤其是在正确的诊断（前3个准确性）并提出适当的管理计划时。

尽管有希望，但团队迅速增加了现实主义：这些只是自动化的结果，并且“通过专家医师评论进行严格的评估对于确认这些绩效益处至关重要。”

重要的现实检查

Google在这里对限制表示赞赏。

•这项研究探讨了使用患者参与者的OSCE风格评估中的仅研究系统，该系统显然不足以说明现实世界中的复杂性。 

模拟场景虽然设计良好，但与在繁忙的诊所中处理独特患者的独特复杂性相同。他们还强调，聊天界面不会捕捉真实视频或面对面咨询的丰富性。

那么，下一步是什么？小心地朝着现实世界发展。Google已经与Beth Israel Deaconess Medical Center合作进行了一项研究研究，以了解Amie在患者同意下在实际临床环境中的表现。

研究人员还承认，有必要最终超越文本和静态图像，朝着处理实时视频和音频的互动方式，如今在远程医疗中常见。

赋予人工智能观察和解释医生每天使用的视觉证据的能力，可以瞥见AI有一天可能会如何帮助临床医生和患者。但是，从这些有希望的发现到每天安全可靠的工具的道路卫生保健仍然是一个需要仔细导航的长期。

（照片亚历山大·辛恩）

参见：AI聊天机器人真的改变了工作世界吗？

想从行业领导者那里了解有关AI和大数据的更多信息吗？查看AI和大数据博览会在阿姆斯特丹，加利福尼亚和伦敦举行。综合事件与其他领先活动共同分居，包括智能自动化会议，，，，块，，，，数字转换周， 和网络安全和云博览会。

探索由Techforge提供支持的其他即将举行的企业技术活动和网络研讨会这里。