医生称人工智能正在将“Slop”引入患者护理中

夏普随机选择一个患者询问。上面写着：“吃了一个西红柿，我的嘴唇很痒。”有什么推荐吗？

AI 使用 OpenAI 的 GPT-4o 版本，起草回复：“听到你嘴唇发痒的消息，我感到很遗憾。”听起来您可能对番茄有轻微过敏反应。人工智能建议避免食用番茄，使用口服抗组胺药并使用类固醇外用乳膏。

夏普盯着屏幕看了一会儿。“从临床角度来看，我不同意这个答案的所有方面，”他说。

[避免吃西红柿，我完全同意。另一方面，我不推荐在嘴唇上使用温和的氢化可的松等外用乳膏，”夏普说。嘴唇是非常薄的组织，因此我们在使用类固醇霜时非常小心。

“我会把那部分拿走。”

这是斯坦福大学医学和数据科学教授 Roxana Daneshjou 的另一篇文章：

技术乐观主义者将人工智能推向医疗保健等领域的问题在于，它与制造消费软件不同。我们已经知道 Microsoft 的 Copilot 365 助手存在错误，但 PowerPoint 演示文稿中的一个小错误并不是什么大问题。在医疗保健方面犯错误可能会致命。达内什乔告诉邮政她红队ChatGPT 与其他 80 人（其中包括计算机科学家和医生）一起向 ChatGPT 提出医学问题，发现它在 20% 的情况下提供了危险的回答。“对我来说，百分之二十的有问题的反应对于医疗保健系统的实际日常使用来说还不够好，”她说。

当然，支持者会说人工智能可以增强医生的工作，而不是取代他们，他们应该经常检查输出。确实如此，邮政故事采访了斯坦福大学的一位医生，他表示，那里三分之二的医生可以使用人工智能记录和转录患者会议，这样他们就可以在就诊期间看着他们的眼睛，而不是低头做笔记。但即便如此，OpenAI 的 Whisper 技术似乎也将完全虚构的信息插入到一些录音中。夏普说，Whisper 错误地在一份笔录中插入了一名患者将咳嗽归因于与孩子接触的情况，但他们从未说过这一点。Daneshjou 在测试中发现的训练数据偏差的一个令人难以置信的例子是，人工智能转录工具假设一名中国患者是一名计算机程序员，而患者从未提供此类信息。

人工智能可能会帮助医疗保健领域，但其输出必须经过彻底检查，那么医生实际上节省了多少时间？此外，患者必须相信他们的医生实际上正在检查人工智能正在产生什么——医院系统必须进行检查以确保这种情况发生，否则可能会产生自满情绪。

从根本上说，生成式人工智能只是一个单词预测机器，搜索大量数据而没有真正理解它返回的基本概念。它并不具有与真实人类相同的“智能”，尤其无法理解每个特定个体的独特情况；它正在返回它之前概括过的和见过的信息。

“我确实认为这是有前途的技术之一，但它还没有实现，”贝斯以色列的内科医生兼人工智能研究员 Adam Rodman 说女执事医疗中心。“我担心我们将幻觉的“人工智能倾斜”置于高风险之中，只会进一步降低我们所做的事情病人护理。”

下次您去看医生时，可能值得询问他们是否在工作流程中使用人工智能。