开发医疗保健人工智能工具

威尔康奈尔医学院和洛克菲勒大学研究人员的一项新研究发现，强化学习是一种人工智能方法，有潜力指导医生设计序贯治疗策略，以获得更好的患者结果，但在应用于临床环境之前需要进行重大改进。

强化学习 (RL) 是一类机器学习算法，能够随着时间的推移做出一系列决策。RL 负责最近的人工智能进步，包括在国际象棋和围棋方面的超人表现，它可以利用不断变化的患者状况、测试结果和之前的治疗反应来建议个性化患者护理的下一步最佳步骤。这种方法对于管理慢性或精神疾病的决策特别有前景。一个 

的 研究发表于《神经信息处理系统会议记录》(NeurIPS) 并于 12 月 13 日发布，介绍了“Episodes of Care”(EpiCare)，这是第一个针对医疗保健的 RL 基准。

– 基准推动了机器学习应用的改进，包括计算机视觉、自然语言处理、语音识别和自动驾驶汽车。我们希望他们现在能够推动 RL 在医疗保健领域的进步，”说洛根·格罗森尼克博士精神病学神经科学助理教授，领导了这项研究。

强化学习智能体根据收到的反馈完善自己的行动，逐渐学习增强决策能力的策略。“然而，我们的研究结果表明，虽然当前的方法很有前景，但它们非常需要数据，”格罗森尼克博士补充道。

研究人员首先在 EpiCare 上测试了五种最先进的在线强化学习模型的性能。所有五人都超过了护理标准基线，但前提是经过数千或数万次真实的模拟治疗事件的训练。在现实世界中，强化学习方法永远不会直接在患者身上进行训练，因此研究人员接下来评估了五种常见的“脱策略评估”(OPE) 方法：旨在使用历史数据（例如来自临床试验的数据）的流行方法）以避免在线数据收集的需要。使用 EpiCare，他们发现最先进的 OPE 方法始终无法准确地处理医疗保健数据。

“我们的研究结果表明，当前最先进的 OPE 方法不能准确预测纵向医疗保健场景中的强化学习表现，”第一作者、洛克菲勒大学研究员 Mason Hargrave 博士说。随着 OPE 方法在医疗保健应用中的讨论越来越多，这一发现凸显了开发更准确的基准测试工具（例如 EpiCare）的必要性，以审核现有的 RL 方法并提供衡量改进的指标。

“我们希望这项工作能够促进对医疗保健环境中的强化学习进行更可靠的评估，并有助于加速开发更好的强化学习算法和适合医疗应用的训练协议，”Grosenick 博士说。

采用卷积神经网络来解释图数据

一秒钟NeurIPS 出版物在同一天的演讲中，Grosenick 博士分享了他对卷积神经网络 (CNN) 的研究，该网络广泛用于处理图像，以处理更通用的图结构数据，例如大脑、基因或蛋白质网络。2010 年代初期，CNN 在图像识别任务中取得了广泛成功，为 CNN 的“深度学习”和神经网络驱动的人工智能应用的现代时代奠定了基础。CNN 可用于许多应用，包括面部识别、自动驾驶汽车和医学图像分析。

– 我们经常对分析神经影像数据感兴趣，这些数据更像是具有顶点和边缘的图形，而不是图像。但我们意识到，对于图结构数据来说，没有任何东西可以真正相当于 CNN 和深度 CNN，”Grosenick 博士说。

大脑网络通常表示为图形，其中大脑区域（表示为顶点）沿着“边缘”将信息传播到其他大脑区域（顶点），边缘连接并代表它们之间的强度。对于基因和蛋白质网络、人类和动物行为数据以及药物等化合物的几何形状来说也是如此。通过直接分析此类图，我们可以更准确地对本地连接和更远距离连接之间的依赖关系和模式进行建模。

Isaac Osafo Nkansah 是格罗森尼克实验室的研究员，也是该论文的第一作者，他帮助开发了量化图卷积网络 (QuantNets) 框架，该框架将 CNN 推广到图。– 我们现在使用它对患者的 EEG（脑电活动）数据进行建模。格罗森尼克博士说，我们可以在头皮上建立一个由 256 个传感器组成的网络，读取神经元活动的读数——这就是一张图表。——我们正在将这些大图表简化为更容易解释的组成部分，以更好地了解当患者接受抑郁症或强迫症治疗时，动态大脑连接如何变化。”

研究人员预见到 QuantNet 具有广泛的适用性。例如，他们还希望对图形结构的姿势数据进行建模，以跟踪小鼠模型和使用计算机视觉提取的人类面部表情中的行为。

– 虽然我们仍在探索将尖端人工智能方法应用于患者护理的安全性和复杂性，但每向前迈出一步 – 无论是新的基准框架还是更准确的模型 – 都让我们逐渐接近个性化治疗策略有可能深刻改善患者的健康结果，”Grosenick 博士总结道。