将形状分析与机器学习整合以预测阴道出生的产后出血

客观的

这项研究旨在开发与Shapley添加性解释（SHAP）分析集成的机器学习（ML）模型，以预测阴道分娩后产后出血（PPH），为在临床环境中的个性化风险评估和预防提供了潜在的工具。

方法

我们在中国东北部进行了一项回顾性多中心队列研究，其中包括2018年9月至2023年12月在三家三级医院进行阴道分娩的妇女。从电子病历中提取了数据。该数据集分为训练集（70％）和内部验证集（30％），以防止过度拟合。外部验证是在单独的数据集上执行的。几个评估指标，包括接收器操作特征曲线（AUC）下的面积，用于比较预测性能。使用Shap对特征进行排名，并解释了最终模型。

结果

XGBoost模型表现出对PPH的较高预测精度，在训练集中，AUC为0.997。基于Shap值的特征选择确定了15个关键功能，这些功能有助于模型的预测能力。形状的依赖性和摘要图为每个功能的贡献提供了直观的见解，从而可以识别异常。最终模型保持了高预测能力，内部验证的AUC为0.894，外部验证为0.880。

结论

这项研究成功地开发了一种可解释的ML模型，该模型以高精度预测PPH。对于进一步验证和完善模型的未来研究是必要的，尤其是在不同人群和医疗机构中评估其普遍性的必要条件。

产后出血（PPH）是一个重大的全球健康问题，可能导致女性严重且潜在的致命并发症，尤其是在低资产环境中。由于其地位是孕产妇死亡率的主要原因之一，特别是在发展中国家[1]。通过制定临床准则和政策，可以预防这些死亡的大多数[2]，以及促进相关研究和培训。

在常规临床实践中，医生通常通过评估临床病史，进行身体检查和进行实验室检查来估计PPH的可能性。但是，这些评估的敏感性和特异性有限，加上PPH的发病率低，意味着传统的出血评估工具[3，，，，4]例如结构化历史记录和系统评估量表，在评估PPH的发生率方面表现出低功效。随着医学大数据和人工智能的发展，PPH的预测模型已经开始出现，为早期风险评估和干预提供了新的机会。但是，当前大多数研究在剖宫产和阴道分娩后没有区分PPH [4]。此外，模型构建中预测因素的选择通常受到数据收集限制和样本量的限制[5]，导致大多数临床预测模型中缺乏全面评估。

近年来，智能医学和人工智能的兴起强调了机器学习（ML）技术的无与伦比的优势（ML）比传统统计[6]。ML涉及将预测模型拟合到数据或识别数据集中的信息模式[7]，利用数据功能建立自动数据分析过程，从而增强新数据的预测能力。学者已将ML算法应用于各个领域，以构建预测模型，例如疾病预测和诊断[8]，预后或死亡率预测[9]，药物相互作用预测[10]，重新寄养预测[11]，患者护理需要预测[12]，所有这些表现出良好的预测性能[13]。

尽管具有优势，但ML在医学领域的研究仍面临几个挑战，包括处理缺失的数据，避免模型过度拟合以及对数据集属性之间的相互关系的考虑[14]。此外，黑匣子问题是，用户或利益相关者看不到模型输入和操作，使可解释性复杂[15]。由于其算法结构的复杂性和多维性，了解ML模型对于临床医生来说可能很难。Shapley添加说明（Shap），这是一种受游戏理论启发并由Lundberg等人提出的方法。[16]，通过为每个输入功能分配一个值来解决此问题，指示该功能如何促进特定数据点的预测。有些因素对预测概率产生了积极影响，而其他因素则具有负面影响[17]。这可以帮助临床医生量化危险因素，提高其专注于临床实践的能力并阻止他们。

这项研究旨在使用各种ML算法来构建一个最佳的PPH预测模型，以进行阴道递送。此外，它试图评估和量化风险因素，为高危孕妇的个性化评估和预防PPH提供高度可靠的参考。

研究人群

这项回顾性多中心队列研究是在中国东北部进行的，重点是进行阴道分娩以发展和验证PPH的预测模型的妇女。该派生队列包括在2018年9月至2023年12月至2023年12月的三家独立三级医院（中国医科大学的Shengjing医院，借助母体和儿童健康医院）和Shenyang妇女和儿童医院的妇女。那些被充分告知后同意的人被包括在研究中。排除标准为：（1）年龄小于18岁或超过50岁；（2）分娩时的胎龄小于37周或超过42周；（3）多个出生；（4）死胎，新生儿死亡或任何诱发的劳动，目的是终止胎儿的生命。

这项研究是根据赫尔辛基宣言进行的，并得到了申金医院的机构审查委员会的批准（No. 2016ps344k，日期：17/12/2016）。

数据收集和处理

使用医院的电子医疗系统，收集了有关基本特征，产科病史，妊娠并发症，递送过程和新生儿状况的数据，以识别用于构建预测模型的特征。数据类别包括：1.基本特征：年龄，种族，教育水平，职业（根据体力劳动强度分为三类：轻度体力劳动（LPL），中等体力劳动（MPL）和重度体力劳动（HPL）（HPL），人均每月收入，怀孕前的身体质量指数（BMI），吸烟状况和饮酒状况。2.口腔史上的病史和怀孕并发症：急性，平等，流产的历史，自发流产历史，诱发和医学流产历史，胎儿死亡的劳动归纳历史（旨在终止不可行或死者的胎儿），使用辅助生殖技术，送礼时的妇女年龄，妊娠年龄，妊娠糖尿病，妊娠预先诱发的hypertia hypertia hypertia hypertia hypertia hypertia，包括PIH，PIH，包括GESTERIPAN，包括Gesstemential，包括Gessention，包括Gesstementia，包括Gessention，包括Gessentie，包括Gessention，包括Gessention，包括GESTERIPAN，包括GESTERIPANCERIADeclampsia），怀孕期间的贫血，凝血功能障碍，子宫肌瘤或亚氏症，多hydramnios，脐带纠缠，膜的过早破裂，胎盘突然，妊娠期间的阴道出血，妊娠肿胀以及疤痕过多的Uterus。3.递送过程和新生儿条件：交付时间，总劳动持续时间，第一阶段的劳动时间（包括潜在和活跃阶段），第二阶段持续时间，第三阶段持续时间，胎盘保留/粘附/植入，递送方面的工具辅助，宫颈，阴道和围产作用裂缝，新生儿的体重，新生儿体重和新生儿长度。

PPH被定义为阴道出血超过阴道分娩后24小时内的500毫升，对应于早期产后出血的临床概念。PPH主要是使用称重方法测量的，该方法计算了收集血液之前和之后吸收材料的重量差异。在较重的出血的情况下，将血液收集在容器中，并使用渐变杯进行测量。由于多重共线性对预测精度的潜在影响，通过删除两个相关特征之一，根据其与结果的较低相关性，可以处理Spearman的相关性分析中具有高相关系数（相关系数> 0.6）的特征。补充数字中说明了这个结果S1。

模型开发和比较

从2018年9月到2022年12月在三家独立的高等教育医院收集的派生队列的数据被分为培训集（70％）和验证集（30％），以防止过度拟合。在2023年1月至2023年12月之间的入院中，还使用与派生队列相同的包含和排除标准的额外的测试数据集用于外部验证。

共有34个功能用于开发预测模型。使用中位数插补来处理丢失的数据，这是处理临床数据集中缺失值的常见方法。采用了六个ML模型来预测重症孕妇的PPH：极端梯度提升（XGBoost），轻梯度增强机（LGBM），梯度提升决策树（GBDT），梯度提升机（GBM），适应性增强（Adaboost）（Adaboost）和Bernoulli Naive Bayes（Bnb）（BnB）。使用常见的评估指标，包括接收器操作特征（ROC）曲线（AUC），准确性，精度，召回和F1分数，以评估模型的可靠性和性能。此外，还应用了决策曲线分析（DCA）和校准曲线，以验证内部验证数据集和外部验证数据集上的预测模型。

特征选择和模型说明

为了确保临床医生可以接受和理解预测模型，使用Shapley添加说明（SHAP）方法来计算每个变量对预测的贡献，从而解释了最终模型的输出。这种可解释性方法提供了两种类型的解释：一个全局解释，描述了该模型在功能级别上的总体功能，以及一个局部解释，该解释表明单个特征如何通过依赖图来影响模型的输出。

使用塑形值来协助特征选择，通过重要性对预测模型的特征进行排名，并选择具有最强预测能力的人进行进一步分析。Delong等人的非参数方法。被用来使用MEDCALC版本19.6比较AUC的差异（https://www.medcalc.org）。逐渐降低所选ML模型的特征，直到AUC显着降低。

网页部署工具

为了增强模型的临床实用性，最终预测模型被使用简化的Python框架实现到Web应用程序中。此应用程序允许用户输入最终模型的相应特征，返回PPH的概率和单个子项目的力图。

统计分析

使用Python版本3.6.5进行了数据分析（https://www.python.org）和SPSS统计软件版本23.0（https://www.ibm.com/spss）。具有偏斜分布的连续变量以四分位间范围的中值表示，并使用Mann-Whitney U检验或Kruskal-Wallis H检验进行了比较。分类变量表示为具有百分比的数字，并使用卡方检验或Fisher的精确测试进行了比较。协方差分析（ANCOVA）用于调整混杂因素。AUC用于评估预测功效。使用R 4.1.0版进行DCA（https://www.r-project.org）。两尾p值<0.05被认为具有统计学意义。

患者特征

这项回顾性研究包括总共30,745个分类量来鉴定预测模型队列。在2018年9月至2022年12月的研究期间，根据研究的排除标准，将三家医院的妇产科入住了27,389名占有率。符合纳入标准的其余24,833个偏移量被随机分配为单独的培训和内部验证组（请参阅表格 1）。此外，在2023年1月至2023年12月的外部验证队列中，排除了257个分离符，其中包括3,099个分娩量（补充表1）。研究设计细节如图所示。 1。

患者选择标准流程图

模型开发和绩效比较

在怀孕期间和分娩后24小时内收集的数据用于生成六个ML模型，以预测围产期围产期的PPH的可能性。在这六个模型中，XGBoost模型（AUC = 0.997，CI：0.997 0.998）证明了PPH的最佳预测性能，其次是LGBM型号（AUC = 0.980，CI：0.977-0.977â0.984）和GBDT模型（GBDT模型（Auc -ci = 0.996）。所有六个ML模型的ROC曲线包含所有功能，如图所示。 2，具有表中详细介绍的预测值 2。图2比较不同机器学习模型的ROC结果。

LGBM：轻梯度提升机；GBDT：梯度提升决策树；GBM：梯度提升机；ADA：自适应提升；BNB：伯诺利天真的贝叶斯

构建了结合了所有34个已确定风险因素的初始预测模型，并应用了外形值分析以进行特征选择。通过绘制所有样本中每个特征的外形值，我们对数据中的整体模式有了直观的了解，这也促进了异常预测的检测。在这些可视化中（图 3和补充图 2），每一行对应于不同的特征，水平轴代表形状值。各个数据点代表样品，颜色编码以指示高和蓝色的特征值红色的大小。这种方法使我们能够辨别每个功能对模型预测的贡献，并确定可能需要进一步研究的任何异常。

所有风险因素的最初XGBoost模型形状值的全球模型说明。（一个）Shap摘要栏图。（b）Shap摘要点图

识别最终模型

在功能降低过程中，基于功能重要性排名，XGBoost模型的AUC和F1分数表明，该模型保持良好的预测能力，当功能数量减少到15时，预测能力没有显着变化（图。 4A-B，补充表2，补充图 3）。因此，当将功能集缩小到15个功能时，选择了最终模型。

XGBoost模型的性能预测PPH。（一个）XGBoost模型的AUC具有不同数量的功能。（b）XGBoost模型的F1分数具有不同的功能。（C）皮尔逊相关图15个功能

评估了15个功能之间的多重共线性，以确定其对预测准确性的潜在影响。接近0的相关系数表示较低的相关性，其值小于0.8通常被认为不相关。图 4C显示每个特征都具有独立性，表明多重共线性在该模型中不是一个重要的问题。

模型说明

如“ shap摘要”图中所示（图 5），使用平均形状值评估了15个选定特征对模型的贡献，该值以降序显示。图 6描述了这15个特征的实际值和形状值之间的关系。零以上的塑形值对应于模型的正类预测中PPH的较高风险。例如，具有新生权重的分离量¥3500 g或第二阶段的劳动力 - 100分钟的劳动阶段的变形值高于零，将决定的决定推向了PPH。

最终XGBoost模型形状值的全球模型解释15个风险因素。（一个）Shap摘要栏图。（b）Shap摘要点图

形状依赖图。每个依赖图显示了单个特征如何影响预测模型的输出，每个点代表一个患者。超过零特征的特定特征的形状值将决策推向了PPH类。LPL：轻便的体力劳动；MPL：适度的体力劳动；HPL：繁重的体力劳动；舞会：膜过早破裂；BMI：体重指数

局部解释分析了如何通过组合个性化输入数据对个别患者进行特定预测。图 7A和C，以及7e显示了在24小时产后没有经历过PPH的分离率，这说明了所选特征对模型输出的影响。根据预测模型，图中的X轴 8A表示样品被预测为非PPH的概率，而Y轴表示所选特征及其相应的值。瀑布图始于X轴上的预期模型输出（E [f（x）] = -3.051）。该基线值为-3.051是测试集的平均预测概率。正贡献（红色）和负贡献（蓝色）的组合将预期值输出转移到最终模型输出（f（x）= -6.327）。正状值增加了样本被归类为PPH的概率，而负形值则降低了它。力图通过添加力布局提供了进一步的见解（图 7b）。图7

（一个）每个功能的瀑布图。（b）每个功能的瀑布图为高的个体患者造成的风险图；（C）每项功能的风险造成的力图低较低的个别患者；（D）每个功能的风险图。（E）每个功能的风险演变为低较低的个体患者贡献；（f）每项功能的风险演变，每个功能都为个别患者高图8

（一个）火车队列的ROC；（b）内部验证队列的ROC；（C）外部验证队列的ROC；（D）火车队列的校准曲线；（E）火车队列的DCA曲线；（f）内部验证队列的校准曲线；（g）内部验证队列的DCA曲线；（h）外部验证队列的校准曲线；（我）外部验证队列的DCA曲线。ROC：接收器操作特征曲线；AUC：曲线下的区域；DCA：决策曲线分析

同样，图 7B和D，以及7f显示出在24小时产后经历PPH的分娩因素。图 7B强调了将决策推向PPH类别及其实际测量值的功能，表明该情况的决定倾向于PPH，概率为32.3％。

验证最终模型

为了验证模型的鲁棒性并确保了足够的样本量，我们应用了内部和外部验证数据集。内部验证数据集的AUC为0.894（95％CI：0.875 0.912），外部验证数据集为0.880（95％CI：0.855 0.905），如图所示。 8。尽管这些AUC值略低于训练集中观察到的值，但它们仍然表明内部和外部验证中的预测性能很强。校准曲线和DCA也显示出内部和外部验证数据集的改善，从而解决了测试集中看到的阳性数据的不平衡。

方便临床实用程序应用

最终的预测模型已实施到Web应用程序中，以促进在临床方案中的实际使用。通过输入模型所需的15个功能的实际值，该应用程序可以预测单个分离量的PPH风险。它还显示了每个偏爱的力图，表明有助于对PPH决定的功能：右侧的特征在蓝色的特征表示将预测推向非PPH的因素，而左侧的左侧功能则以红色推向PPH的预测。https://postpartum-hemorrhage-prediction-model6.streamlit.app/。讨论

这项研究利用摇摆值有助于确定危险因素并构建PPH的ML预测模型，以预测接受阴道分娩的妇女的风险。通过利用大数据开发用于PPH的诊断系统，我们可以显着提高PPH诊断的准确性。尽管包括ML在内的人工智能在全球产科疾病的诊断和治疗方面已取得了长足的进步，但可解释的ML在临床实践中的应用仍处于起步阶段。这项研究代表了改善产科医疗保健和降低孕产妇死亡率的重要一步，尤其是通过提供早期鉴定高危患者的工具。

目前，全球三种广泛使用的产后出血风险评估工具是加利福尼亚的孕产妇质量护理协作（CMQCC）[18]工具包，妇女健康，产科和新生儿护士协会（AWHONN）[19]指南，以及纽约州卫生部（Nysboh）[3]指南。这些工具总结了PPH的风险因素，并根据专家共识分为低，中，中等类别。但是，对这三个风险评估量表的比较研究发现，它们仅在预测高风险剖宫产组的严重PPH时具有中等的可靠性[20]。在这些工具中，只有当孕妇被分类时，高危组的PPH发生率显着更高[20]。此外，在Dilla等人的研究中，CMQCC工具包在预测需要输血的PPH的敏感性仅为22％，而低风险组中严重PPH的可能性仍然为0.4-0.4-0.6％[21]。因此，添加更多的评估指标和改进的建模方法可能会提高PPH预测的准确性。

2021年，Venkatesh等人。发表了一项利用ML预测PPH的研究[22]。这项研究包括152,279例分娩病例，其中7,279（4.8％）的pph超过1000毫升。它们包括55个危险因素，并使用了随机森林和极端梯度增强算法来开发ML模型。极端的梯度增强算法达到了最佳性能（AUC：0.93; 95％CI：0.92 0.93），其次是随机森林，表明ML的预测性能很高。但是，这项研究主要集中在与剖宫产相关的PPH病例上，其中28％的患者接受剖宫产，其中91％发生在剖宫产患者中。

阿卡泽的研究[23]从1995年到2020年，东京女子医科大学东中心，涉及9,894名进行阴道分娩的妇女，应用了11个临床变量，以创建一个预测PPH的ML模型，该模型定义为失血> 1000ml。该研究采用了一种合奏学习方法，其中包括五个ML分类器，包括逻辑回归，支持向量机，随机森林，增强树，决策树以及由两层神经网络组成的深度学习模型。深度学习模型证明了最佳性能，PPH预测的AUC为0.708，准确性为0.686，假阳性率（FPR）为0.312，误比（FNR）为0.398。

但是，以前的模型缺乏可解释性，因为它们没有解释由于其黑匣子性质而导致的ML算法预测的结果。Shap是一种基于游戏理论的Shapley值的ML模型解释方法，它通过分配模型预测对每个功能的贡献来解决此问题，从而解释了模型的决策过程[24]。Shap值量化了每个特征对模型预测结果的影响，从而帮助理解模型为何提供特定的预测。在这项研究中，Shap用于XGBOOST模型中，用于其出色的预测性能和解释性。通过Shap Force分析构建的个性化解释有助于医生了解为什么模型为何提出特定的高风险建议，从而增强对决策过程的理解。

为了进一步验证风险因素对模型的贡献，计算了Shap特征的重要性和特征效应。然后，确定了15个显着预测PPH的关键变量。PPH的最重要的输入参数是新生儿体重，其次是劳动阶段，工作性质，膜的过早破裂等。这些变量的临床意义与现有文献一致，强调了这些常见临床特征在预测PPH中的重要性。先前的研究表明，较大的新生儿出生体重是PPH的独立危险因素[25]。较重的婴儿通常与子宫延伸，长期劳动和困难的胎盘分离有关，所有这些都会增加出血的风险[26]。长时间的劳动力也已被确认为PPH的重要预测指标，可能表明子宫收缩不足，胎儿位​​置异常或胎盘分离难度，从而增加了产后出血的可能性[27，，，，28，，，，29]。有趣的是，职业因素也被确定为PPH的重要预测指标。从事中度至重型身体劳动职业的个人的发展可能性较低，这可能反映了生活方式和社会经济因素的潜在影响。此外，发现较早的产妇年龄和肥胖与较高的PPH风险有关。在妊娠40周的孕妇需要增强监视，与先前研究的发现保持一致，尤其是针对41至42周之间的研究结果[30]。此外，我们观察到，某些妊娠并发症显着增加了PPH的风险，强调了及时的预防和管理措施在临床实践中的重要性，例如预防感染，血压控制和贫血矫正，以降低PPH的风险。因此，本研究中的外形分析不仅有助于我们更深入地了解ML模型的预测机制，而且还为将模型应用于临床实践提供了桥梁，从而显着提高了其临床可行性。

但是，这项研究有几个局限性。首先，数据仅来自卑诗省地区，可能引入重大的选择偏差和限制可推广性。其次，尽管预测模型纳入了多种风险因素并表现出高度的总体功效，但限制性选择标准可能影响了PPH预测，阻碍了客观的临床公用事业评估。第三，尽管ML技术需要“用于预测模型构建的大数据”，但没有确定的标准来计算所需的样本量。因此，在解释结论时应谨慎行事，并有必要在不同人群中确认这些发现。

作者和隶属关系

1. Department of Obstetrics and Gynecology, Shengjing Hospital of China Medical University, Shenyang, China

   Zixuan Song, Yangzi Zhou & Dandan Zhang

2. Department of Obstetrics and Gynecology, Liaoning Maternal and Child Health Hospital, Shenyang, China

   Hong Lin

3. Department of Obstetrics and Gynecology, Shenyang Women’s and Children’s Hospital, Shenyang, China

   Mengyuan Shao

4. Department of Health Management, Shengjing Hospital of China Medical University, Shenyang, China

   Xiaoxue Wang & Xueting Chen

贡献

ZS and DZ designed the study and drafted the manuscript.HL, MS, and XW done the data collection.YZ and XC designed the statistical analysis plan.ZS has participated the training and reviewed and co-authored the manuscript with DZ.

Corresponding author

Correspondence toDandan Zhang。

道德批准并同意参加

Ethics approval and consent to participate: The study was approved by the Ethics Committee of Shengjing Hospital of China Medical University (No. 2016PS344K, Date.17/12/2016).All participants provided informed consent.

同意出版

Not Applicable.

竞争利益

作者没有宣称没有竞争利益。

Publisher’s note

关于已发表的地图和机构隶属关系中的管辖权主张，Springer自然仍然是中立的。

开放访问This article is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License, which permits any non-commercial use, sharing, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if you modified the licensed material.您没有根据本许可证的许可来共享本文或部分内容的改编材料。The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material.If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder.要查看此许可证的副本，请访问http://creativecommons.org/licenses/by-nc-nd/4.0/。重印和权限

关于这篇文章