机器学习方法克服了不平衡的临床数据，以进行鼻内无瓣监测

自由皮瓣重建是一种常见程序，用于重建肿瘤切除或创伤引起的大缺陷¹。在口腔和颌面区域，襟翼在功能和美学上都起着至关重要的作用。因此，皮瓣坏死会导致具有挑战性的医疗情况^{2，，，，3}。为了防止这种情况，术后皮瓣监测是必不可少的，并且已经引入了各种基于设备的监控方法^{4，，，，5，，，，6}。但是，这些监视方法仍然依赖于不断出现在患者床边的人员的多个观察结果，例如居民^{7，，，，8}。此外，最终的数据（通常是定性图像）可能很难解释，并且可能无法为操作外科医生提供结论性的证据。

为了解决这些困难，人工智能（AI）模型已应用于大大区域的襟翼监测^{9，，，，10，，，，11，，，，12}。但是，这些方法通常在解决临床环境中固有的类不平衡的同时努力实现稳健的性能，或者它们需要专门的成像设备。我们的研究利用从已经观察到的患者那里获得的照片，结合了来自各种解剖部位的图像并在不同的条件下，目的是开发一个模型，该模型可以在现实世界中广泛实现。

患者特征

审查了131例患者的病历，包括临床照片。最常见的病例是使用前大腿前（ALT）无瓣重建八一个切除术缺陷。在131名患者中，有8例因血管损害而进行了打捞程序，并在2例患者中观察到导致总皮瓣损失的晚期失败。详细信息显示在表中 1。表1研究患者的临床特征。数据集详细信息

仅将训练集用于模型学习，而测试集则仅用于验证。

数据以8：2的比率分开，导致训练集中有1501个样本，测试集中有376个样本。

根据皮瓣中的血管妥协的存在或不存在，将图像分为两类。1类代表一组具有确认血管损害的图像，通过接受重复打捞程序或通过确认皮瓣坏死的患者进行了验证，这是通过全面的颜色变化和催化性的完全改变所证明的。所有其他保持正常且活跃的皮瓣均被归类为0类。在因发现的血管妥协而重新进入打捞程序的患者中，未收集第二个血管吻合期后拍摄的图像。

每个班级都会随机选择样品，以确保测试和训练集中的类似类别分布。此信息总结在表中 2。

临床应用

在376张图像中，有352张代表了健康的皮瓣，而没有任何血管折衷，部分襟翼损失。其余的24张图像描绘了经历了静脉充血，动脉不足的襟翼。该模型将352个普通皮瓣图像中的351个正确分类为0类，并确定了需要打捞程序的24个不健康的皮瓣图像中的20个。

模型性能

我们以前探索了四个不同的模型配置，如表 3，考虑班级加权的应用和损失功能的选择。所有配置都将视觉变压器（VIT）大型模型作为共同体系结构。在所有实验中，学习率设置为0.0001，其他超参数遵循视觉变压器的默认建议。

使用准确性，F1分数，精度，召回和特定于类的指标对模型进行评估。桌子 4总结每个模型的总体性能指标。

所有类别模型的总体准确性为0.9867，F1得分为0.9863，表明这四个模型之间的性能异常高。相应的精确记录曲线如图所示。 1。图1对于广泛的召回值，Precision-Recall曲线保持较高的精度（接近1.0），仅在非常高的召回水平下急剧下降。

班级加权和焦点损失的结合似乎有效地解决了类不平衡问题。

正如预期的那样，在大多数级别的0个样本上，4个模型中提出的模型表现出色。值得注意的是，对于少数类1样本，它还达到了0.95的精度，这表明与没有加权或使用简单跨侧面（CE）损失的模型相比，表现出色。所有模型的特定班级性能指标均在表中列出 5。表5所有模型的特定于类的性能对表。用于模型验证的患者级交叉验证

为了更严格地验证模型的临床适用性，我们还在患者水平上进行了5倍的交叉验证。

在这种方法中，将131名患者随机分为5组，以确保将同一患者的所有图像专门放置在训练或测试集中。

表格总结了患者级交叉验证的结果 6。加权局灶性损耗模型表现出卓越的性能，平均精度为0.9379±0.0173，精度为0.9421±0.0152。为了进行比较，没有体重模型的CE损耗的精度为0.9339±0.0197，而没有体重和加权CE损耗模型的焦点损失表现出较低的性能，精度分别为0.8956±0.0229和0.8634 - ±0.8634 - ±0.0748。

此外，我们提出的加权局灶性损失模型在所有配置中都达到了最高的F1得分（0.9080±0.0253），这证实了其在处理此临床数据集中存在的不平衡类分布方面的有效性。

人工智能彻底改变了医学成像，尤其是在诊断和细分方面。许多研究采用人工神经网络来识别疾病并预测各种领域的预后，包括神经外科和整形手术^{13，，，，14，，，，15，，，，16}。随后，开发了卷积神经网络（CNN）模型，以识别异常区域，诊断状况和预测临床照片的结果^{17，，，，18}。

Mantelakis等。从早期的非神经网络模型到当代CNN方法，对整容手术中的人工智能应用进行了全面综述。他们报告说，分析视觉图像进行病变评估和治疗计划的AI系统表现出很高的精度¹⁹。

自由皮瓣重建是肿瘤切除或创伤后功能和美学视角的关键治疗方式²⁰。尽管此过程的成功率超过95％，但罕见的血管妥协实例会导致复杂的结果^{2，，，，3}。通常可以通过频繁监测和迅速的打捞程序来避免这种并发症^{4，，，，5，，，，6}。

当前的监测方法包括传统观察，多普勒系统，颜色双工超声检查和近红外光谱。尽管它们很受欢迎，但这些方法中的每一种都有关键的局限性：它们可能会产生毫无意义的信号，这对于缺乏经验的居民人员来解释或涉及过大型观察设备的挑战，这些设备无法频繁使用^{21，，，，22}。此外，现有的监测方法均未提供可量化的襟翼更改的测量⁶。

针对这些局限性，Hsu等人。开发了一种监督的学习方法，以产生量化结果的量化结果¹²。但是，迄今为止，尚无此类尝试监视口腔内插入的免费襟翼。与观察位于外部部位的襟翼相比，位于口腔内的监测皮瓣提出了更大的挑战。尽管经常口服清洁程序，但皮瓣通常被与唾液混合的血液覆盖，使完全可视化变得困难。此外，口腔的复杂解剖结构可以使摄影文档本身具有挑战性^{23，，，，24}。此外，上述某些监视设备在口腔内完全不适用。

我们的模型仅利用皮瓣的2D图像，消除了与将大探针插入口腔相关的不适。尽管口腔的洞穴状结构不可避免地会导致图像之间的显着照明变化，但通过模型中的随机调整克服了这一挑战。因此，图像捕获只需要智能手机闪光灯。

鉴于血管吻合的成功率超过95％，在我们的研究中，只有131名患者中只有10例接受了打捞程序或经历了总皮瓣损失。我们通过应用班级加权并在训练过程中纳入焦点损失来解决固有的数据集不平衡。班级加权和焦点损失的结合提出了一种解决机器学习模型中类不平衡的协同方法。班级加权通过分配更高的重要性来减轻少数族裔的代表性，而焦点损失则动态调整学习过程以专注于难以分类的样本。这种集成的方法增强了模型从代表性不足的类和具有挑战性的实例中学习判别特征的能力，从而提高了整体分类性能。这种方法在高度偏斜的数据集中特别有效，在此方法可以显着提高模型的概括能力并提高现实世界应用中遇到的关键少数群体的识别率。

尽管图像中存在复杂的结构，例如牙齿，嘴唇和舌头，通常被血液和唾液所掩盖，但我们的模型还是成功地识别了皮瓣并发现其生存能力的变化。即使这些结构偏离了由于手术干预和术后条件的正常外观，这种能力仍然存在。

与人类观察者相比，模型的量化变化的能力可以更敏感地检测改变。如图所示 2，用3小时的间隔捕获了两个输入图像（a：2 h后拯救过程，b：5 h，初始救助程序）。与第一个相比，第二张图片显示出充血边缘的略有增加，但差异足够微妙，以至于临床医生认为皮瓣相似并推迟了进一步的救助程序。然而，该模型表明发生了重大变化，估计第一个图像中襟翼中血管损害的概率为1.3％，在第二张图像中将近十倍至13％。随后，该患者在最初的患者15小时进行了第二次打捞程序。尽管采取了这些干预措施，但血管损害仍未解决，最终需要清除皮瓣。

输入来自一名58岁男性患者的图像，他们接受了口咽癌的格式切除术和咽切除术，并使用前外侧大腿皮瓣修复了缺陷。初次手术后患者表现出充血症状，促使静脉重新塑料11小时。左侧的图像显示了重新施加后2小时的模型分析，而右侧的图像表示重新构态后5小时的分析。

尽管模型的总体表现良好（F1分数= 0.9863），但第1类观察到的相对较低的召回率（0.83）仍需要改进。这表明该模型可能会以大约17％的概率将实际的血管妥协案件分类为正常的实际病例，这可能会导致实践中的重大临床风险。这些误差主要源于有限的数据集，只有几百个代表血管妥协的图像，以及用于确定血管妥协的置信水平阈值的次优构型。如前所述，当置信度低于50％时，当前模型不会直接打印1类。但是，它确实表明了通过提高置信度的潜在血管疾病。因此，在临床部署之前，似乎有必要根据怀疑血流障碍的图像来重新校准置信度水平阈值。在临床环境中，缺少受损的皮瓣（假阴性）可能导致不可逆转的组织损失，我们建议设定较低的标记潜在损害的阈值，接受较高的假阳性率作为提高患者安全的合理权衡。鉴于缺失血管妥协的严重后果，临床上可接受的召回应接近0.95或更高。

在376张图像的测试集中，该模型仅分类五个。一个健康的皮瓣错误地分类为坏死（假阴性），而四个具有血管折衷的皮瓣被错误分类为健康（假阳性）。假阴性病例涉及用无alt瓣修复的八一个缺陷，对侧舌头似乎是坏死的。该模型错误地将这种黑暗的舌头识别为由于图像中类似比例而引起的皮瓣。所有四个假阳性病例均表现出血管损害。在其中三种情况下，皮瓣仅占据图像的一小部分，大部分照片由正常组织组成，这可能导致模型的错误分类。其余的情况涉及在将前臂皮瓣移植到颊颊后12小时拍摄的图像。在此图像中，襟翼的颜色和边缘与健康皮瓣的颜色和边缘非常相似，这使该模型诊断为没有血管损害。然而，到第四天的术后，皮瓣显示出坏死的迹象，包括部分皮肤脱落。

该模型最初是出于诊断目的而开发的，该模型表现出了作为外科医生助手的襟翼敏感探测器的潜力。凭借分析在各种条件和照明下拍摄的图像的能力，它可以提供全天候的，与位置无关的结果，从而为术后外科医师提供支持的决策过程。

但是，人们普遍承认，AI应该扩大而不是更换外科医生的决策过程²⁰。由于该模型量化了血管损害的可能性而不是决定治疗时机，因此临床判断对于确定启动救助程序的阈值仍然至关重要。

这项研究提出了一些潜在改进的领域。尽管该模型目前根据血管妥协的可能性提供了二进制分类，但未来的迭代可能会纳入专家注释，以为flap的明显状况提供更多细微的解释，从而为临床医生提供其他治疗决策的见解。此外，这项研究是在一个单个机构的单个机构进行的，该机构将患者队列限制为亚洲种族。为了扩大模型的适用性，需要对更多样化的皮肤肤色进行进一步的培训。

客观上，我们的模型在识别襟翼和评估其生存能力方面表现出了高性能。值得注意的是，这代表了为口内瓣监测开发的第一个深度学习模型。

道德声明

这项回顾性研究被放弃了，要求伊森大学牙科医院的机构审查委员会（IRB），牙科学院的机构审查委员会（IRB）的所有受试者的知情同意，这项研究的实验方案得到了尤斯大学牙科医院IRB牙科学院的IRB批准（批准编号：2-2024- 0008）。所有方法均根据牙科学院Yonsei大学牙科医院的相关指南和法规进行。

研究人群

从2021年6月到2024年3月，有207例连续的患者接受了手术，以使用各种自由皮瓣重建术后缺陷。其中，只有131例患者提供了足够数量和适当的顺序临床照片质量，总共产生了1877张图像进行分析。遵循建立的方案，临床观察重点是皮瓣颜色，温度，毛细血管补充和毛茸茸。在怀疑动脉不足的情况下，进行了针刺测试。与先前的观察结果相比，打捞程序的适应症包括皮瓣颜色的明显变化，充血边缘扩大，销钉测试中缺乏血液流量或皮瓣毛茸茸的变化。

所有照片均由使用各种捕获设备（iPhone 13 Mini（Apple Inc.），iPhone 13 Pro（Apple Inc.），iPhone 15（Apple Inc.），Galaxy S21（Samsung Group）和Galaxy Z Flip4（Samsung Group）拍摄的居住人员立即进行皮瓣监控。在最初的48小时内，当成功打捞程序的可能性更高时，以2小时或3小时的间隔捕获图像⁶。手术后的第三天，每6小时观察一次皮瓣，从手术后的第四天开始，每天拍摄一张照片。这些照片按案例，日期和捕获时间分类。

数据准备

由于用来拍摄照片的各种设备，实施了标准化的预处理管道：调整大小，随机水平翻转，随机旋转，颜色抖动和归一化。这些过程有助于克服颜色音调的局限性，这些限制可能是将数据集限制为单个人群的，以及当襟翼位于更深层次的区域时，口腔的照明不一致的特征。下面提供了每种方法的详细说明。

1. 1。

   调整大小：所有图像均保持在224 − 224像素，同时保持纵横比²⁵。

2. 2。

   随机水平翻转：图像以0.5的概率水平翻转，以引入反射不变性²⁶。

3. 3。

   随机旋转：图像在±10度内以随机角度旋转，以增强旋转不变性²⁷。

4. 4。

   颜色抖动：对亮度，对比度，饱和度和色调进行随机调整以提高对照明条件和颜色分布变化的模型弹性²⁸。

5. 5。

   归一化：最近，Huang等人。在2023年的研究中指出，即使在捕获皮瓣的单个图像中，皮瓣组织和原始皮肤之间的RGB值也可能存在差异。因此，研究团队在预处理过程中进行了正常化的过程，利用来自Imagenet数据集的图像，这可以增强皮肤肤色的多样性，否则仅通过仅包括一个种族而受到限制^{29，，，，30}。

模型开发

我们采用了AMD 7500F CPU和RTX 4090，带有24GB RAM进行培训。所使用的预训练模型是具有默认参数值的VIT_L_16模型。

为了解决我们准备好的数据集中的班级不平衡，我们实施了样本加权策略³¹。我们定义体重\（w_i \）使用样本总数（n），类（c）的数量以及I类样本数量的每个类别\（n_i \）如下³²。

使用此，我们定义了调整的重量\（w'_1 \）对于少数族裔。在我们的实施中，\（\ beta = 2 \）。

这种额外的提升强调了训练期间少数族类样本的重要性³³。

为了进一步解决训练期间的不平衡，我们在损失函数水平上采用了焦点损失技术。使用平衡系数\（\ alpha _i \）上课我和聚焦参数\（\ gamma \），我们将焦点损失（FL）定义为：

\（\ alpha _i \）是0.25和\（\ gamma \）在我们的实施中是2³⁴。

这种方法有助于减少简单示例（y接近Å·）的损失贡献，并增加纠正错误分类示例的重要性。整体培训结构在图中进行了简要说明。 3。

使用类加权和焦点损失来克服阶级失衡的模型的示意图。MLP =多层感知器。

临床应用

用于测试的376张图像输入了模型，该模型输出了代表血管损害概率的置信度（图。 4）。当此概率低于0.5时，图像被归类为1类（可能存在血管妥协）。

（（一个）模型接口。当将术后图像提交到模型中时，它会识别图像中结构之间的瓣，并输出血管折衷的概率。（（b）一张64岁女性患者的术后3小时照片，该患者在左下牙龈中切除了鳞状细胞癌，上面覆盖有前大腿前外侧的瓣。考虑到皮瓣的颜色和毛茸茸，它看起来非常健康，并且该模型的血管折衷概率小于1％。迄今为止，此皮瓣一直保持健康。（（c）一张43岁男性患者的48小时术后照片，他在左下颌骨中切除了蛋白母细胞瘤，并使用日期in-a-a-a-nay Technique重建。尽管前缘显得略有黑，但瓣的整体外观被认为是健康的，并且该模型计算出低血管损害的可能性。迄今为止，此皮瓣也一直保持健康。

基于VIT-LARGE模型配置，可以在使用少于8 GB的GPU内存的硬件上执行我们提出的方法的推理过程，该方法利用了视觉变压器（VIT）体系结构。量化后，提出的方法可以在移动环境中有效使用，例如配备神经处理单元（NPU）的智能手机。该优化使我们的方法作为智能手机应用程序实现，从而促进了设备推理功能。

作者注意

1. Hyounmin Kim and Dongwook Kim contributed equally to this work.

作者和隶属关系

1. Department of Oral and Maxillofacial Surgery, Yonsei University College of Dentistry, Seoul, 03722, Republic of Korea

   Hyounmin Kim & Dongwook Kim

2. Oral Science Research Center, Yonsei University College of Dentistry, Seoul, 03722, Republic of Korea

   Dongwook Kim

3. Department of Global Business and Technology, Hankuk University of Foreign Studies, Yongin, 17035, Republic of Korea

   Juho Bai

贡献

H.K.and D.K.构思和设计实验。H.K.and J.B. interpreted the data.H.K.drafted the work, and D.K.and J.B. substantively revised the manuscript.All authors approved the submitted version and agreed to be personally accountable for their own contributions and to ensure that questions related to the accuracy or integrity of any part of the work, even those in which they were not personally involved, were appropriately investigated, resolved, and documented in the literature.

Corresponding authors

对应Dongwook Kim或者Juho Bai。

竞争利益

作者没有宣称没有竞争利益。

Publisher’s note

关于已发表的地图和机构隶属关系中的管辖权主张，Springer自然仍然是中立的。

开放访问This article is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License, which permits any non-commercial use, sharing, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if you modified the licensed material.您没有根据本许可证的许可来共享本文或部分内容的改编材料。The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material.If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder.要查看此许可证的副本，请访问http://creativecommons.org/licenses/by-nc-nd/4.0/。Reprints and permissions

关于这篇文章