对基于人工智能的系统的评估，用于在食管胃刺镜检查过程中实时高质量的光检查

增强食管胃构致镜头镜检查（EGD）的诊断准确性对于诊断各种胃肠道疾病（包括恶性疾病），例如早期胃癌和淋巴瘤至关重要¹。EGD期间整个胃肠道的全面观察和光照记录提高了诊断率并降低了丢失的病变率²。EGD指南突出了应在检查期间观察和记录的关键解剖标志，以最大程度地减少盲点^{3，，，，4，，，，5}。此外，通过审查过去的发现，促进医学专业人员之间的有效沟通并提供法律保护，全面的光照据据篇幅在准确评估疾病进展方面起着至关重要的作用³。

但是，实现完整的观察并不总是可以保证，并且取决于内窥镜的技能或患者合作的水平⁶。大多数光检查都是手动进行的，涉及图像的捕获和保存，平均拍摄20至40张内镜图片。在此过程中，由于内窥镜的快速运动或患者或周围器官的意外运动，可能会产生不清晰或不明智的图像，例如模糊，太黑或包含伪影的图像。⁷。可以通过反复捕获图像来最大程度地降低非信息图像⁸。在人工智能（AI）的帮助下，这些重复和劳动密集型任务可以大大减少。

除了通过AI帮助提高诊断准确性外，AI的重要角色之一是通过自动化简单，重复的任务来帮助临床医生专注于更重要的任务⁹。几项研究已经评估了基于AI的内窥镜系统，用于实时识别和自动捕获解剖学地标^{10，，，，11，，，，12，，，，13，，，，14}。这些系统在监测盲点方面表现出很高的精度，并实现了全面的光照文献，从而帮助内窥镜医生最大程度地减少盲点并提高EGD的诊断准确性。但是，自动化光检查对临床指标（例如图像质量和检查时间）的影响仍有待观察。有必要在AI辅助下评估图像质量和检查时间，以评估AI系统，以减轻压力大的任务，例如冻结图像框架并调整内窥镜以捕获足够的地标图像。

为了提高光照证明的完整性并减轻内窥镜反复操纵引起的负担，我们开发了一种基于SWIN变压器体系结构的EGD助手系统，称为“自动化光照密切构图任务”（APT）。APT执行两个任务：分类和最佳射击选择。它将在EGD期间观察到的图像分为11个不同的解剖标志。在分类图像中，APT可实时选择并呈现适当的图像，以更好地观察粘膜，确保清晰，没有噪音和缺乏模糊性。在这项研究中，我们通过将其与常规手动方法进行比较，评估了APT实时光照的完整性和质量。

公寓的发展和特征

APT利用Swin Transformer架构进行分类任务（图 1A，补充图。S2）。作为视觉变压器（VIT）的高级模型，Swin Transformer通过用线性计算效率构造层次特征图来解决与规模和计算复杂性相关的挑战¹⁵。Swin变压器的两个关键特征是其层次结构以及自我发项层之间窗口分区的战略转移，它们有效地捕获了多规模信息并优化了计算性能^{15，，，，16}。这些功能使能够成功地将EGD图像成功地分为不同的胃区域。

提出模型的开发和结构。（（一个）在APT模型中，Swin Transformer和多任务学习的体系结构。图像输入通过斑块分配分为段，然后进行线性嵌入和几个SWIN变压器块。这些障碍在斑块内和跨斑块内采用自我注意的机制来学习空间层次结构。合并层集成了补丁级数据以进行多类分类。在多任务学习中，每个任务都利用他人的知识来增强性能并减少过度拟合。任务1的分类模型最终应用于APT模型。（（b）APT开发的主要步骤。APT旨在将单个内窥镜图像作为输入，并在1至18的范围内产生一个输出值（图。 

1一个）。分类1至11对应于上胃肠道的不同解剖标志，如下所示：地标1代表食道；2，胃食管连接；3，十二指肠第二部分；4，十二指肠灯泡；5，胸骨和幽门；6，Angulus；7，中下部身体；8，中upp的身体；9，眼底的翻新视图；10，胃cardia的翻新视图；11，胃体较小曲率侧的翻新视图（补充图。S1）。第12至18类被统称为其他图像，其中详细观察GI Mucosa是具有挑战性的。该类别包括胃汁，内窥镜仪器和类似伪影的图像。对于在第12至18类中分类的图像，我们采用了统一的其他分类方法，消除了对单独存储和处理的需求。

将最佳的选择模块应用于APT，以识别用于诊断胃病理学的最佳图像。该模块采用快速的傅立叶变换算法来基于其清晰度对图像进行排名，该图像是通过分析图像帧的频率成分来计​​算的¹⁷。之后，选择高度排名的图像作为疾病检测最合适的选择（图 2）。

APT的整体工作流程。APT模型将视频帧分类为11个具有里程碑意义的类别。然后，快速傅立叶变换模块估计图像的清晰度，并为每个地标选择最佳的射击框。FFT快速傅立叶变换。

培训和测试公寓

该数据集由2017年至2022年在首尔国立大学医院进行的3,309次EGD检查中的102,798张内镜图像。所有EGD图像均在白光下使用三家制造商的胃镜（Olympus Optical Co.日本彭特克斯医学，日本东京）。对于测试组，我们从251名患者中随机抽样了7,851张图像，每个地标约500张图像，而其余的95,047张图像用于培训和验证数据集（图。 1b）。我们的策略涉及采用多任务学习，包括两项任务（图 

1一个）。第一个任务是将图像分类为18个类别，包括所需的地标和7种挑战的其他类别。第二项任务旨在通过结合邻近地标通过将18个地标分为7个类别。我们选择了多任务学习，因为它可以通过利用跨任务的知识，防止过度拟合和改善概括来增强个人任务绩效18，，，，^{19。为了确定这项研究的最佳深度学习模型，我们使用变压器和Deep CNN模型进行了培训。}这些模型通过转移学习在我们的特定数据集上进行了微调，在1,000个类别的大量数据集中进行了预训练

20。^{我们进行了k折的交叉验证（kâ= 5），并且k倍的性能几乎相同，误差率小于2％。}在整个训练时期内对培训，验证和测试组进行了评估，以评估其性能。在训练和测试之后，Swin_B的变压器模型在98.4％处表现出卓越的准确性，超过了Deep CNN模型的性能，其精度达到93.4％（图。 1b）。

该模型是使用Pytorch 1.13库与Python 3.8（Python Software Foundation，Wilmington，DE，DE，DE）实施的。在NVIDIA TESLA V100 GPU（NVIDIA，SANTALCLARA，CA，USA）上进行了培训，其批量大小为128，学习率为1E-4，总计300个时期。

研究人群和数据集的预处理

我们包括在2023年3月至6月之间，包括19岁及以上的19岁及以上的患者在韩国首尔市政大学医院接受健康检查或评估GI上GI症状的患者（图。 3）。排除患有局部粘膜病变，解剖变异或不完整记录EGD视频的患者。从插入到去除范围的EGD检查记录。使用了以下设备和配件：内窥镜，包括GIF-H290和GIF-HQ290（Olympus，东京，日本东京），视频系统（Evis Lucera Elite CV-290/CLV-290SL，Olympus Medical Systems）。为了保留白光成像，通过编辑冻结，活检程序和窄带成像等部分来处理收集的视频。

研究流程图。

EGD视频的光照记录

七位内窥镜检查员实际上检查了经过1至3年的内窥镜检查经验，每场进行5至6例内窥镜检查病例，实际上检查了处理后的EGD视频（图。 3）。虚拟内窥镜检查是通过使用计算机视频播放器（GOM播放器，GOM＆Company，韩国）播放视频的，以及暂停（Freeze On）等功能来进行视频。考试期间可用倒流（内窥镜撤回）。测量了进行虚拟内窥镜检查的检查时间。在检查之前，指示内窥镜检查员捕获11个解剖标记中每一个的2至3张图像（补充图。S1）。同样，APT被用于接收经过处理的EGD视频，并呈现图像，捕获11个解剖标记中的每一个（补充视频）的2张照片。根据欧洲胃肠道内窥镜检查学会（ESGE）和日本系统筛查方案的指南选择了这11个解剖标志。3，，，，^{21。评估审稿人的光照记录}两位具有1至3年EGD经验的内窥镜医生（BYA和JYK）和一名没有参加虚拟EGD检查的EGD经验的专家（HC）评估了虚拟内窥镜检查中捕获的图像（

图 

3）。每个审阅者将所有EGD图像分为11个地标或将其标记为不适用（NA），其结果是由多数决定组合在一起的。如果每个审阅者都有不同的结果，则通过共识（补充方法和补充表S5）做出决定。此外，每个审阅者都在所有EGD图像上分配了平均意见分数（MOS），代表每个图像的主观质量（补充图S3和补充表S6）²²。三个审阅者的平均MOS是图像的最终MOS。

使用作者创建的图像评估程序进行了评估（补充图S4）。内窥镜医生和APT捕获的图像均以随机顺序暴露，以随机地暴露。

研究终点的定义

通过将APT标记与审阅者的标签进行比较，可以计算出捕获地标的含义的准确性，灵敏度和特异性。对于每个EGD视频，确定光照记录的完整性是在11个地标上被捕获的地标的比例（图。 3）。此外，计算了无效图像比总捕获图像的比例。无效的图像被认为不适合临床评估，包括分类为NA或分配的MOS 2或更低的图像。每种EGD视频的光照文献质量是通过捕获的EGD图像的平均苔藓测量的（图。 3）。

统计分析

数据表示为平均值或数字（百分比）。Cohen的Kappa系数被用来分析APT与审稿人标签之间的一致性。使用配对的t检验或Wilcoxon签名的额定测试来比较光复量的完整性和检查时间为配对数据。使用t检验或Wilcoxon秩和测试比较苔藓。对McNemar精确测试进行了比较在每个部位捕获的患者百分比。两尾p<.05被认为具有统计学意义。使用R程序，版本3.4.1（R统计计算基金会，维也纳，奥地利，奥地利，https://www.r-project.org）。

研究人群的基线特征

在经历了录制视频的EGD的184例患者中，对51例局部粘膜病变的患者进行了排除，63例EGD检查不完整的患者，25例解剖学变异患者以及18例接受治疗性内窥镜检查的患者。因此，研究人群中包括37名患者（图 3）。在研究人群中，男性患者的平均年龄为66.1％，35.1％。消化不良的症状是进行EGD考试的最常见目的（表 1）。表1研究人群的基线特征。捕获地标的智慧的准确性，敏感性和特异性

对于每个地标，单独的精度范围为95.90％至99.60％，灵敏度范围从75.68至100％，特异性分别为96.28至100％（图。 

4）。APT和审稿人之间的观察者间协议非常出色（Kappa得分为0.877，p<.001）。图4

APT在视频中捕获11个地标的平均准确度为98.16％，每个地标的准确性为95.90至99.60％。平均敏感性和特异性为88.89％和99.19％，范围从75.68至100％，分别为96.28至100％。X轴对应于特定的解剖标记，每个数字指示以下地标：标签1，食管；2，胃管交界处；3，十二指肠第二部分；4，十二指肠灯泡；5，胸骨和幽门；6，Angulus；7，中下部身体；8，中型身体；9，眼底的翻新视图；10，胃cardia的翻新视图；11，胃体较小曲率侧的翻新视图。

内窥镜医生和光电文献完整性的恰当之间的比较

APT和内镜医生在每个视频中捕获的平均图像数分别为20.54和20.03（补充表S1）。对于光检查的总体完整性，APT和内镜医生之间没有差异（87.72％比85.75％，，p= .258）。相比之下，APT Plus内窥镜医生的光检查表现出的完整性明显高于内窥镜医生（91.89％vs. 85.75％，p<.001）（表 2）。对于每个里程标的，APT占51.35至100％的患者，而内镜医生则捕获40.54至100％的患者（补充表S2）。内镜医生的光照记录中无效图像的比例高于APT（1.92％比6.59％，p= .007）（表 2）。表2群体之间的光检查完整性和质量。

APT捕获的图像收到的平均MOS高于内镜医生捕获的图像（3.88 vs. 3.41，，p

<.001）（表 2）。APT显示了地标10（胃Cardia的翻新景观）和地标4（十二指肠鳞茎）的最高MOS的最低MOS，最高的MOS，而内镜医生则表现出地标1（食管）和最低MOS的3.21点（食管）和最低MOS。地标9的最高MOS为3.80点（底底的翻新视图）（补充表S3）。

内窥镜检查时间的检查时间

37个EGD视频的平均播放时间为3.69±1.15分钟。APT向原始播放时间出现了任何延迟时间的图像报告。平均而言，内镜医生虚拟EGD检查的检查时间为4.62±0.86分钟（补充表S4）。

实现EGD的最佳诊断产量可通过诊断和治疗各种胃肠癌（包括早期胃癌）来改善健康结果²。全面观察整个上层胃肠道和所有相关解剖标记的准确光照是更好质量EGD的先决条件^{3，，，，5，，，，23}。APT通过APT进行的实时光照文献提供了有关盲点的立即反馈，帮助内镜医生实现了完全检查，从而提高了内窥镜诊断精度。通过自动捕获地标具有很高的清晰度，APT有助于内窥镜医生达到更高的完整性和更清晰的光照记录，而在重复冻结和捕获方面的精力较小。

通过实时盲点监测在EGD期间，术中反馈将有助于内窥镜降低盲点率。在评估AI辅助EGD系统的随机临床试验中，使用AI的盲点率低于没有IT的AI（5.86％比22.46％，p.001¹²。APT还可以通过实时光照文献迅速提供有关盲点的信息。由于APT从足够的视频框架中呈现具有里程碑意义的图像，因此在特定地标上没有图片将被视为盲点，这表明观察不足。因此，实时的光照文献可以通过在撤回内窥镜之前识别盲点来帮助内窥镜医生增强检查的完整性。

准确的光照记录被认为是EGD的质量指标之一，被定义为捕获解剖学地标的完整性。Dong等人开发了一个AI辅助EGD系统，显示自动化的光照记录93.1％¹¹。Wu等人报道的另一个系统比内镜医生更高的光检查完整性（90.64％比79.14％，，p<.001），AI和内窥镜的合并光照记录可提高完整性（92.91％）¹²。在本研究中，APT记录了87.72％完整性的内窥镜报告。内镜医生和APT的合并报告显示91.89％的完整性，表明当使用APT检查时，内窥镜检查员的内窥镜报告可能会更准确地进行光电检查。内窥镜医生的平均检查时间为4.62分钟，比EGD视频平均游戏时间在3.69分钟时增加了0.93分钟（增加25.2％）。换句话说，内窥镜医生花了大约一分钟（约占总检查时间的20％）来倒带和冻结光照文献。除了对胃粘膜的详细观察外，还反复调整内窥镜并冻结，以使其完整而精确的光检查延长了内窥镜检查时间，并需要内窥镜医生的额外努力。因此，使用APT的自动化量记录可能会导致EGD的更高完整性，而内镜医生的精力更少。

对粘膜的清晰视图是早期发现粘膜病变的先决条件。2017年，英国胃肠病学学会上GI内窥镜质量标准建议通过清洁或空气不足来实现足够的粘膜可视化⁵。诸如模糊，散焦，半份，黑暗以及诸如气泡和胃汁之类的文物之类的问题可能会阻碍清晰的看法。MOS量化观察者需要识别解剖学地标需要的努力，反映了主观图像质量因素，例如清晰度和代表性²²。在一项关于MOS解释的研究中，需要两个图像之间的MOS差为0.466来检测更高质量的图像²⁴。APT和内镜医生之间的平均MOS差异为0.47，表明APT高质量的光照文献。此外，来自APT（1.92％）的无效图像的较低比例表明，APT始终提出适当的图像进行临床评估。通过提供增强的清晰度和较少的无效图像，APT允许对清晰可视化的粘膜进行高质量的光检查，从而有效地检测病变。值得注意的是，在APT和内镜医师中，地标10（胃CADSIA的翻新视图）的MOS得分和完整性都比其他地标显着低于其他地标（补充表S2，S3）。据推测，这是由于检查时间短和内窥镜在检查过程中的快速运动，因此无法捕获适当的静止图像。胃Cardia是一个众所周知的盲点²⁵，表明在内窥镜检查过程中需要更长和较慢的观察。

直到最近，主要应用于图像分类的深度学习模型仍基于CNN。但是，随着VIT的发展，更有效的图像分类已成为可能²⁶。通过有效从图像中提取全局特征来，基于自我发挥机制的VIT用于自我发挥机制¹⁶。特别是，与CNN相比，Swin Transformer在分类，检测和分割方面表现出了出色的结果，并且在医学图像处理中表现出色^{27，，，，28}。与这些研究一致，在我们研究的测试阶段，SWIN Transformer比基于CNN的模型表现出更为出色的性能（98.4％vs. 93.4％）（图。 1b）。因此，我们将SWIN变压器应用于EGD图像分类，开发了一种强大的工具来实时识别EGD期间的地标。这是第一个利用Swin Transformer体系结构对EGD视频进行内窥镜图像进行分类的研究。

我们的研究有几个局限性。首先，自从我们使用录制和处理的EGD视频进行虚拟EGD以来，确认实际临床环境中的有效性是具有挑战性的。未来的前瞻性研究应着重于在实际的EGD程序中应用APT的实时援助，以评估其对质量指标和内镜医生工作量的影响。其次，进行虚拟EGD的内窥镜医生是新手（1至3年的经验），需要进一步的研究，其中包括专家内镜医生。第三，由于研究人群较少，需要进行较大研究人群的未来临床试验。第四，要开发APT作为具有高临界光照的系统，最低限度需要解剖标记，我们仅设置了ESGE指南的11个解剖标记²³。结果，APT的捕获精度为98.16％，高于以前的研究^{10，，，，11，，，，12}。但是，由于拍摄更多图像与临床上显着胃病变的较高检测率有关²⁹，必须开发一个能够基于日本系统筛选协议对22个胃站点进行详细的光检查的AI辅助系统。³⁰。最后，由于APT经过了从特定内窥镜（Olympus，Fujifilm，Pentax Medical）获得的图像进行培训和测试，因此需要通过转移学习或微调来调整对算法的调整，以将其应用于其他内窥镜系统。

我们的研究表明，基于Swin Transformer架构的EGD助手系统APT提供了实时自动化的光检查，并具有更高的完整性和质量。凭借这些功能，APT支持内窥镜医生实现增强的光检查的完整性和质量，从而提高了EGD的诊断准确性，并为更好的临床结果做出了贡献。

该代码可以通过访问以下链接公开可用：https://github.com/nunulee/photodocumentation。参考

作者注意

1. Byeong Yun Ahn and Junwoo Lee contributed equally to this study.

作者和隶属关系

1. Department of Internal Medicine and Liver Research Institute, Seoul National University Hospital, Seoul National University College of Medicine, 101 Daehak-ro, Jongno-gu, Seoul, 03080, Korea

   Byeong Yun Ahn, Ji Yoon Kim & Hyunsoo Chung

2. Prevenotics Inc., Seoul, Korea

   Junwoo Lee & Jeonga Seol

贡献

Byeong Yun Ahn and Junwoo Lee authored the main manuscript.Byeong Yun Ahn, Junwoo Lee, and Jeonga Seol collected and processed the datasets.Byeong Yun Ahn, Ji Yoon Kim, and Hyunsoo Chung assessed the datasets.Byeong Yun Ahn conducted formal analysis.Hyunsoo Chung provided supervision and conceptualized the study.所有作者都审查了手稿。

相应的作者

对应Hyunsoo Chung。

竞争利益

Junwoo Lee and Jeonga Seol are employees of Prevenotics, Inc. The remaining authors have no conflicts of interest to declare.

道德认可

This study was conducted under the Declaration of Helsinki and approved by the Institutional Review Board of Seoul National University Hospital under protocol number 2311-044-1482. The board waived the requirement for written consent.

Publisher’s note

关于已发表的地图和机构隶属关系中的管辖权主张，Springer自然仍然是中立的。

开放访问本文已根据创意共享归因非商业 - 非涉及商业4.0国际许可证获得许可，该许可允许以任何媒介或格式的任何非商业用途，共享，分发和复制，只要您对原始作者提供适当的信誉来源，提供了与Creative Commons许可证的链接，并指示您是否修改了许可材料。您没有根据本许可证的许可来共享本文或部分内容的改编材料。The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material.If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder.要查看此许可证的副本，请访问http://creativecommons.org/licenses/by-nc-nd/4.0/。重印和权限

关于这篇文章