灰度超声图像的深度学习放射组学有助于诊断 BI-RADS 4 病变的良性和恶性

乳腺癌是全球女性最常见的癌症。它占新女性癌症病例的很大一部分，占其中的 25%。此外，它是全球女性癌症死亡的主要原因之一^1,2.乳腺癌的早期发现可以使死亡率降低40%³。

尽管超声成像是中国早期乳腺癌筛查的主要方式，因其方便、成本效益、非侵入性、辐射风险最小和广泛普及而受到青睐，但超声成像的质量受到多种因素的影响，包括噪声级别、对比度、照明和图像分辨率⁴.根据BI-RADS第五版，除非临床禁忌，否则应对4类病变进行活检⁵该建议是美国放射学院开发的 BI-RADS 词典的一部分，旨在简化乳腺癌筛查图像的解释以及随后的患者管理建议。然而，标准化过程并非没有缺点，包括对影像学结果的主观评估以及不同医生之间解释差异的持续问题⁶这些问题可能导致许多 BI-RADS 4 类病变本可避免的活检，从而给患者带来经济和心理负担⁷。

因此，仍在寻找一种可靠的超声成像分析方法，特别是早期检测 BI-RADS 4 类病变中的乳腺癌，以避免不必要的针刺和外科手术。恶性病变的准确早期识别具有重要的临床工作意义。人工智能 (AI) 技术为众多肿瘤学挑战做出了重大贡献，特别是在癌症诊断、治疗计划和结果预测领域⁸放射组学领域涉及从医学图像中提取高通量定量特征，主要采用人工智能领域的两种分析策略，即机器学习和深度学习^9,10,11,12。

当DLR用于医学图像分析时，由于数据有限，常常面临小样本学习的困难。临床参数和 DLR 的集成可实现协同方法，有效地将临床信息与网络特征结合起来。这种集成提供了对图像特征的补充见解，并促进了模型构建过程中临床信息和超声图像特征的协作利用。最终，这会提高模型的性能¹³我们的研究旨在探讨临床参数与DLR的结合是否可以提高诊断BI-RADS 4病变、区分良恶性病例的准确性。二、许多类似的研究^{14,15,16,17 号}未能探索放射组学在真实诊断情况下为放射科医生提供的实际优势。在这项研究中，我们采用 CLDRL 模型的 AI 评分和 DLR 模型的热图作为放射科医生诊断 BI-RADS 病变的宝贵帮助，实际的临床优势是经过放射科医生的两轮评估，最终证实了我们的模型在实际临床实践中的潜在用途。

患者

本回顾性研究是使用从中国同一家医院获得的数据进行的。该手术严格按照《赫尔辛基宣言》中概述的原则进行，并得到了医院伦理委员会的批准。由于本研究的回顾性，免除了知情同意的要求。2020年8月至2023年10月期间，共有657例乳腺病变患者在我院接受了超声检查，最终根据筛选和选择标准的应用，总共考虑了 382 名患者进行分析。纳入标准如下：（a）超声怀疑乳腺病变并诊断为BI-RADS 4的女性；(b) 临床数据的可用性；(c) 病理诊断明确且未进行术前治疗的乳腺病变。排除标准如下： (a) 乳腺病变诊断为 BI-RADS 3 或 BI-RADS 5。 (b) 同侧乳腺手术史、化疗史、放射治疗或新辅助化疗。(c) 无病理或免疫组化发现。(d)US 图像不适合深度学习分析。招募流程图如图 1 所示。 1。

招募患者的工作流程。

灰度US图像采集和处理

这些图像是使用三种不同的配备线性阵列探头的美国设备（LIGIQ E9，美国；日立，日本；迈瑞，中国）捕获的。

在每次检查之前，都会仔细校准适当的对比模式参数，包括增益、深度、声窗设置、机械指数调整和焦区配置。患者仰卧，在不同位置顺序扫描每个乳房，以记录任何检测到的肿块的最大直径。随后获取乳腺肿块的二维灰度图像。放射科医生首先根据二维灰度图像识别病变区域，然后使用开源软件ITK-Snap 3.8.0勾画感兴趣区域（ROI）。

深度学习放射组学模型和多源特征融合模型

纳入研究的患者被随机分为两组：训练队列和独立测试队列，比例为7:3。使用训练队列优化模型参数。图 2说明了我们模型的整个流程。我们使用 VGG11 作为基础模型，该模型已在 Imagenet 上进行了预训练¹⁸.原始US图像用于根据肿瘤分割掩模提取矩形ROI。然后将这些 ROI 的大小调整为 224×224 像素并进行归一化。我们采用 Adam 优化器来更新模型参数，学习率为 0.005。该模型经过200个epoch的训练，batch size为16。从全连接（FC）层获得的一维向量最终通过softmax激活函数将预测结果转换为概率分布。

该研究的综合研究框架。

在训练过程之后，我们从倒数第二个FC层提取深度学习特征，并用支持向量机（SVM）代替它作为分类器，并结合临床特征和网络特征共同做出决策。为了评估乳腺病变状态的预测性能，使用临床特征、DLR特征以及结合DLR和临床特征的融合特征直接训练SVM。补充材料中提供了构建Clinical、DLR和CLDLR模型的详细过程：方法S1。

两轮放射科医生评估

进行了两轮放射科医生评估，以检验放射科医生在 CLDLR 和 DLR 模型的支持下能够实现的实际优势（图 1）。 2）。在这项研究中，由分别具有 5 年、7 年和 15 年诊断程序经验的三名放射科医生进行了两轮评估。为了验证目的，测试组中总共 115 个病变以随机序列呈现。在整个评估过程中，放射科医生始终不知道彼此的评估，以及最初的诊断报告和最终的病理结果。

在第一轮诊断中，放射科医生仅根据BL相关的患者人口统计信息、原始图像和调整大小的灰度ROI图像做出初步判断。本轮的结果直接与CLDLR模型进行比较，以证明其优势。在第二轮中，放射科医生被要求通过整合来自 CLDLR 模型的额外 AI 分数并结合来自 DLR 模型的热图详细信息来增强他们的初步诊断。热图是使用应用于 DLR 模型的 Grad-CAM（梯度加权类激活映射）技术生成的^{19 号}，一种可视化技术，可以有效突出有助于 BL 评估的重要领域。如图所示。 3，最后一个最大池化的最终卷积层被可视化为透明，以方便预测 BL 状态。

我们的 DLR 模型生成的热图可视化：展示分类为 BI-RADS 4 的恶性和良性乳腺病变之间的差异。观察到热图中 MBL 的突出显示区域大于 BBL，主要分布在肿瘤区域。MBL 的突出显示区域往往集中在热图的中心，而 BBL 的突出显示区域主要位于边界上。MBL 的边界不如 BBL 清晰。MBL乳腺恶性病变，乙肝病毒乳腺良性病变，投资回报率感兴趣的区域，德国航天中心深度学习放射组学。这种设计使研究人员能够评估和探索 CLDLR 和 DLR 模型如何帮助放射科医生提高诊断准确性。

统计分析

使用RStudio 4.2.0和Python 3.8.0软件进行统计分析。

连续变量用平均值和标准差（SD）描述，而分类变量则用百分比和数字表示。使用 t 检验或 Mann-Whitney U 检验比较 MBL 和 BBL 之间的详细临床参数差异。使用 AUC 评估模型的性能，包括仅基于图像的 DLR、基于临床数据的临床模型、将临床参数与 DLR 相结合的 CLDLR 以及不同的放射科医生的性能，并利用 Delong 等人的方法进行比较。模型性能评估还纳入了准确性、灵敏度、特异性、阳性预测值 (PPV) 和阴性预测值 (NPV) 等测量值。所有统计分析都是双向的，P 值低于 0.05 表示统计显着性。

临床数据

表 1简要概述了综合患者人口统计数据和乳腺病变特征。所有病变的病理分类总结于表中S1。

基础型号选择

基本模型作为特征编码器的功能极大地影响了我们的分类方法。因此，我们比较了几种图像分类主干网，例如AlexNet²⁰, VGG19_十亿¹⁸和 DenseNet201²¹，找到最适合BL预测任务。表 S2 显示了网络性能，选择 AUC 最高的 VGG11 进行特征提取。VGG11表现出最低的损失值，表明其在减少训练过程中的错误方面表现出色^{22 号}此外，与其他三种深度学习模型相比，它表现出更快的收敛速度（图 S1）。

不同模型之间的评估

整合临床数据的DLR模型被称为CLDLR，CL代表包含临床参数。我们包含了显着性水平为磷≤<≤0.05，并排除基于放射科医生主观判断的BI-RADS评估，以建立我们的临床模型。详细结果总结于表中 2。CLDLR 模型将临床参数与 DLR 相结合，表现出优越的性能。在训练组中，仅基于图像的 DLR 的 AUC 为 0.981，而临床模型的 AUC 为 0.778；然而，CLDLR 以 0.988 的 AUC 超过了两者。在测试组中，虽然CLDLR的AUC略有下降至0.888，但仍显着高于DLR模型（AUC：0.710，Delong检验）磷≤<0.05）和临床模型（AUC：0.708，德隆检验磷≤<≤0.05）。因此，将CLDLR模型获得的每个乳腺病变的预测概率用作AI评分。比较由图1所示的ROC曲线直观地表示。 4a 和 b. 混淆矩阵描述了测试组内各种模型在区分良性和恶性乳腺病变方面的分类性能，如图 1 所示。 5。

训练和测试集中不同模型的 ROC 曲线。(一个）训练集中不同模型的ROC曲线。(乙）测试集中不同模型的ROC曲线。

混淆矩阵显示了用于识别测试队列中良性和恶性乳腺病变的多个模型的分类性能。

利用 AI 辅助改善放射科医生的诊断

该研究分析了三名放射科医生在两轮评估期间提供的诊断变化，无论有没有人工智能辅助。有关这些更改的更多详细信息，请参阅表 3并在图S2中。CLDLR 模型的 ROC 曲线，以及每个放射科医生在有和没有人工智能辅助的情况下的诊断结果如图 1 所示。 6a和b。有 AI 辅助的初级、高级和专家的 AUC 值高于没有 AI 辅助的相应 AUC 值。Delong 检验的所有 P 值均具有统计显着性且小于 0.05。

CLDLR 模型的 ROC 曲线以及每位放射科医生在有或没有人工智能辅助的情况下的诊断。(一个）CLDLR模型的ROC曲线以及每个放射科医生在没有AI辅助的情况下的诊断。(乙）CLDLR模型的ROC曲线以及每个放射科医生在AI辅助下的诊断。

图 7通过展示一些成功和不成功的案例，放射科医生由于人工智能的帮助而改变了他们的第一轮决策，生动地描述了我们模型的临床重要性。虽然 CLDLR 的 AI 分数和 DLR 的热图偶尔会让放射科医生感到困惑，但测试集结果表明，三位放射科医生受益于 AI 辅助，从而获得更好的评估性能。 Junior 的准确性、灵敏度和特异性提高了 15.7%、 8.8% 和 25% 。对于高级，相应的改进分别为 14.8%、10.2% 和 19.6%。至于专科，改善程度分别为10.4%、1.7%和19.7%。

我们的人工智能评分和热图指导放射科医生做出正确和错误决策的典型案例。左侧代表具有真正恶性值的乳腺病变，而右侧代表具有真正良性值的乳腺病变。黑色表示判断正确，红色表示判断错误。

在本研究中，我们开发并验证了一种 CLDLR 模型，该模型将临床参数与基于乳腺灰度超声图像的 DLR 方法相结合，用于术前预测良性和恶性 BI-RADS 4 病变。该方法在区分良性和恶性病变方面明显优于任何单一方法。患有恶性乳腺病变（MBL）和良性乳腺病变（BBL）的患者。与测试队列中的人类专家相比，我们的模型取得了优异的整体性能。此外，从 CLDRL 模型得出的 AI 评分与 DRL 模型生成的热图的集成已被证明可以增强放射科医生的决策，强调了采用 AI 辅助诊断工具的临床价值。我们研究的一个关键特点是采用了由三名放射科医生参与的两阶段评估，这标志着与其他放射组学研究的区别。

已经发表了大量关于通过应用人工智能模型对乳房超声图像中病变进行识别和分类的研究^23,24,25,26。我们的研究具有几个优势。最初，与之前的研究相比，我们的研究特别集中于区分 BI-RADS 4 病变的良性和恶性状况。重要的是要承认临床医生在决定是否升级或降级 BI-RADS 4 病变时面临重大挑战。根据美国放射学院 BI-RADS Atlas 提供的指南⁵，确认 BI-RADS 4 的诊断需要活检结果表明是否存在乳腺癌。为了最大限度地减少 BI-RADS 4 类患者不必要的活检，迫切需要一种能够提供增强临床洞察力的 AI 诊断工具，特别是对于这一特定类别²⁷。

其次，基于对乳房 B 型超声图像的分析，将临床参数与 DLR 概念相结合，开发了 CLDLR 模型²⁸。与之前使用深度学习网络的研究相比^29,30,31，我们的研究通过将临床参数与 DLR 方法相结合，实现了卓越的诊断性能。这种方法通过将附加信息与图像特征结合起来，增强了模型的稳健性。该模型的 AUC、准确性、灵敏度和特异性值为 0.988训练组分别为 0.948、0.950 和 0.945。测试组中，AUC、准确度、灵敏度、特异度分别为0.888、0.817、0.881、0.75（见表） 2）。与第一轮评估中的三位放射科医生相比，我们的 CLDLR 模型取得了显着更高的成绩（如图所示） 6一个）。

此外，我们还探索了放射科医生在临床实践中使用 CLDLR 和 DLR 时体验到的实际优势。为了使我们的 DLR 模型更符合临床可用性，我们集成了可解释的元素（例如热图）来渲染 AI决策过程对人类专家来说是透明且易于理解的。这种方法旨在克服与深度学习相关的“黑匣子”问题，该问题可能会阻碍临床领域专业人员的信任³²仔细检查人工智能评分和热图可以揭示它们在帮助放射科医生方面的功效。AI 评分可根据 CLDLR 模型预测恶性肿瘤或良性的概率，对于放射科医生来说是一个重要指标，尤其是在极端模型预测方面。尽管 AI 和放射组学模型具有优势，但临床医生对于最终评估至关重要。热图和人工智能评分旨在增强他们对人工智能预测的理解，帮助他们在必要时审查和重新评估成像研究中的标记区域。这种支持可以带来精细的判断。在人工智能评分和热图的帮助下，三位放射科医生的临床表现得到了提高。详情见表 3和图S2。尽管该模型对所有读者都产生了积极影响，但初级放射科医生获得了最大的收益。这表明该方法可能有助于快速提高新培训的放射科医生的技能。

该研究有一些需要注意的局限性。首先，样本量有限，训练集和测试集都仅由来自同一家医院的少量病变图像组成。此外，登记的患者群体可能无法准确代表筛查人群中癌症患者的自然分布，可能会影响我们模型的准确性。因此，未来的研究可能需要多中心合作来彻底评估我们模型的稳健性。其次，这项回顾性研究包括了组织学证实的活检结果的子集患者，导致缺乏后续随访数据。此外，将患者病史和 BRCA 基因测试结果纳入其开发对于提高人工智能决策系统的性能至关重要。第三，除了人工智能技术之外，常规诊断程序还涉及临床评估以及乳房X线摄影和磁共振成像。然而，我们的研究仅利用静态灰度超声图像通过人工智能技术获得结果，而没有结合超声弹性成像图像、超声多普勒图像和超声动态视频。尽管这项研究表明人工智能可以帮助避免不必要的活检，但对于医疗专业人员来说，通过使用人工智能结果作为咨询基准而不是最终判断来考虑患者的期望和潜在的恶性肿瘤仍然至关重要。

我们：

超声波

人工智能：

人工智能

提单：

乳腺病变

德国航天中心：

深度学习放射组学

作者和单位

1. 中华民国山东省济南市经十路 16766 号山东第一医科大学第一附属医院山东省千佛山医院超声科

   刘洋、张乃文、贾俊英、马哲

贡献

构思与设计：刘洋、马哲。方法论的发展、手稿的写作、审查和/或修订：刘阳。数据获取：张乃文，贾俊英。数据分析与解读：刘洋。研究监督：马哲。所有作者都对前一版本的手稿进行了评论。

通讯作者

通讯至马哲。

利益竞争

作者声明没有竞争利益。

道德批准和知情同意

该研究获得了山东第一医科大学第一附属医院和山东省千佛山医院机构审查委员会的伦理批准（YXLL-KY-2023（045））。由于该研究的回顾性，患者同意被放弃分析使用匿名临床数据。该研究是根据赫尔辛基宣言（2013 年修订版）的指导方针进行的。

出版商备注

施普林格·自然对于已出版的地图和机构隶属关系中的管辖权主张保持中立。

开放获取本文获得 Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License 的许可，该许可允许以任何媒介或格式进行任何非商业使用、共享、分发和复制，只要您给予原作者适当的署名即可和来源，提供知识共享许可的链接，并指出您是否修改了许可材料。根据本许可，您无权共享源自本文或其部分内容的改编材料。本文中的图像或其他第三方材料包含在文章的知识共享许可中，除非材料的出处中另有说明。如果文章的知识共享许可中未包含材料，并且您的预期用途不受法律法规允许或超出了允许的用途，则您需要直接获得版权所有者的许可。要查看该许可证的副本，请访问http://creativecommons.org/licenses/by-nc-nd/4.0/。转载和许可

关于本文