使用德尔菲研究开发加拿大人工智能医学课程

人工智能 (AI) 在医疗保健中的集成具有变革性，可提高诊断准确性、风险分层和治疗效率^1,2。人工智能应用已被证明在各个临床领域都有效，例如减少临床医生的文档负担、改善放射学中的图像解释、支持术中手术指导以及促进公共卫生风险分层^2,3。

然而，尽管取得了这些进步，人工智能课程元素在医学教育中的采用仍然滞后⁴。很少有结构化项目能彻底解决医学人工智能的实践和伦理问题^{3,4,5,6,7,8,9,10}。随着人工智能的新兴创新有望对医疗实践产生重大影响，对当前和未来医生进行该技术培训的兴趣日益浓厚^1,5,11。调查显示 81% 的英国医生强烈支持人工智能素养培训⁴63% 的加拿大医学生认识到其重要性¹²，而土耳其 93.8% 的学生支持结构化人工智能教育，特别是在知识、应用和道德领域¹³。这一差距凸显了医学生对人工智能素养的需求，以确保他们能够在未来的临床实践中有效利用这些工具^5,8。需要采用跨学科方法来平衡技术细节与患者护理的人性化方面¹⁴。这种方法应包括理解、应用和批判性地分析人工智能技术，并与布鲁姆分类法等教育框架保持一致，这是一种认知技能的层次分类——知识、理解、应用、分析、综合和评估——教育工作者需要用于制定学习目标和成果^3,8,15。目前，尽管存在大量指南和建议主题，但尚未确定一套核心的人工智能能力^9,10。

鉴于医学培训的密集性，必须深思熟虑地引入人工智能概念，以避免让学生和教育工作者不知所措，同时仍提供必要的能力^13,16。更新后的本科医学教育（UGME）课程应将人工智能教育与核心医学培训相结合，确保其与基本医学知识相补充而不是竞争^4,13。医疗能力是临床医生技能的关键，人工智能必须增强这一点，而不是分散注意力。

在本研究中，采用德尔菲法来确定医学生本科生的基本课程要素，通过迭代完善专家意见，以确保课程的全面性并反映当前和未来的医疗保健需求^{17 号}。该方法捕捉了临床、技术和教育专家的不同观点，弥合了教育差距^3,8,11。通过解决医学生需要了解的人工智能知识，该课程旨在为下一代医疗保健提供者提供自信地将人工智能集成到临床工作流程中所需的能力^{5,7,11,13,14,16}。

桌子1介绍了参与该研究的 18 名加拿大主题专家的人口统计数据。受访者中，男性 10 人，女性 8 人。学历方面，硕士8人，博士12人。10 人拥有医学博士学位或同等学位。代表的临床专业包括心脏病学、诊断放射学、普通内科、神经病学、精神病学和泌尿科学。

2概述了选择纳入人工智能课程的学习元素。对于道德主题，识别数据共享中的监管问题、解释数据隐私的重要性等11个要素在第一轮中达成了共识。法律主题包括 11 个要素，并在第一轮和第二轮中达成共识，涵盖数据治理、保密性和责任问题等主题。

在理论主题下，三轮评选出 29 个要素。这些元素涵盖了一系列主题，从理解统计概念到区分机器学习类型，再到评估人工智能在医疗保健领域的经济影响。对于应用主题，商定了 11 个要素，三轮都达成了共识。这些要素侧重于数据分析、将人工智能证据整合到临床决策中以及验证人工智能模型等实用技能。

合作主题的所有七个提议要素在第一轮就达成了共识。这些要素强调与专注于人工智能的同事保持关系、共同决策以及确定在医疗保健领域学习人工智能的机会的策略。沟通主题包括七个要素，均在第一轮达成共识，涵盖与同事和患者的有效沟通策略、同理心沟通技巧以及处理与人工智能相关的分歧。

最后，质量提升主题包含六大要素，均在首轮会议中达成共识。这些要素侧重于评估患者反馈、提出人工智能改进建议、分析当前人工智能应用，以及应用以用户为中心的设计原则来增强医疗保健领域人工智能的用户体验。数字1总结了不同主题所包含的许多学习目标的分布。

该图根据专家共识对关键主题进行排名，反映了每个主题的关注度相对于专家商定的项目总数的比例。金字塔在视觉上强调了主题优先级的层次结构，“理论”位于顶点，表示最高关注点，而“质量改进”占据最广泛的基础，表明一个基础但优先级较低的主题。

桌子3列出了人工智能课程中排除的学习元素。在理论主题中，第二轮排除了四个要素，包括计算机结构、硬件组件、硬件对性能的影响以及基本编程概念。在应用程序主题中，排除了九个元素。在第二轮中，排除了人工智能模型编程、梯度下降、正则化技术、反向传播、内核数据转换、异常检测、矢量化代码优化以及使用 TensorFlow 等元素。在第三轮中，排除了用于无监督学习的聚类技术。

4显示未达成共识的学习要素。在法律主题中，与知识产权和版权管理（L12-L14）相关的问题缺乏共识。在理论主题中，对于与编程语言、深度学习类型和深度学习模型相关的要素没有达成共识（T33→T35）。在应用主题中，标准化数据、开发和训练人工智能模型、降维技术、使用 Keras 以及超参数调整（A21→A26）等元素尚未达成共识。

执业医学博士与博士学位研究人员

我们进行了比较，看看专家们根据学术背景（医学博士与博士）对第一轮课程要素的评分方式是否存在差异。在 107 个课程要素中，只有 3 个要素被发现在两组之间具有统计显着差异。执业医学博士更强烈地支持法律要素（L6），而研究人员更强烈地支持应用要素（A1 和 A24）。所有其他元素均未达到显着性p≤<≤0.05。留一机构排除分析

研究结果表明，在第一轮和第三轮中，取消 UBC 附属成员对纳入和未决定的成员数量产生了重大影响。

同样，在第二轮中，删除 UBC 使结果转向更高的排除率、略低的纳入率以及未确定类别的减少。删除其他机构对所有三轮的纳入、排除和未确定类别的影响相对较小。结果细目可在补充表中找到1。

总体而言，77%（n�=�82)，提出的人工智能课程要素被认为对于医学生了解如何熟练使用人工智能很重要，77% (n�=�63) 其中包括在第一轮中达成共识的要素。从主题上看，非技术因素在第一轮中很快就达成了共识。这包括对道德 (11/11)、沟通 (7/7)、协作 (7/7) 和质量改进 (6/6) 等所有要素的一致同意。这凸显了未来医生有必要了解人工智能，使他们能够以安全的方式参与人工智能，以改善对患者的护理并确保他们提供的护理的透明度。此外，这些更广泛的主题已经存在，并在加拿大 UGME 中教授，代表了整合而不是课程替代的途径。

理论和应用的技术主题不太明确，分别只选择了 21/36 和 3/26 的元素。这些要素侧重于人工智能的验证及其优点和局限性，可能会指导未来的医生正确、明智地使用人工智能。一位专家强调医学生了解定量数据的局限性的重要性，并警告说“不应使用大量定量数据来贬低定性数据，例如医患沟通和关系。”类似的观点，培训应包括如何批判性地评估人工智能模型在临床场景中的适当使用，类似于评估随机对照试验。

关于第一轮中包含的元素数量最少的应用主题，我们假设这是由于医生日常使用的知识的复杂性和技术性不断增加。一位专家强调了这一点，强调医学生的作用是传授医学知识，而不是编程。另一位专家对此表示同意，并补充说临床医生不应该负责数据收集、清理、预处理和人工智能模型训练。这些职责偏离了临床医生照顾患者的职责。编程和深度学习技能适合工程师，而医生应该验证人工智能并解释其输出。某些医生可能需要在人工智能创新和集成方面发挥更大的作用，但绝大多数医生将在日常实践中使用人工智能^8,18。这解释了排除特定数据科学技术和与知识产权相关的未定法律要素的原因。

根据我们对专家组（医学博士与博士）之间评分差异的分析，很明显，基于学术背景的评分没有总体差异，除了三个比较外，所有比较都不具有统计显着性。这种相似性可能归因于对重要核心要素的广泛共识，这是两个群体专业知识互补的基础。此外，通过选择博士学位。与接触医学领域的研究人员相比，我们确保了重叠但不同的观点。这一结果还表明了执业医学博士和博士的意见的重要性。研究人员表示，他们的综合见解可以带来更全面、更平衡的课程。

留一机构排除显示，当 UBC 被纳入与排除时，纳入、排除和未决定因素之间存在差异，凸显了来自一个机构的专家数量增加的影响。然而，由于样本量有限，所有专家都被包括在内，这可能会影响我们课程元素的整体普遍性。这将在关于限制的段落中进一步讨论。

尽管 UGME 没有正式的人工智能课程，但人们一直在努力补充课程之外的医学生和住院医师的人工智能教育。林德奎斯特等人。为放射科住院医师提供了人工智能课程，包括教学课程和期刊俱乐部，与我们关于人工智能优势和局限性 (T9) 以及监管问题 (E1) 的要素保持一致，以确保平衡的技术和道德教育¹⁹。胡等人。为加拿大医学本科生实施了人工智能培训课程，重点关注研讨会和项目反馈，与我们纳入的要素相一致，例如将人工智能模型应用于临床决策（A2）和制定减轻偏见的策略（E8）⁹。克里夫等人。为四年级医学生创建了为期 4 周的模块化人工智能选修课，主要在线授课，与我们对人工智能研究/技术的批判性评估（A7、A13）、人工智能工具结果的临床解释（A11）、制定策略的要素保持一致减轻偏见 (E8)，并向患者传达结果 (COM3)²⁰。因此，我们的研究为医学教育者和未来的研究构建了一个框架。UGME 课程帮助学生为通才实践做好准备，涵盖生理学、解剖学、病理学、诊断学、治疗学、临床决策、咨询和咨询。UGME 几乎没有进行彻底改革的空间。多伦多大学 UGME 介绍了基本的人工智能概念，讨论了机器学习、人工智能在医疗保健中的作用、潜在应用和道德挑战；展示人工智能教育如何融入 UGME，强调核心人工智能素养和医学相关性。我们的研究结果有助于确定专家们一致同意的关于应该和不应该教授哪些内容的细致入微的观点。

依赖于专家意见的德尔菲法提供了一个强大的迭代框架，使我们能够根据这些特定需求定制课程，确保它对医学生来说既全面又实用^{17 号}。我们的方法还基于类似的研究，这些研究成功地利用专家意见为不同学科领域创建或更新医学课程，利用其结构来确保我们的过程是彻底的^{21,22,23,24,25}。

在审查 UGME 结构时，有多种方法可以在不显着影响现有课程的情况下纳入人工智能教育。一种方法是将人工智能文献纳入当前的生物统计学课程，确保学生学会批判性地评估和验证人工智能文献和工具。这种整合还将使学生接触到人工智能主题和新技术。此外，将人工智能纳入辅导员主导的基于案例的学习（CBL）和基于问题的学习（PBL）课程将使学生能够探索各种人工智能工具及其影响^{26,27,28,29,30}。这些会议还可以提供讨论人工智能伦理主题的机会，例如人工智能抄写员、临床决策中的人工智能、人工智能政策和新颖的人工智能研究。例如，可以在这些小组中讨论负责任的医疗机器学习框架，以探索从问题制定到设想部署的模拟过程¹⁴。此外，在临床轮转期间提供医疗领域当前使用的人工智能工具的实践课程，例如使用人工智能的床旁超声引导³¹或用于记录的数字抄写员³²，可以帮助学生提高技术技能并了解这些工具的好处和风险。邀请人工智能和医学领域的客座讲师讨论医学生需要了解的人工智能的显着原理以及当前人工智能和医学的研究，将进一步丰富他们的学习经验。引入人工智能伦理或基线知识的年度模块，类似于其他轮换所需的模块，将确保学生及时了解不断发展的人工智能领域。鼓励学生在医学院学习的 4 年期间至少参与一项与人工智能相关的研究项目，将加深他们对这一主题的理解。此外，重要的是要认识到人工智能课程的整合应该灵活，并且可能需要进行调整以适应不同机构可用的特定教育框架和资源。

每个包含的元素都已映射到 AFMC 的 EPA 和 CanMEDS 角色，以强调医学人工智能教育的重要性。这些要素几乎涵盖了 EPA 和 CanMEDS 的所有角色，表明人工智能知识满足多种退出能力，并且可以合理地证明整合是合理的。或者，随着现有能力的更新，可以包括关于选定包容要素的特定能力。国家管理机构对人工智能教育的认可，在标准化人工智能课程的支持下，将鼓励加拿大各地的医学院将人工智能教育纳入 UGME 课程，从而增强未来医疗保健从业者的知识。作为一组初始建议，我们将每个学习目标映射到补充表中的潜在实施策略2。

我们的研究面临一些局限性。使用非概率目的抽样时，选择偏差是一个问题；尽管我们努力吸纳来自加拿大各地的 106 名具有代表性的多元化群体，但不参与仍然可能导致偏见。我们认识到，这种方法可能会导致系统性偏见，并可能导致某些地理区域或拥有更成熟的人工智能项目的机构的代表性过高，从而使课程元素偏向他们的观点。我们的研究中发现了这一点，来自 UBC 的专家数量最多（可能是因为该研究是由 UBC 进行的），来自大西洋地区、魁北克省和大草原的答复率较低。UBC 专家的数量对整个轮次中纳入、排除和未决定因素的数量产生重大影响。这些限制可以通过使用随机抽样技术来解决，以确保样本更具代表性。此外，将专家库扩大到国内和国际上更广泛的地理位置，以及可能没有医学院但有其他与之相关的健康相关项目的机构。更大的样本量还可以更好地调查各中心反应异质性的影响，如补充表所示1。18 名受访者的样本规模较小，这意味着可能并未包含所有期望的观点。没有具体列出每次停留时退出的原因，可能包括时间限制、缺乏参与、优先事项相互竞争或兴趣不足。我们的专家纳入标准仅限于医学博士和博士，这可能进一步限制了考虑的观点。扩大纳入标准，将具有相关人工智能和医学教育专业知识的行业和非大学附属专家纳入其中，可能有助于缓解这一问题。

课程元素选择

我们团队之前对系统评价进行的主题分析证明了使用所有纳入研究中汇编的要素在医学院课程中成功实施人工智能的六个关键原则⁸。这些原则分为道德、理论和应用、沟通、协作、质量改进以及感知和态度。简而言之，(a) 道德强调数据共享法规、隐私和公平，同时尊重患者权利；(b) 理论和(c) 应用涵盖从统计到高级机器学习的技术技能；(d) 沟通旨在促进医疗保健专业人员和患者对人工智能工具的理解；(e) 协作强调多学科团队合作，以实现人工智能使用中的共同决策和持续学习；(f) 质量改进涉及人工智能工具的持续分析和适应^{6,33,34,35,36,37}。这些原则中的每一项都有助于形成整体的人工智能课程，旨在培养能够周全地将人工智能融入患者护理中的医生。为了创建课程元素，两位审阅者（AG 和 NP）使用先前从主题分析中编译的元素，利用 Bloom 分类法设计了 107 个新课程元素。这些课程要素经过第三位评审员 (RS) 的验证，然后通过迭代讨论和针对现有文献的验证达成共识（补充表2）。每个学习目标与最初包含的研究的映射包含在补充表中2。此外，专家们还在每节末尾通过开放文本回复提供了建议的补充或关注点。

主题专家小组选择

在这项研究中，我们采用有目的抽样的方法，从医学教育和人工智能相关的各个领域挑选了 106 名专家³⁸。三位作者（A.G.、C.K.、N.P.）创建了一份来自加拿大各地的潜在专家名单，这些名单是通过拥有认可医学院的主要大学确定的（www.afmc.ca/about/#faculties）。采用自上而下的方法来审查每所大学的医学、科学和工程学院，然后是院系和教师名单，以及相关的专业协会、研究集群和特殊兴趣小组。特别注意从不同大学、研究集群和利益团体中选择专家，以避免代表性过高。创建后，另一位作者 (RS) 会参与迭代列表以确定哪些专家符合纳入标准。专家是使用当前的公开信息来确定的，包括但不限于教师网页和部门简介。

该小组由来自不同地理区域和医疗保健系统的专业人士组成，拥有从医学博士学位（M.D.）到人工智能相关领域的博士学位（Ph.D.）的资格。我们有目的的抽样旨在实现教育、医学专业、地理位置和机构类型的多样性。所看到的地理差异反映了对当地医疗人工智能专业知识的复杂需求，而并非所有学校都具备这些专业知识。

遴选专家的入选标准严格且多方面，要求候选人至少满足七项具体条件中的四项：（a）拥有医学博士或博士学位。在相关领域从事医疗保健或计算机科学工作，(b) 参与学术医学，(c) 参与医学课程开发，(d) 拥有医学教育方面的专业知识，(e) 展示在人工智能和医疗保健领域的领导力，(f) 在该领域发表重要出版物，或 (g) 管理人工智能和医疗保健领域的大型研究部门。

所有选定的专家都提供了参与这项研究的知情同意书，该研究得到了不列颠哥伦比亚大学 (UBC) 研究伦理委员会 (H22-01695) 的批准。

共识过程

德尔菲研究旨在通过采用结构化共识流程和多轮问卷调查来确定医学教育的关键人工智能课程组成部分 (19)。最初的调查纳入了所有 107 个要素，并通过 Qualtrics（美国华盛顿州西雅图）进行管理，确保匿名和迭代反馈。

如图所示。22023年10月至2024年5月期间，通过电子邮件邀请了106名专家参加。在第一轮中，他们提供了匿名的人口统计数据，并按照 5 分李克特量表对课程要素进行了评分，如果 70% 的人给它们评分为 4 或 5，则考虑纳入项目；如果 70% 的人给它们评分为 1 或 2，则考虑排除项目。 70% 阈值基于之前用于课程开发的 Delphi 研究^{21,22,23,24,25}。专家还可以通过评论部分提出他们认为缺少的任何能力或就该主题提供意见。

该图显示了三轮主题的进展和决策点，突出了德尔菲法的迭代性质以及参与者在每个阶段的参与。

在下一轮中，未达成 70% 共识的项目以及任何新能力都将被重新评估。提供反馈和参与者间一致性分数来指导他们的决定。使用简化的 2 点量表。最后一轮让专家们果断地对仍缺乏共识的项目做出结论，维持2分制来最终确定课程要素。这一过程确保了在专家共识的指导下进行严格的评估。

对于选择纳入的每个要素，随后都映射到加拿大医学院协会的一项或多项可委托专业活动 (EPA)，代表在无人监督的环境中委托给学习者的责任³⁹。此外，每个要素还映射到加拿大专家医学教育指令 (CanMEDS) 角色，该框架详细说明了医生满足患者需求所需的技能（www.royalcollege.ca/en/canmeds/canmeds-framework）。

数据和统计分析

在第一轮中，对 5 点李克特量表中每个课程要素的回答进行平均，并通过取支持排除（评分为 1 或 2）、无所谓（评分为 1 或 2）的最大票数总和来计算一致性百分比。为 3），或赞成纳入（评分为 4 或 5），然后除以受访者总数。在第二轮和第三轮中，对 2 点李克特量表上剩余的每个课程元素的反应进行了统计。一致性百分比是通过取最大值除以受访者总数来计算的。同意百分比在随后的轮次中返回给专家，以告知他们对未达成共识的项目的专家同意情况。

对每个课程要素进行了正态性和同质性测试。适当的统计测试，要么是不配对的t-测试或曼恩·惠特尼测试，用于比较医学博士和非医学博士专家之间的平均评分。进行留一机构排除分析，以确定每轮的纳入率、排除率和未决定率之间是否存在显着差异。

作者笔记

1. 这些作者同样贡献：Rohit Singla，Nikola Pupic，Seyed-Aryan Ghaffarizadeh。

作者和单位

1. 不列颠哥伦比亚大学医学院医学院医学院，加拿大温哥华大学

   罗希特·辛格拉

2. 不列颠哥伦比亚大学生物医学工程学院，不列颠哥伦比亚省温哥华，加拿大

   罗希特·辛格拉

3. 不列颠哥伦比亚大学，加拿大温哥华大学医学学院医学博士学位课程

   Nikola Pupic，seyed-aryan ghaffarizadeh＆caroline kim

4. 不列颠哥伦比亚大学医学系，加拿大温哥华，加拿大温哥华

   Ricky Hu，Bruce B.Forsterâ＆ilker hacihaliloglu

5. 不列颠哥伦比亚大学放射学系，加拿大温哥华，加拿大温哥华

   Bruce B.Forsterâ＆iLker hacihaliloglu

贡献

S.-A.G。：概念，方法，验证，调查，数据策划，写作原始草稿，写作评论和编辑，可视化。B.B.F。：概念化，验证，写作评论和编辑，监督，资金获取。C.K。：调查，数据策划，写作评论和编辑。I.H。：概念化，验证，写作评论和编辑，监督，资金获取。N.P。：概念化，方法论，验证，调查，数据策划，写作原始草案，写作评论和编辑，可视化。R.H。：概念化，方法论，调查，写作评论和编辑。R.S。：概念化，方法，验证，调查，写作原始草案，撰写和编辑，项目管理。所有作者都阅读并批准了手稿。

通讯作者

通讯至罗希特·辛格拉。

利益竞争

S.-A.G.，B.B.F.，C.K.，R.H。和N.P.每个单独声明任何财务或非财务竞争利益。I.H.是PONS Incorporated（美国纽瓦克）的联合创始人，但没有宣布非金融竞争利益。R.S.以前曾担任Sonus Microsystems，Bloom Burton和Amplitude Ventures的付费顾问，但没有宣布非金融竞争的利益。

开放获取本文获得 Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License 的许可，该许可允许以任何媒介或格式进行任何非商业使用、共享、分发和复制，只要您给予原作者适当的署名即可和来源，提供知识共享许可的链接，并指出您是否修改了许可材料。根据本许可，您无权共享源自本文或其部分内容的改编材料。本文中的图像或其他第三方材料包含在文章的创意共享许可证中，除非在材料的信用额度中另有说明。如果文章的创意共享许可中未包含材料，并且您的预期用途不允许法定法规或超过允许的用途，则需要直接从版权所有者那里获得许可。要查看此许可证的副本，请访问http://creativecommons.org/licenses/by-nc-nd/4.0/。转载和许可

关于本文