ChatGPT 可以获得工程学位吗？大规模研究调查人工智能助手对教育的潜在影响

ChatGPT 于 2022 年底在公众舞台上爆发，仅在第一个月就吸引了超过 1 亿用户。从那时起，越来越多的例子表明人工智能在未来几年将如何改变社会，从就业、沟通到教育。

在高等教育，AI助手越来越多地被学生使用。虽然这些工具为改进教学和教育提供了机会，但它们也提出了重大挑战评估和学习成果，到目前为止，还没有对其对教育机构使用的评估方法的潜在影响进行全面研究。

正如他们的新论文中所述发表在美国国家科学院院刊EPFL 计算机与通信科学学院的研究人员对 50 门 EPFL 课程进行了大规模研究，以衡量当前大型语言模型在高等教育课程评估中的表现。

所选课程选自九个学士、硕士和在线课程，涵盖广泛的 STEM 学科，包括计算机科学、数学、生物学、化学、物理学和材料科学。

“我们很幸运，由洛桑联邦理工学院教授、教师和助教组成的大型联盟帮助我们收集了迄今为止最大的课程材料、评估和考试数据集，以便为我们的学位课程提供多样化的材料，”助理教授解释道Antoine Bosselut，自然语言处理实验室（NLP）负责人、洛桑联邦理工学院人工智能中心成员。

“这些数据被整理成一种我们认为最类似于学生实际向模型提供这些信息的方式的格式，然后我们从模型中生成响应并查看他们的回答有多好。”

研究人员以 GPT-3.5 和 GPT-4 为重点，使用 8 种提示策略来产生答案，发现 GPT-4 平均正确回答了 65.8% 的问题，甚至可以在至少一种提示策略中给出 85.1% 的正确答案。问题的百分比。

“我们对结果感到惊讶。没有人想到人工智能助手会在这么多课程中取得如此高的正确答案比例。重要的是，正确回答问题的 65% 是使用最基本的、无知识提示的策略实现的，所以任何人，在不了解任何技术的情况下都可以实现这一目标，只要具备一些典型的学科知识，就有可能实现 85% 的成功率，这确实令人震惊，”NPL 科学家兼合著者安娜·索特尼科娃 (Anna Sotnikova) 说。在纸上。

人工智能对学生学习和技能发展的影响

研究人员从理论上将与学生使用的这些人工智能系统相关的问题围绕脆弱性展开——一方面，评估脆弱性或传统使用的评估是否可以被这些系统“玩弄”；另一方面，教育脆弱性，即也就是说，这些系统是否可以用来规避学生学习知识所采取的典型认知路径？学术技能他们需要。

在这种背景下，研究人员认为，研究结果提出了明确的问题，即如何确保学生能够学习所需的核心概念，以便以后掌握更复杂的主题。

“令人担心的是，如果这些模型像我们所说的那样强大，使用它们的学生可能会缩短他们学习新概念的过程。这可能会在早期为某些技能打下较弱的基础，使学习更复杂的技能变得更加困难概念稍后再说。

博斯卢特说：“也许这需要一场辩论，讨论我们首先应该教授什么，以便我们所拥有的技术和学生在未来几十年将做什么发挥最佳协同作用。”

人工智能助手发展的另一个关键点是它们不会变得更糟，只会变得更好。在这项一年前完成的研究中，所有科目都使用一个单一模型，例如，它在数学问题上尤其困难。现在有特定的数学模型。研究人员表示，结论是，如果今天重新进行这项研究，这个数字会更高。

强调复杂的评估和调整教育

“短期内，我们应该推动更严格的评估——不是指问题难度，而是评估本身的复杂性，必须从整个课程中学到的不同概念中获取多种技能。学期和整体评估结合在一起，”博瑟鲁特建议道。“这些模型还没有真正设计成以这种方式进行规划和工作，最终，我们实际上认为这种基于项目的学习无论如何对学生来说更好。”

“人工智能在很多方面对高等教育机构提出了挑战，例如：未来的毕业生需要哪些新技能，哪些技能已经过时，我们如何大规模提供反馈以及如何衡量知识？几乎每个领域都会出现这些问题。洛桑联邦理工学院管理会议，最重要的是我们的团队启动项目，为尽可能多的问题提供基于证据的答案，”洛桑联邦理工学院负责学术事务的副校长 Pierre Dillenbourg 说。

从长远来看，很明显，教育系统需要适应，研究人员希望使这个正在进行的项目更接近教育工作者，使研究和建议与他们认为有用的内容保持一致。

“这只是一个开始，我认为现在的法学硕士可以很好地类比计算器，当它们被引入时，人们也有一系列类似的担忧，即孩子们将不再学习数学。现在，在教育的早期阶段，计算器通常是不允许，但在高中及以上学校，他们是被期望的，在学生学习依赖他们的更高级技能的同时，他们会照顾较低水平的工作，”博士比阿特丽斯博尔赫斯补充道。NLP 学生和论文的合著者。

“我认为我们将看到类似的、逐步的适应和转变，以了解这些系统可以为我们做什么以及我们不能依赖它们做什么。最终，我们会提出切实可行的建议，以更好地支持学生和教师、管理员和其他人在这一过渡期间，同时还有助于减少本文中概述的一些风险和漏洞，”她总结道。