我们仍处于了解在教育中使用生成式人工智能的前景和危险的早期阶段。很少有研究人员评估学生是否受益，一项精心设计的研究表明，使用 ChatGPT 进行数学实际上会损害学生的成绩。
我看到的第一个科学证明 ChatGPT 实际上可以帮助学生学习更多知识已发布今年早些时候上线。这是一个小型实验，涉及不到 200 名本科生。所有人都是 2023 年秋季参加物理入门课程的哈佛大学学生，因此研究结果可能不会广泛适用。但与平时亲自上物理课相比，当学生在宿舍使用人工智能导师时，他们在更短的时间内学到了两倍多的知识。学生们还表示，他们感到更加投入和积极主动。他们学到了更多东西，并且喜欢它。
关于该实验的论文尚未在同行评审的期刊上发表，但哈佛大学的其他物理学家称赞这是一个设计良好的实验。学生被随机分配在课堂上照常学习某个主题，或者呆在宿舍里通过由 ChatGPT 提供支持的人工智能导师来学习。学生在课前和课后或人工智能课程中进行简短的测试，以衡量他们学到了多少。接下来的一周，在班学生通过宿舍的人工智能导师学习下一个主题，人工智能辅导的学生回到课堂。每个学生都以两种方式学习，在一门关于表面张力的课程和一门关于流体流动的课程中，人工智能辅导的学生学到了更多东西。
为了避免人工智能幻觉，聊天机器人倾向于编造一些东西事实并非如此，人工智能导师给出了所有正确的解决方案。但其他人工智能导师的开发者也为他们的机器人提供了答案。哈佛大学物理讲师、本研究中使用的人工智能导师的开发者格雷戈里·凯斯汀 (Gregory Kestin) 认为，他的努力取得了成功，而其他人却失败了，因为他和他的同事用教学最佳实践对其进行了微调。例如，哈佛大学的科学家指示这位人工智能导师要简短，不要超过几句话，以避免认知过载。否则，他解释说，ChatGPT 有一种啰嗦的倾向。
这位被 Kestin 称为 PS2 Pal 的导师，在他教授的物理科学 2 课结束后，被告知只能一步一步放弃。时间，而不是在一条消息中透露完整的解决方案。PS2 Pal还被指示鼓励学生在揭晓答案之前自己思考并尝试一下。