新的交互式人工智能工具让教科书变得生动起来

只需一台 iPad，世界各地任何教室的学生很快就可以重新想象任何物理教科书中的普通图表，将这些静态图像转换为在页面上运行、跳跃或旋转的 3D 模拟。

这些新的、生动的教科书是由科罗拉多大学博尔德分校铃木亮领导的计算机科学家团队的创意。该研究是发表作为第 37 届 ACM 用户界面软件和技术年度研讨会论文集。

“通常，这些图表是固定的。我们必须想象会发生什么，”ATLAS 研究所和计算机科学系助理教授 Suzuki 说。“但是如果我们可以从任何教科书中获取任何静态图表并使其具有交互性呢？”

他和他的同事最近在第 37 届会议上获得了“最佳论文”奖ACM 用户界面软件和技术年度研讨会今年十月在匹兹堡。

想象一下：你打开你的高中物理教科书上画了一个滑雪者在跳跃的顶端摇摇欲坠的图画。该图应该教您有关以下主题的知识：动能，例如滑雪者冲下山的能量。但滑雪者实际上从未移动过。他只是坐在那里。

到目前为止。

对于这项新研究，铃木的团队设计了一个工具，允许学生用 iPad 记录该图表。然后，在用户调整一些设置后，该工具利用人工智能让滑雪者在屏幕上移动。他冲下山坡，跳跃并翱翔。它在科学上也是准确的：学生可以调整雪的摩擦力，让他们的滑雪者通过几次滑动来加快或减慢速度。

铃木认为该项目是一个重塑教科书的机会，让学习者不仅有机会阅读物理知识，还能看到动量和电流等主题的实际应用。

“我们相信教育和学习的未来应该更加互动和个性化，”铃木说道。研究员在加拿大卡尔加里大学。

它还活着！

该研究的第一作者阿迪亚·古图鲁 (Aditya Gunturu) 回忆起自己学习物理学的日子。他曾经在高中上过科学课，认为一定有更好的方法来可视化主题来传达运动。

“我非常沮丧，”卡尔加里大学计算机科学硕士生古图鲁说。“我想将这些概念形象化。”

他并不孤单：贡图鲁的母亲是印度的一名生物老师，她经常在黑板上画画，向学生展示细胞如何分裂等内容——教科书只能在快照中捕捉到这种现象。

该团队的发明“增强物理”可以提供帮助。

该工具依赖于科技公司 Meta 的名为 Segment Anything 的模型。它是一种计算机可视化工具，允许用户单击照片来隔离特定对象——一只狗，或者一张脸。同样，通过增强物理，学生和教师可以选择图表中的各种对象，例如滑雪者和跳台滑雪，并为这些对象分配角色。然后，人工智能应用一些基本物理原理（例如重力）来使这些物体移动。

它也适用于多种不同类型的图表。其中包括光学图（例如，学生可以模拟棱镜如何折射阳光）和电路图，以便他们可以看到电流沿着电线流动。在一个完整的循环时刻，研究人员在贡图鲁多年前的物理教科书中的一些相同图表上测试了他们的工具。

超越物理

该团队还根据学习物理的真实学生和科学老师的反馈来设计其产品。该工具帮助学生进行“自己的小实验”的能力给一位教育工作者留下了深刻的印象。

铃木指出，该工具尚不完美。到目前为止，它只能在大约 60% 的时间内将全新的图表转变为有效的模拟。但该团队正在努力提高这些成功率。

最终，研究人员和他的同事希望超越物理学，使用类似的技术将任何类型文档中的任何图表转换为生动的 3D 世界，学生可以借助增强现实眼镜进入其中。

“这就是我们的目标——从静态 2D 进入交互式 3D 世界，”铃木说。

与此同时，古图鲁的妈妈迫不及待地想让他设计一个适用于生物学教科书的工具。

“那将是她的梦想成真，”他说。

这项新研究的其他合著者包括 Adob​​e Research 的 Rubaiat Habib Kazi；卡尔加里大学的 Nandi 张和 Jarin Thundathil；和德克萨斯农工大学的 Yi Wen。

更多信息：Aditya Gunturu 等人，增强物理：从静态教科书图表创建交互式和嵌入式物理模拟，第 37 届 ACM 用户界面软件和技术年度研讨会论文集（2024）。DOI：10.1145/3654777.3676392