虚假引文显示阿拉斯加教育官员依赖生成式人工智能，引发更广泛的问题 • 阿拉斯加灯塔

• 毕晓普专员表示，这些文件是初稿，由于技术错误而出现在州网站上

该州最高教育官员依靠生成式人工智能起草了一份

关于阿拉斯加学校使用手机的拟议政策 ，这导致了一份国家文件引用了不存在的所谓学术研究。该文件没有透露其构想中使用了人工智能。

至少有一些人工智能生成的虚假信息最终出现在州教育委员会和早期发展成员面前。 

教育界和政府其他部门的决策者依赖于得到充分支持的研究。该专员使用虚假人工智能生成的内容表明，国家缺乏关于人工智能工具使用的政策，而公众的信任取决于了解用于告知政府决策的来源不仅是正确的，而且是真实的。

一名部门发言人首先将虚假消息来源称为“占位符”。在州教育委员会会议在马塔努斯卡举行之前，该部门网站上发布的一项决议全文都引用了这些虚假消息来源。本月苏西特纳自治市。 

后来，州教育专员 Deena Bishop 表示，它们是初稿的一部分，她使用生成式人工智能来创建引文。她说她在会议之前意识到了自己的错误，并向董事会成员发送了正确的引文。董事会通过了该决议。

然而，该部门后来分发的更正文件中存在错误的引用和所谓的“人工智能幻觉”的其他痕迹，Bishop 表示该文件是由董事会投票决定的。

该决议指示 DEED 制定手机限制政策模型。这 引用国家网站上公布的决议所谓的学术文章在列出的网址上找不到，其标题也没有出现在更广泛的在线搜索中。

该文件的六次引用中有四次似乎是在科学期刊上发表的研究，但实际上是错误的。国家引用的期刊确实存在，但部门引用的标题并未打印在列出的期刊中。相反，不同主题的作品发布在列出的链接上。 

布朗大学计算机科学和语言学助理教授、谷歌 Deepmind 的研究科学家埃莉·帕夫利克 (Ellie Pavlick) 审查了这些引文，并表示它们看起来与她见过的人工智能生成的其他虚假引文相似。

“这正是人们在人工智能幻觉引用中看到的模式类型，”她说。

幻觉是人工智能系统产生误导性或虚假信息时使用的术语，通常是因为模型没有足够的数据或做出了错误的假设。

“这是很典型的情况，你会看到这些假引文，它们有一本真实的期刊，有时甚至是一个真实的个人，一个看似合理的名字，但与真实的事物不符，”她说。“这就像您期望的语言模型的引用模式一样 - 至少，我们已经看到他们做了类似的事情。”

该文档的参考部分包括 URL，可指向不同主题的学术文章。州政府的 URL 并没有在《计算机与人类行为》杂志上发表“禁止使用手机提高学生成绩：来自准实验的证据”，而是引出了文章“Facebook 上的性化行为”，出版物中的不同文章。搜索正确的标题没有产生任何结果。该州称在《教育心理学杂志》上发现的两项研究也是如此。 

在阿拉斯加灯塔要求该部门提供虚假研究后，官员们更新了在线文件。当被问及该部门是否使用人工智能时，发言人 Bryan Zadalis 表示，引文只是作为填充物，直到插入正确的信息。 

– 列出的许多来源都是在起草过程中使用的占位符，而最终来源则受到批评、比较和审查。我们很多人都已经习惯了这个流程，”他在周五的一封电子邮件中写道。 

扎达利斯起草了该决议草案和 Bishop，然后将其放入生成人工智能平台，看看它是否有助于寻找其他来源，”Zadalis 在周一的一封电子邮件中表示。他们发现这最终没有帮助。

毕肖普后来说，这是发布错误的初稿，后来得到了更正。

但毕肖普表示，董事会审查和投票的文件中仍然存在人工智能生成文件的痕迹。

例如，该部门更新了文档仍然向读者推荐美国心理学会 2019 年的一项虚构研究，以支持该决议的主张，即“手机限制学校的学生表现出较低的压力和较高的学业成绩。”新的引文导致一项研究着眼于 心理健康而不是学术成果。有趣的是，该研究并未发现手机使用与抑郁或孤独之间存在直接关联。

虽然该声明在文件中的来源不正确，但有一项研究这表明智能手机对课程理解和幸福感有影响，但影响的是大学生而不是青少年。发表这项研究的纽约理工大学研究员兼教授梅丽莎·迪马蒂诺 (Melissa DiMartino) 表示，尽管她没有研究过手机对青少年的影响，但她认为她的研究结果只会在该人群中得到放大。

– 他们的大脑仍在发育。它们的可塑性非常强。如果你看一下有关智能手机的研究，就会发现其中很多都反映了物质成瘾或任何其他类型的成瘾行为，”她说。

她说，真正研究青少年的棘手之处在于，正如国家虚假研究的标题所暗示的那样，研究人员必须获得学校的许可才能研究学生。

在阿拉斯加灯塔多次询问消息来源后，该部门于周五在线更新了该文件。更新后的参考文献列表将已有 100 多年历史的《教育心理学杂志》中一篇不存在的文章的引用替换为《马来西亚在线教育技术杂志》中的一篇真实文章。

毕肖普表示，这些错误“没有任何邪恶的因素”，并且该事件没有造成明显的损害。

然而，虚假引用确实表明了人工智能错误信息如何影响国家政策——特别是如果国家高级官员使用该技术作为起草速记，从而导致公共文件和官方决议中出现错误。

教育部门发言人的声明表明，使用此类“占位符”在该部门并不罕见。如果这些占位符通常是人工智能生成的内容，那么这种错误很容易重复出现。

人工智能专家帕夫利克表示，这种情况表明人们需要对人们从何处获取信息以及错误信息的传播进行更广泛的思考。

“我认为这也是一个真正令人担忧的问题，尤其是当处于权威地位的人使用此功能时，因为这种信任的降低已经存在，对吗？”她说。“一旦多次发现信息是假的，无论是有意还是无意，那么就很容易将任何东西视为假的。”

在这个例子中，科学文章——长期以来被接受的通过研究、数据和事实验证论点的形式——受到了质疑，这可能会削弱它们作为可信资源的程度。

– 我认为对于很多人来说，他们以同样的方式认为人工智能是搜索的替代品，因为在某些方面感觉很相似。就像，他们在电脑前，在文本框中输入内容，然后得到这些答案，”她说。 

她提到了去年的一个法律案件，其中 律师使用人工智能聊天机器人撰写文件。该聊天机器人引用了该律师随后在法庭上使用的虚假案例，这导致法官考虑惩罚该律师。帕夫利克说，这些错误让她想起了契约文件中发生的事情。

她表示，令人担忧的是，这项技术的应用如此广泛，而公众对其工作原理的了解却没有相应增加。 

——我不知道这到底是谁的责任——更好的教育可能更多地落在我们人工智能社区的肩上，对吧，因为很难责怪人们不理解，因为没有意识到他们需要将其与其他搜索工具、其他技术区别对待，”她说。

她说，提高人工智能素养是避免滥用该技术的一种方法，但对于如何实现这一点，还没有普遍认可的最佳实践。

“我认为类似这样的例子有几个，希望能够升级，让整个国家、全世界对此事的结果更加感兴趣，”她说。

编者注：本文已更新，指出扎达利斯撰写了该决议。