承认人工智能错误信息中的人工智能幻觉 专家在人工智能错误信息案件中的声明

[4.] 为了解释这些错误是如何发生的以及为什么它们不会影响我的声明中提出的任何科学证据或观点，我列出了有关我的专业知识的更多细节，以及有关制作声明的一些背景、我研究和起草这份报告的工作流程，以及人工智能工具在我的过程中发挥的作用。

[5.] 十月中旬，被告律师联系我提供专家声明。作为我私人咨询工作的一部分，我同意以个人身份这样做。我就深度造假的心理和社会影响的科学文献发表了一份专家声明，特别是在可信度、在线传播、对媒体信任的影响以及对策的有效性方面。这些问题完全属于我的专业领域。自 2017 年以来，我撰写并发表了超过 15 篇有关人工智能和通信的研究，并且我与他人共同撰写了关于人工智能中介通信的基础文章，该文章已被引用超过 400 次，是这一新领域被引用次数最多的论文。我共同编辑了第一期关于深度造假的社会后果的特刊网络心理学、行为和社交网络是一份高影响力的同行评审期刊，发表研究新兴技术对社会、行为和心理影响的研究。我特别发表了大量关于错误信息的文章，包括错误信息的心理动力学、其普遍性以及可能的解决方案和干预措施，并且我还发表了一项研究虚拟现实中的错误信息。

[6.] 作为人工智能领域的研究员和教授，我目前的工作已经集中在深度造假带来的挑战上。然而，随着 2022 年 11 月 ChatGPT 的发布，文献数量急剧增加，这加速了可用于创建 Deepfake 的工具的开发。例如，自 2021 年我共同编辑的关于深度造假的社会后果的特刊出版以来，我们领导该特刊的文章已经被引用了 140 多次（Hancock & Bailenson，2021），这代表了最近一篇文章在社会科学领域的引用率很高。例如，仅仅3年之后，这个引用率就几乎排在所有社会科学出版物的前25%（见Ionnadis et al., 2019）。自 2022 年发布 ChatGPT 以来，我还发表了五篇关于人工智能对可信度和沟通影响的同行评审论文（Hohenstein et al, 2023；Jakesch, Naaman & Hancock 2023；Karinshak et al, 2023；Markowitz & Hancock，2024；马科维茨等人，2024）。因为我共同创立了在线信任与安全杂志，这是一本关于在线错误信息和深度伪造等相关研究的领先期刊，因为我被要求介绍我的研究以及人工智能对社会的影响，所以我定期回顾与以下领域相交叉的领域的最新科学文献我自己的。我还教授语言和技术研究生课程，重点关注人工智能和交流。

[7.] 我的这份声明的工作流程涉及三个主要阶段：(a) 调查文献，(b) 分析科学证据，以及 (c) 起草声明。

[8.] 我首先调查了有关深度伪造的文献，我很了解这些文献，但想刷新一下最新的学术成果。这是一个高度活跃的研究领域，跨越多个领域和学科，包括计算机科学、工程学、心理学、通信、人机交互和法律，与“deepfakes”一词相关的引用有数千次。为了在调查阶段查看与深度伪造相关的大量科学证据，我主要使用了两种工具（即 Google Scholar 和 GPT-4o）来识别可能与声明相关的文章，以便我可以将其合并我已经通过新的奖学金知道了这一点。Google Scholar 是一个工具，允许研究人员搜索许多学术学科和来源，以查找期刊文章、会议记录、书籍、在线存储库和专业协会。Google Scholar 提供有关出版物的索引信息、它们被引用的频率以及被哪些其他出版物引用，并且提供了查找出版物副本的链接。GPT-4o 是一种生成式 AI 工具，被称为大型语言模型 (LLM)，为聊天机器人和其他代理（例如 ChatGPT）以及越来越多的在线服务和技术（包括搜索、翻译、起草和文档）提供支持总结和分析。事实上，鉴于大多数当前用于写作和研究的工具（例如 Microsoft Word、Google Docs、Adobe Acrobat，甚至 Gmail 和 Outlook 等电子邮件服务）都提供基于人工智能的功能，这些功能可以完成或完成，生成式人工智能工具的使用正在增加。建议句子或提供沟通的初稿。一般来说，我使用 GPT-4o 等工具来提高工作流程的质量和效率，包括搜索、分析、格式化和起草。对于此声明，在调查阶段，我使用 GPT-4o 来协助搜索和识别可能与该声明相关的文章。我已经熟悉其中许多文章和结论，搜索结果包括我撰写的文章。

[9.] 在分析阶段，我的流程之一是使用 GPT-4o 总结调查阶段确定的一些相关文章，以便我可以确定研究中出现的主题和研究问题。此类主题和研究问题的例子包括人类如何检测深度伪造品，或者深度伪造品是否会破坏对新闻或媒体的信任，其中包括我已经知道的主题和研究问题以及该领域最近出现的新主题和研究问题（例如作为分析人类对深度伪造品感知的新方法）。我使用 GPT-4o 工具来验证我所读和写的文学知识，并确保在我撰写声明时没有需要注意的新奖学金。我使用 GPT-4o 和 Google Scholar 生成了一份初始参考文献列表，我将考虑在声明中引用这些参考文献。

[10.] 这里的引用错误发生在起草阶段，因此，我在这里详细解释了我的过程。起草阶段涉及两个部分——实质内容和引文。至于实质内容，我首先在 MS Word 中概述了声明的主要部分。然后，我也在 MS Word 中概述了每个部分的要点。我继续使用 Google Scholar 和 GPT-4o。

[11.] 这两个引用错误（通常被称为“幻觉”）很可能发生在我使用 GPT-4o 时，GPT-4o 是基于网络的，被学者和学生广泛用作研究和起草工具。“幻觉引用”是对不存在的文章的引用。在起草阶段，我有时会将我在 MS Word 中写入的要点（基于我对之前搜索和分析阶段的声明的研究）剪切并粘贴到 GPT-4o 中。因此，我创建了 GPT-4o 提示来协助我的起草过程。具体来说，对于这两段，我记不清我到底写了什么，但当我想尽力回忆时，我会写这样的内容作为 GPT-4o 的提示：(a) 第 19 段：“根据以下几点起草一个简短的段落： - 深度伪造视频更容易被相信， - 它们利用多种感官， - 公众人物被描述为做/说他们没有做过的事情，会利用认知偏见来相信视频 [引用]”;(b) 第 21 段：“根据以下几点起草一个简短的段落： - 新技术可以创造人类外表和行为的逼真复制品， - 最近的研究表明，即使在 Deepfake 被揭露后，人们也很难确定真假，-深度伪造在社交媒体上尤其成问题[引用]。”

[12.] 当我将与第 19 段和第 21 段相关的要点插入 GPT-4o 时，我还添加了“[cite]”一词作为占位符，以提醒自己返回并添加学术引文。正如我之前所解释的，现在更正的两篇引用都是我非常熟悉的文章，其中一篇是我自己写的。我并不是想让 GPT-4o 插入引文，但在从 MS Word 到 GPT-4o 的剪切和粘贴过程中，GPT-4o 一定将我给自己的注释解释为命令。那么，GPT-4o 的响应是生成一个引文，我相信这就是幻觉引文的来源。这种情况只发生在这两种情况下，而在我的声明中没有发生过。

[13.] 当 GPT-4o 为我提供这些答案时，我将它们从在线工具剪切并粘贴到我的 MS Word 声明中。然后，我对其实质内容进行了广泛的编辑，并且在这两种情况下我都给自己添加了注释以添加引文，GPT-4o 错误地为我添加了它们，并删除了我包含的提醒的“[cite]”占位符我自己回去并添加正确的引文。如果没有“[cite]”占位符，我就忽略了两个幻觉的引用，并且不记得包含正确的引用。这是我的错误，正如我之前所说，我对我在这两种情况下的疏忽以及为解释和纠正这一点而付出的额外工作表示歉意。

[14.] 最后，起草阶段的最后一部分涉及引用列表。我要求 GPT-4o 使用声明草案中已有的文本引用生成 APA 格式的参考列表。鉴于引用数量相对较少，我没有通过我在撰写学术论文时通常使用的参考软件来运行此操作，这可能会捕获幻觉的引用。在这里，我也意识到我应该通过通常的流程对此进行审查。然后我错误地包含了 GPT-4o 创建的两个引用。我的意思是引用两个相关段落中错误之前的来源。

[15.] 鉴于这一背景，原告指出的引用错误出现在第 21 段中，其中指出：“此外，难以相信深度造假的困难源于用于创建无缝且逼真地复制人的外表和声音的复杂技术。一研究发现，即使个人被告知深度伪造品的存在，他们可能仍然难以区分真实内容和被操纵的内容，这一挑战在社交媒体平台上更加严重，因为深度伪造品可以在社交媒体平台上发挥作用。在被识别和清除之前迅速传播（Hwang et al., 2023）。

[16.] 第 21 段的正确引用（在上面第 20 段中引用）是 Vaccari & Chadwick (2020)，这是我在研究中已经熟悉的一篇论文。本文报道了一项大型研究，该研究发现，即使人们被告知某个视频是深度伪造的，仍有大约 44% 的参与者被操纵的视频所欺骗或不确定（即陷入困境）。该引文直接支持第 21 段中所述研究的主张。

[17.] 宣言中的这一实质性观点也得到了其他研究的实证支持，包括参考文献中的参考引文。例如，一项研究发现，即使参与者被警告存在深度假货，他们检测深度假货的能力仍然很低（Köbis 等人，2021）。另一项最新研究发表于国际新闻/政治杂志（一家具有高影响因子的 Sage 期刊，原始声明中未引用）也支持这一说法（Weikmann 等人，2024）。在向参与者透露他们接触过深度伪造品后，参与者检测深度伪造品的自我效能感下降了。也就是说，参与者在得知深度伪造品后，检测深度伪造品的信心下降了。

[18.] 我在重新审查后发现的引用错误出现在第 19 段中，其中指出“研究表明，深度伪造视频比基于文本的错误信息更容易被相信，因为它们同时涉及多种感官，产生了更强烈的假象”对个人（尤其是公众人物）的真实描绘，利用了认知偏差，导致人们将视觉和听觉信息视为事实（De keersmaecker & Roets，2023）”。

[19.] 第 19 段的正确引用是 Hancock & Bailenson (2021)，该段已在上文第 17 段中引用。我是这篇文章的合著者，它阐述了为什么视觉媒介在人类感知中如此占主导地位以及为什么传播研究表明，误导性视听信息可能比口头信息更容易被信任（Hancock & Bailenson，2021，第 150 页）。具体来说，文章指出：“由于视觉传达对于人类认知而言至关重要，因此 Deepfake 欺骗的影响有可能比言语欺骗更大。Deepfake 不仅改变了言语内容，而且还改变了视觉属性。”信息是如何传达的，这是否包括一个人嘴部的动作说他或她实际上没有做的事情，或者一个人做他或她没有做的事情的行为视觉信号在人类感知中占据主导地位。 已确立的。”

[20.] 视觉媒介在人类感知中占主导地位的说法没有争议。它也得到了更多最新的深度伪造研究的实证支持。在一项旨在调查为什么在线共享的篡改视频会引起用户强烈反应并导致无辜者过失死亡的研究中，参与者发现视频错误信息比音频或基于文本的错误信息更可信，而且他们更有可能分享它。这一发现发表在计算机介导的通信杂志是传播学领域排名靠前的期刊之一（在传播学类别的 227 种期刊中排名第 6），与第 17 段中的实质性观点完全一致（Sundar 等人，2021 年）。

[21.] 最后，如上所述，在重新审查后，我发现了引文中作者身份的一个小错误（Goldstein 等人，2023）。该来源的正确作者列表是：Goldstein, J.、Sastry, G.、Musser, M.、DiResta, R.、Gentzel, M. 和 Sedova, K. 如上面第 14 段所述，我没有运行通过我在撰写学术论文时通常使用的参考软件查看引文列表，导致包含两个幻觉来源。我相信 GPT-4o 还为 Goldstein 等人生成了错误的第二作者列表——这是我已经熟悉的真实论文。

[22.] 总之，尽管存在这三个错误，但我坚决支持报告中提出的实质性观点。正如科学证据所证明的那样，报告中已使用的正确引用为所提出的具体论点提供了实证支持。特别是，Hancock 和 Bailenson (2021) 以及 Vaccari 和 Chadwick (2020) 都已出现在声明中紧邻现已更正的段落之前。