如何识别传播选举虚假信息的AI深度伪造内容

2024-10-18 16:32:23 英文原文

作者:by Emma Folts, Carnegie Mellon University

state elections
图片来自Pixabay/CC0 公共领域

生成式AI系统,如ChatGPT,是通过大规模数据集训练来创建书面、视觉或音频内容以响应提示的。当输入真实图像时,某些算法可以生成被称为深度伪造(deepfakes)的假照片和视频。

使用生成式人工智能(AI)系统创建的内容正在影响2024年的总统选举。虽然这些工具可以无害地使用,但它们也使得恶意行为者能够比以往更快、更逼真地制造虚假信息,这可能增加他们对选民的影响。

卡内基梅隆大学软件工程研究所首席研究员托马斯·斯坎伦和该校信息系统与公共政策亨茨学院的兼职教授表示,国内外敌对势力可以利用深度伪造技术和其他形式的生成式AI来传播关于政客立场的虚假信息,或者篡改他们的演讲。

“对深度伪造内容的担忧在于它们有多么逼真,以及如何辨别它们与真实画面的问题非常棘手,”Scanlon说。

选民们已经看到了更多的荒谬的AI生成内容——例如唐纳德·特朗普骑狮子的照片——而不是大量充斥着虚假信息的高仿真深度伪造视频,据美联社报道。然而,斯坎伦担心选民在选举日当天或前夕会接触到更多有害的生成式内容,比如展示投票站工作人员声称某个开放的投票地点已经关闭的视频。

他说,这种错误信息可能会阻止选民投票,因为几乎没有时间来纠正虚假信息。总体而言,根据卡内基梅隆大学布洛克技术与社会中心(位于信息系统和公共政策亨茨学院)的说法,人工智能生成的欺骗行为可能进一步侵蚀选民对该国民主机构和当选官员的信任。

“人们不断受到信息的轰炸,消费者需要决定:这些信息的价值是什么,同时也需要确定他们对这些信息的信心如何?我认为个人在这个方面可能会感到挣扎,”海因茨学院信息安全政策与管理硕士项目主任兰德尔·特泽卡克说道。

生成式AI的飞跃发展

多年来,人们一直使用诸如Adobe Photoshop之类的工具操纵照片和视频来传播 misinformation。这些假内容更容易被识别,并且坏人难以大规模复制。然而,生成式人工智能系统使用户能够快速轻松地创建内容,即使他们没有高端计算机或软件也是如此。

人们会因为各种原因而相信深度伪造内容,海因茨学院的教职员工说道。如果观看者使用的是智能手机,他们更可能将深度伪造内容较差的质量归咎于手机信号不好。如果深度伪造内容反映了观看者已有的信念——例如,认为一个政治人物是不值得信赖的,那么这种内容就更容易被接受。会使观众不太可能仔细审视该声明。

安雅妮·森,海因茨学院信息科技与管理助理教授,在一份声明中写道:大多数人没有时间去核实每个视频的真实性,这意味着深度伪造视频可以随着时间的推移播下疑虑并侵蚀信任。他担心计票直播流虽然旨在增加透明度,但却可能被用于制作深度伪造视频。

一旦一旦出现,就很难纠正它,把魔鬼重新放回瓶子里。

阿里·莱特曼(Ari Lightman),海因茨学院数字媒体和营销教授表示,与以往制造虚假信息的方法不同,生成式人工智能还可以被用来向在线社区发送量身定制的信息。如果该社区中的一员不小心分享了这些内容,其他人可能会因为信任这个分享者而相信其信息。

对手正在“观察消费者的行为模式以及人们如何与技术互动,希望有人会点击可能会导致虚假信息传播的信息。”Lightman说。

揭穿AI生成的虚假信息的幕后黑手很难。创作者可以使用虚拟专用网络并采用其他机制来隐藏他们的踪迹。Lightman表示,与美国敌对的国家可能正在利用这项技术制造武器,但他也担心那些在暗中运作的个人和恐怖组织。

选民需要了解的内容

斯坎隆说,人们应该信任自己的直觉,并尝试验证他们认为可能是深度伪造的视频。“如果你看到一个让你对其真实性产生怀疑的视频,那么你应该承认这种怀疑。”

根据Scanlon的说法,以下是一些可能表明视频是深度伪造的迹象:

  • 剪辑中的跳切:今天的AI系统基本上无法创建长段落的内容从一个视角拍摄的视频。视频的角度可能每隔几秒钟就会改变,或者主体可能会被依次断续地从多个侧面展示。
  • 光线不一致:深度伪造视频常常包含阴影,这些阴影不合理地来自多个方向或者仅在视频的部分时段出现。通常,视频的照明会出现闪烁。
  • 不符的反应:视频中可能会展示主题以严肃的表情说出令人震惊的话,或者相反。如果视频中有其他人物,他们的反应可能与主题的信息或语气不匹配。
  • 肤色不均或面部不对称:观众可能会注意到主体的肤色存在显著差异,特别是当画面中包含手或手臂时。主体可能有看起来彼此不成比例的耳朵或眼睛。
  • 眼镜和耳环的问题:观众可能会发现主体的耳环缺失或不匹配,或者眼镜不适合。

区块中心有编撰了一份指南帮助选民了解生成式人工智能在政治竞选中的应用。该指南鼓励选民向候选人提问关于他们使用AI的情况,并发送支持更严格AI监管的信件给他们的当选代表。

特雷泽亚克说:“一个知情的选民应该花足够的时间来对他们决策过程中所使用的信息建立起信心。”

立法格局

目前没有全面的联邦立法来监管深度伪造内容,旨在保护选举免受人工智能威胁的几项法案在国会停滞不前。一些州通过了禁止出于恶意目的创建或使用深度伪造内容的法律,但并非所有这些法律都明确与选举干扰有关。

宾夕法尼亚州参议院有提出了一项法案该法案拟对传播包含人工智能生成的政治候选人模仿形象的竞选广告的人处以民事罚款,只要法院能够证明其存在恶意意图。该法案尚未进行投票。

现有的法律不足以规范深度伪造技术的使用,Scanlon说。但他补充道,网络犯罪的模糊性质意味着任何联邦监管都可能很难执行。

“执行可能看起来像是定期拿一些人和团体作为例子来起到震慑作用,”Scanlon说。

除了实施和执行规章制度之外,Lightman表示该国还需要解决政治极化和社会对机构信任度下降的问题,这些问题使得虚假信息得以蔓延。

“我们所看到的一切要么是讽刺,要么是完全虚假的宣传。”他说,“而且我们不信任彼此。”“我们必须回到对社会的理解上,了解我们所参与的事情是如何侵蚀信任的。如果我们能够理解这一点,也许我们可以采取措施来逆转这种趋势。”

引用如何识别传播选举错误信息的AI深度伪造技术(2024年10月18日) 检索于2024年10月18日 从https://phys.org/news/2024-10-ai-deepfakes-election-misinformation.html

本文件受版权保护。除个人研究或学习目的的合理使用外,未经书面许可不得复制任何部分。内容仅用于提供信息之目的。

关于《如何识别传播选举虚假信息的AI深度伪造内容》
暂无评论

摘要

credits: Pixabay/CC0 公共领域 生成式AI系统,如ChatGPT,是通过大规模的数据集训练来根据提示生成文本、视觉或音频内容的。大多数人没有时间去核实他们看到的每一个视频的真实性,这意味着深度伪造视频可以随着时间的推移播下怀疑的种子并侵蚀信任,海因茨学院的信息技术与管理助理教授安妮亚·森在一份声明中写道。光线不一致:深度伪造视频通常会包括阴影,这些阴影来自多个方向或仅出现在视频的一部分中,这是不合实际的。斯坎伦说,现有的法律不足以规范深度伪造的使用。“如果我们能够理解这一点,也许我们可以采取措施来逆转它。”