当一个音频片段似乎显示一位当地学校校长发表了贬低性的言论时,在线上传播开来,并引发了针对该教育工作者的人身威胁,这在巴尔的摩市郊引起了一连串反应。但很快就被揭露为由人工智能制造的伪造品——那么为什么人们仍然相信它是真的呢?
‘我真的不明白我为什么每天都要忍受这些愚蠢的行为。’
这段音频似乎是由皮克斯堡高中校长开始的一场长时间抱怨,其间夹杂着种族主义、反犹太言论以及令人不快的话语。听起来像是被秘密录制的。
发言人继续哀叹“忘恩负义的黑人孩子”和社区中的犹太人。
该视频最初在1月份发布,很快在全国范围内传播开来。但这段视频真的触动了宁静而绿树成荫的皮克斯基尔郊区居民的心弦,这个地区拥有大量的非裔美国人和犹太人口,在附近的马里兰州巴尔的摩市也是如此。校长埃里克·艾斯韦特在调查期间被安排了带薪行政休假。
阿尔菲·梅洛尼是一名住在附近巴尔的摩的黑人男子,他注意到社区里的其他成员也在发布这段视频,并认为这是真实的。
“从心底里你就会想,这大概就是人们实际上对我们的真实感受。”梅洛尼先生说,“然后听到这种声音在音频中传播出来。”
为了验证自己所听到的内容的真实性,梅洛尼先生检查了社交媒体上其他真实的艾斯韦特录音,这些录音听起来是一样的。
So the part-time postman, part-time podcaster hit the re-share button.
这段视频开始在社交媒体上获得关注,越来越多的人在网上分享它。其中最广泛传播的一个版本很快就接近达到两百万次观看,在短短几个小时内就达到了这一数字。到目前为止,这大约是派克斯维尔总人口的60倍。
但那些当时分享视频的人没有意识到的是,另一个重磅消息即将揭晓:这段视频是一个由AI生成的假视频。
For 英国广播公司第四电台《你为什么恨我美国》我一直在美国马里兰州调查这段视频对当地的影响。它几乎像一则寓言,讲述AI带来的危险,特别是在针对本地社区时。
AI伪造的解剖结构
当这段视频落在巴尔的摩日报的教育记者克里斯汀·格里菲斯(Kristen Griffith)的办公桌上时,她以为这将是一个相对简单的关于一名老师因发表冒犯性言论而被揭露的故事。
但按照新闻报道的最佳实践,格里菲斯女士希望给校长一个回应的机会,并让他讲述自己的故事。因此,她联系了他的工会代表,该代表表示埃斯韦尔特先生不仅谴责了这些言论,而且他并没有说过这些话。
‘他说马上就说这是假的……我们相信是AI制作的’”,她在接受BBC采访时说。”“我之前没有听过这种说法”
但她发表那篇解释时,她的读者并没有被说服。这不仅没有引发关于片段真实性的疑问,反而激起了那些认为造假指控只是为了逃避责任或成为借口的人的强烈反弹。
正是在这个时候,当地警方开始调查此案。皮克斯伯利高中的工作人员告诉他们,由于受到过多关注而感到不安全,并担心学校里安装了录音设备。
艾斯维特校长的声誉也受到了严重打击。他在学校内外的安全措施都被加强了。他成为了社交媒体上的仇恨和威胁的目标。我在社交媒体上发现了几十条针对他的辱骂性消息。
然后在四月份,巴尔的摩警察局长罗伯特·麦卡洛赫确认他们现在有“确凿证据证明录音并非真实”的依据。
而且他们相信他们已经知道了制作假录音的人是谁。
警方以与伪造视频相关的几项罪名起诉了31岁的达宗·达里恩,该校的体育主管。指控包括盗窃、报复证人和骚扰。
他在机场被捕,警方称他当时正计划飞往得克萨斯州休斯顿市。
警方表示,埃伊沃特校长一直在调查针对达里恩的一起涉嫌从学校盗取1916美元(约合1460英镑)的案件。他们还声称存在“工作表现挑战”,并且他的合同可能不会被续签。
他们的理论是,通过制作这个深度伪造的录音,他希望在被解雇之前诋毁校长。
调查人员表示,他们追踪到了发送原始视频的电子邮件地址到与Darien先生有关联的服务器,并指控他曾利用巴尔的摩县公立学校的计算机网络访问人工智能工具。他将于2024年12月出庭受审。
Darien先生的法律代表没有回应评论请求。
巴尔的摩县学校总监Myriam Rogers此前曾表示,这对学区、校长及其家庭来说是“一段非常艰难的时期”。
皮克斯基尔高中的代表和Eiswert先生没有回应我进一步评论的请求。
人们为什么相信这段视频?
因为这个片段只有音频,这意味着没有像机器人动作那样的视觉线索来揭示AI的操纵。它还提到了一些行话,比如‘年级期望’,以及其他只有接近学校的人才会知道的细节。
不过,仔细听的话,句子之间有明显的编辑痕迹——而声音虽然类似校长,但显得相当单调。人工智能可以使用几分钟的真实录音——例如你最喜欢的演员在电影中的台词或一位总统候选人发表演讲时的声音——来生成一个听起来像他们从未说过的内容的片段。
但是人们之所以相信这段视频是真实的,也许最大的原因是因为它感觉真实,马龙先生告诉我。
因为它触动了他作为巴尔的摩的一名黑人男子所经历的种族主义的亲身感受。
当马洛先生听到校长把黑人学生形容为懒惰时,这立刻让他想起了在学校和工作中遇到的侮辱和歧视。
几个月后,《皮克斯伯勒》中的人们仍然感受到假音频的影响。艾斯韦特先生换了一份工作,在另一所学校工作。尽管一些社区成员告诉我他们现在接受视频是假的,但损害已经造成。
“这是一个犹太人居住区,说这样的话来煽动整个社区是非常令人不安的。”去年八月,在高中对面的一栋房子里,一位名叫莎伦的女人一边把孙子的婴儿车装进汽车里一边对我说。
几分钟内,莎伦仿佛认为那段音频是真实的那样与我交谈。
“当人们说出这种话时,其他人会跟着一起说,这让我感到更加恐惧。”
当她的丈夫从车里提醒她这段视频实际上是假的时,她承认自己后来‘发现这是AI生成的’。但她表示自己仍然对此感到愤怒。
我发现对于像雪伦这样曾一度相信这段视频是真实的的人来说,即使只是短暂的时间,这种感觉也一直伴随着他们——特别是当这条信息反映了种族主义和歧视的真实经历时。这让我想起了在调查错误信息和阴谋论时经常听到的一句话:‘即便这是假的,这也是我认为他们会这么想的。’
所有的主要社交媒体公司都说他们有政策来标注、移除并限制AI生成帖子的传播。但是这样的行动只有在可以证明一段视频是假的时候才会发生。到那时,这段视频可能已经传给了数百万人。
艾尔菲·马洛尼早些时候说,当天他与一个朋友交谈时,这个朋友仍然不知道那段视频是由AI生成的。
他说:‘说实话,我认为这个城市里有很多人并不真正知道那是不真实的。’
他表示对艾斯沃特先生(学校校长)被错误地指控发表那些言论感到遗憾。他也担心这一事件已经削弱了人们对真实种族主义经历的信任。
他说他在再次分享此类视频之前会三思而行。
“我已经被火烧过一次,不会再碰那个炉子了。”