这位穿着整洁的蓝色衬衫、说话带有柔和美国口音的年轻人看起来不可能是西非国家布基纳法索军政府领导的支持者。
“我们必须支持……伊布拉希马·特拉奥雷总统……要么是祖国，要么是死亡，我们必将克服困难！”他在一段于2023年初开始在Telegram上流传的视频中说。这距离独裁者通过军事政变上台仅几个月时间。
其他一些视频也出现在同一时间，这些视频由不同的人主持，他们身穿类似的专业服装，在布基纳法索的国旗前重复着相同的脚本。
几天后，在一个经过验证的X账号上，同一个年轻男子，穿着同样的蓝色衬衫，声称自己是新数字货币平台首席执行官阿奇。
这些视频是假的。它们是由位于伦敦东区的一家初创公司开发的人工智能生成的。该公司Synthesia在致力于完善逼真人工智能视频的行业中引起了一股热潮。投资者纷纷注入资金，使其达到了“独角兽”地位——这是指一家估值超过10亿美元的私人公司的标签。
Synthesia的技术旨在为希望创建营销材料或内部演示的客户提供服务，而任何深度伪造都是违反其使用条款的行为。但对于那些成为数字“木偶”的背后形象的模特来说，这并没有什么意义。 用于宣传视频中，例如那些似乎是支持布基纳法索独裁者的视频。《卫报》追踪到了其中五个人。
马克·托雷斯是一名基于伦敦的创意总监，他在假视频中身穿蓝色衬衫，他说：“我现在震惊得说不出话来。我在创意行业工作了20多年，从未有过如此被侵犯和脆弱的感觉。”
“我不希望任何人那样看待我。仅仅是我出现在那段视频中，就可能被解读为在推广某个我不知道存在的国家的军事统治。人们会认为我是政变的一部分，”托雷斯在接受《卫报》首次展示这段视频后补充道。
The （没有可翻译的内容）射击
2022年夏天，Connor Yeates接到他的经纪人来电，有机会成为一家新公司首批AI模型之一。
叶茨从未听说过这家公司，但他刚搬到伦敦，当时住在朋友家的沙发上。这份报价——一天的拍摄费用接近4000英镑，以及三年内使用这些图片的权利——让他感觉像是一个“好机会”。
“自从大学时期我就开始当模特了，毕业后那一直是我的主要收入来源。然后我搬到伦敦开始了单口喜剧表演，”伊茨说，他是在巴斯长大的。
拍摄在伦敦东部的Synthesia工作室进行。首先，他被带去化妆间做头发和化妆。半小时后，他进入录音室，那里有一小支制作团队在等待。
耶茨被要求在直接面对相机的情况下朗读台词，并穿着各种服装：实验大衣、建筑高可视性背心和安全帽，以及商务套装。
“你面前有一个写着台词的提词器，你说这些台词以便他们捕捉你的手势并复制你的动作。他们会说你要更热情一些，要微笑，皱眉，表现出愤怒，”叶茨说道。
整个过程持续了三个小时。几天后，他收到了一份合同和自己的AI虚拟形象的链接。
“他们很快就付了钱。我没有富有的父母，这笔钱对我来说很重要，”叶茨说道，事后他并没有太在意这件事。
像托雷斯一样，叶茨的形象也被用于宣传布基纳法索现任领导人的形象。
Synthesia公司的发言人表示，该公司已经封禁了在2023年创建这些视频的账号，并且加强了内容审查流程，“聘请了更多的内容审核人员，提升了我们的审核能力和自动化系统的检测与预防功能，以更好地防止技术被滥用”。
但托雷斯和耶茨直到几个月前《卫报》联系他们时才知道这些视频的存在。
“独角兽”
Synthesia成立于2017年，由Victor Riparbelli、Steffen Tjerrild以及来自伦敦和慕尼黑的两位学者创立。
它在一年后推出了一款配音工具，该工具允许制作公司使用人工智能自动将语音翻译并同步演员的嘴唇动作。
它在BBC的一档节目中展出，节目中一位只会说英语的新闻主播被制作成仿佛能够神奇地说普通话、印地语和西班牙语的样子。
该公司备受追捧的“独角兽”地位源于其转向如今面向大众市场的数字虚拟人物产品。这使得公司或个人可以每月花费低至23英镑在几分钟内创建以虚拟角色为主导的视频。有数十种不同的角色可供选择，包括不同性别、年龄、种族和外观。一旦选定，这些数字木偶就可以被放置在几乎任何场景中，并赋予它们脚本，然后由他们用超过120种语言和口音进行阅读。
Synthesia现在在市场上占据主导地位，并且其客户包括 Ernst & Young (EY)、Zoom、Xerox 和 Microsoft。
该产品的进步使得《时代》杂志在九月将Riparbelli列入了人工智能领域最有影响力的一百人名单。
但是该技术也被用来制作与包括俄罗斯、中国和其他国家在内的敌对政权相关的视频，以传播虚假信息和误导信息。情报来源向《卫报》透露，2023年流传的布基纳法索相关视频很有可能也是由俄罗斯国家行为者创建的。
个人影响
大约在同一时间，布基纳法索的视频开始在网上流传时，两条支持委内瑞拉的视频也出现在了YouTube和Facebook上。其中一个视频中，一位金发男主持人穿着白色衬衫出现，他谴责“西方媒体关于经济不稳定和贫困的说法”，并描绘了一个极具误导性的该国金融状况的画面。
丹·迪沃希尔，一位居住在伦敦的演员以及Synthesia平台上的一个模特，他的形象被用在这段视频中，他告诉《卫报》：“无数的人联系我谈论这件事……但可能还有其他人看到了却没有说什么，或者默默地因为我而评判我。我可能会因此失去一些客户。但是这并不是我的行为，只是我的脸。但他们以为我是同意了的。”
“我非常愤怒。这对我的心理健康造成了极大的伤害。它引发了一种无法控制的焦虑。”他补充道。
Synthesia的发言人表示，该公司已经与一些形象被使用的演员取得了联系。“对于这些历史事件对你们交谈中涉及的人产生的任何负面个人或职业影响，我们深表遗憾，”他说。
但一旦流传开来，深度伪造内容造成的危害难以消除。
德威希尔说，看到自己的脸被用来传播宣传是他最糟糕的设想，并补充道：“当我们担心时，我们的大脑常常会夸大事实。但实际看到那种担忧成为现实……这真是太可怕了。”
过山车
去年，美国超过10万工会化的演员和表演者罢工抗议反对使用人工智能在创意艺术领域。罢工去年十一月因片厂同意在合同中加入保护措施而叫停，例如在进行数字复制前需获得知情同意以及对任何此类使用的合理补偿。视频游戏表演者罢工不停止对于同一个问题。
上个月，在美国提出了一项两党法案，名为《无假货法》（NO FAKES Act），旨在追究涉及数字复制品违规行为的公司和个人的责任。
然而，在AI生成的色情内容之外，几乎没有为艺术家自己提供补救的实际机制。
“这些AI公司正在邀请人们乘坐一个极其危险的过山车，”伦敦的一位专注于生成式人工智能和知识产权的媒体与娱乐律师凯尔西·法里斯说道。“而且猜猜怎么着？人们仍然继续上这个过山车，现在开始有人受伤了。”
根据GDPR，模型可以技术上要求Synthesia删除他们的数据，包括他们的肖像和图像。但实际上这非常困难。
一名希望匿名的前Synthesia员工解释说，AI无法“遗忘”或删除它可能从模特的身体语言中获取的信息。要做到这一点需要替换整个AI模型。
Synthesia的发言人表示：“我们合作的许多演员会再次与我们联系，进行新的拍摄……在我们开始合作之初，我们会向他们解释我们的服务条款以及我们的技术如何运作，以便让他们了解平台的功能和我们已采取的安全措施。”
他说公司不允许“使用股票头像进行政治内容的发布，包括虽然事实准确但可能引发对立的内容”，并且其政策旨在防止其头像被用于“操纵、欺骗行为、冒充和虚假关联”。
尽管我们的流程和系统可能并不完美，但我们的创始人致力于不断改进它们。
当守护者使用一系列虚假信息脚本测试Synthesia的技术时，虽然它阻止了使用其中一个化身的尝试，但可以使用自定义创建的化身重新制作布基纳法索的宣传视频并下载它。根据Synthesia的政策，这两种情况都不应被允许。然而，Synthesia表示这并不违反其条款，因为它尊重个人表达政治立场的权利，但它后来还是封禁了该账户。
《卫报》还能够创建并下载一个仅限音频的化身所说的内容，该化身用多种语言说“heil Hitler”，另一个音频片段则以美国口音说道“卡马拉·哈里斯操纵了选举”。
Synthesia在接到卫报联系后下线了免费的AI音频服务，并表示该产品背后的技术是一个第三方服务。
后果
他的形象被用在了一部宣传视频中。 这让托雷斯感到深深的背叛：“知道我信任这家公司来维护我的形象，它却能逃脱这样的事情，这让我非常愤怒。这种行为可能危及生命，在移民过境时甚至可能威胁到我的生命。”
托雷斯今年受邀再次与Synthesia进行拍摄，但他拒绝了。他的合同将在几个月后结束，届时他的Synthesia虚拟形象将会被删除。但他在布基纳法索视频中的虚拟形象会怎样呢？ 对他来说也不清楚。
“现在我明白为什么把我们的脸给他们使用是如此危险了。真可惜我们参与进来了，”他说。
YouTube已经删除了德惠斯特主演的宣传视频，但该视频仍在Facebook上可以观看。
托雷斯和耶茨都仍然出现在Synthesia首页的视频广告中。