Sora 向我们展示了 Deepfake 检测有多么糟糕

OpenAI 的新型 Deepfake 机器 Sora 已经证明，人工智能在伪造现实方面非常擅长。这个人工智能生成的视频平台由 OpenAI 的新 Sora 2 模型提供支持，已经制作出了详细的（和经常令人反感或有害）名人的视频，例如小马丁·路德·金、迈克尔·杰克逊和布莱恩·科兰斯顿，以及受版权保护的角色，例如海绵宝宝和皮卡丘。该应用程序的用户自愿分享自己的肖像，他们发现自己大声喊出种族歧视言论，或者成为恋物癖账户的燃料。

在 Sora 上，人们清楚地认识到，你所看到和听到的一切都不是真实的。但与任何社交内容一样，Sora 上制作的视频旨在分享。一旦他们逃离了应用程序的不真实隔离区，就几乎没有任何保护措施可以确保观看者知道他们所看到的东西不是真实的。

该应用程序令人信服的模仿不仅存在误导观众的风险。这证明了 AI 标签技术的失败有多么严重，其中包括 OpenAI 本身帮助监督的系统：C2PA认证，我们拥有的用于区分真实图像和视频与人工智能赝品的最佳系统之一。

C2PA 身份验证通常被称为“内容凭证”，该术语由 Adob​​e 倡导，并且是该计划的带头人。它是一个在创建或编辑时将不可见但可验证的元数据附加到图像、视频和音频的系统，并附加有关其制作或操作方式和时间的详细信息。

C2PA 只有在创建和发布过程的每一步都采用时才有效，包括对查看输出的人清晰可见。理论上，它已被 Adob​​e 所接受，开放人工智能,谷歌,YouTube，元，抖音,亚马逊,云耀，甚至政府办公室。但这些平台很少使用它来向用户明确标记深度伪造内容。Instagram、TikTok 和 YouTube 的努力要么是几乎不可见的标签，要么是折叠描述这些很容易被忽略，而且如果你真的要发现它们，它们提供的背景信息也很少。对于 TikTok 和 YouTube，我自己在浏览平台时从未遇到过它们，即使是明显由人工智能生成的视频，因为上传者可能已删除元数据或未披露其来源。

Meta 最初添加了一个小“Made by AI”标签去年 Facebook 和 Instagram 上的图片，但它后来将标签更改为“AI Info”摄影师抱怨他们使用 Photoshop（自动应用内容凭据）编辑的作品被错误标记。大多数在线平台甚至不这样做，尽管它们完全有能力扫描上传的内容以获取人工智能元数据。

C2PA 的创建者坚称他们距离广泛采用越来越近了。Adobe 内容真实性高级总监 Andy Parsons 表示：“我们看到整个行业在采用内容凭证方面取得了有意义的进展，并且我们对正在进行的积极合作感到鼓舞，以提高在线透明度。”边缘。– 随着生成式人工智能和深度造假变得更加先进，人们需要有关内容制作方式的清晰信息。”

然而之后四年，这种进步仍然几乎是看不见的。自从我开始从事 CAI 工作以来，我一直在研究 CAI边缘三年前，几周后我才意识到每个视频都是使用 Sora 和 Sora 2 生成的嵌入了内容凭证。没有任何视觉标记暗示它，在我看到的每个将这些视频重新发布到 X、Instagram 和 TikTok 等其他平台的例子中，我还没有看到任何标签将它们标识为人工智能生成，更不用说提供其创作的完整说明了。

注意到的一个例子AI检测平台Copyleaks是 TikTok 上一段由人工智能生成的病毒视频，其中显示了闭路电视录像一个男人抓住一个婴儿它看起来像是从公寓窗户掉下来的。该视频有近 200 万次观看，并且似乎有一个模糊的 Sora 水印。TikTok 没有明显标记该视频是人工智能生成的，并且有数千名评论者质疑该视频是真实的还是虚假的。

如果用户想要检查图像和视频中的 C2PA 元数据，负担几乎完全由他们承担。他们必须保存受支持的文件，然后将其上传到计算机辅助教学或者Adobe 网络应用程序，或者他们必须下载并运行浏览器扩展这将标记任何具有带有“CR”图标的元数据的在线资产。类似的基于来源的检测标准，例如Google 的隐形 SynthID 水印，使用起来并不简单。

– 普通人不应该担心 Deepfake 检测。它应该建立在平台、信任和安全团队上。”——Ben Colman，人工智能检测公司联合创始人兼首席执行官现实捍卫者，告诉边缘。“人们应该知道他们正在消费的内容是否使用生成式人工智能。”

人们已经在使用 Sora 2 制作令人信服的视频，包括假炸弹恐慌、战区儿童以及暴力和种族主义的生动场景。一个剪辑审查者卫报显示一名戴着防毒面具、头盔和护目镜的黑人抗议者高喊白人至上主义者使用的“你不会取代我们”口号，用于创建该视频的提示只是“夏洛茨维尔集会”。OpenAI 尝试使用整个视频中出现的水印来识别 Sora 的输出，但这些标记很容易去除。

TikTok、亚马逊和谷歌尚未对此发表评论边缘关于 C2PA 支持。元告诉边缘随着人工智能的发展，它正在继续实施 C2PA 并评估其标签方法。OpenAI 只是将我们引向了其为数不多的博客文章，帮助中心文章关于 C2PA 支持。Meta 与 OpenAI 一样，拥有一个完整的 AI 平台，包括社交专用源和视频内容，两家公司都在将人工智能生成的视频发布到社交媒体上。

X，有其自己的争议关于裸体名人深度假货，向我们指出它的政策该法案据称禁止人工智能生成的欺骗性媒体，但除了依赖用户报告和社区注释外，没有提供任何有关如何对其进行调节的信息。当 CAI 还被称为 Twitter 时，X 是 CAI 的创始成员之一，但在埃隆·马斯克 (Elon Musk) 购买该平台后，X 在没有任何解释的情况下退出了该倡议。

Parsons 表示，“Adobe 仍然致力于帮助扩大采用范围、支持全球政策努力并鼓励提高整个内容生态系统的透明度。”但 C2PA 迄今为止所依赖的荣誉系统并没有发挥作用。鉴于 OpenAI 在 C2PA 的立场似乎很虚伪，因为它正在创建一个工具积极推广 Deepfakes对于真实的人来说，它提供了如此不成熟的保护措施来防止他们受到虐待。Reality Defender 报道称，它成功地完全绕过 Sora 2 的身份保护该应用程序启动后不到 24 小时，使其能够持续生成名人深度假货。感觉 OpenAI 正在利用其 C2PA 会员资格作为象征性掩护，而在很大程度上忽视了其附带的承诺。

令人沮丧的是，尽管人工智能验证很困难，但内容凭证确实有其优点。例如，嵌入的归因元数据可以帮助艺术家和摄影师的作品得到可靠的认可，即使有人截取了它的屏幕截图并在其他平台上重新发布。还有一些补充工具可以改进它。Reality Defender 等基于推理的系统（也是 C2PA Initiative 的成员）通过扫描合成生成的细微迹象来评估使用 AI 生成或编辑某些内容的可能性。该系统不太可能以 100% 的置信度排名对某些内容进行评级，但它会随着时间的推移而不断改进，并且不依赖于读取水印或元数据来检测深度赝品。

“C2PA 是一个很好的解决方案，但它本身并不是一个很好的解决方案，”Colman 说。“它需要与其他工具结合起来完成，如果一个东西不能捕获它，另一个可以捕获它。”

元数据也可以轻松删除。Adobe 研究科学家 John Collomosse在 CAI 博客上公开承认这一点去年，他表示社交媒体和内容平台这样做很常见。内容凭证使用图像指纹技术来解决这个问题，但所有技术都可以被破解，并且最终不清楚是否存在真正有效的技术解决方案。

无论如何，有些公司似乎并没有非常努力地支持我们拥有的少数工具。科尔曼表示，他认为警告普通人有关深度造假内容的方法“在变得更好之前会变得更糟”，但我们应该在未来几年内看到切实的改进。

尽管 Adob​​e 大力支持将内容凭证作为解决深度造假问题的终极解决方案的一部分，但它知道该系统还不够。其一，帕森斯直接承认了这一点去年 CAI 的一篇文章中称该系统并不是灵丹妙药。

“我们看到流传的批评意见认为，仅仅依靠内容凭证安全元数据，或者仅仅依靠隐形水印来标记生成人工智能内容，可能不足以防止错误信息的传播，”帕森斯写道。– 需要明确的是，我们同意。 –

在反应式系统显然不起作用的情况下，Adobe 也大力支持立法和监管工作，以寻找主动的解决方案。该公司提议国会设立一个新的联邦反冒充权（《公平法案》），该法案将保护创作者免遭人工智能工具复制其作品或肖像，并支持防止滥用数字复制品法（PADRA）去年。类似的努力，例如——《反假货法案》——旨在保护人们免受未经授权的人工智能模仿其面部或声音的影响，也获得了平台的支持喜欢 YouTube。

“我们正在与参议员和国会议员的两党联盟进行良好的对话，他们实际上认识到深度造假是每个人的问题，并且他们实际上正在致力于制定主动而非被动的立法，”科尔曼说。“我们太长时间依赖科技的恩惠来自我监管。”