OpenAI 的 Sora 2 可以生成名人大声喊出种族歧视的视频

开放人工智能☀最新的人工智能视频生成模型 Sora 2 在本月早些时候以仅限邀请的版本首次亮相时，以其更真实的图像和物理效果让用户惊叹不已 - 即使它遇到了眼前的问题侵犯版权和深度伪造历史人物，包括马丁·路德·金和约翰·F·肯尼迪。在这次混乱的推出后不久，该公司就采取了可预见的措施来承担其法律责任，首席执行官萨姆·奥特曼宣布知识产权持有者必须选择加入该平台在用户可以重新混合内容之前海绵宝宝或者恶搞之家，以及公司封锁 –不尊重的描述— 应民权领袖庄园的要求，国王的请求。OpenAI 还向工会 SAG-AFTRA 保证，它正在采取措施防范知名艺人的深度赝品。

但 Sora 应用程序上仍然存在令人不安的内容，这是一个社交媒体平台，其设计功能与抖音，仅包含专门由人工智能生成的视频。用户可以同意在“客串”中使用他们的肖像，其中其他人可能会提示人工智能模型将该人插入到各种环境中 - 并不是所有的环境都讨人喜欢。根据研究来自抄袭泄密一家人工智能分析公司，帮助企业和机构驾驭这一新兴技术不断变化的格局，一种新趋势产生了 Sora 视频，其中名人似乎在喷吐仇恨的种族主义绰号。

– 我们发现了一种类似于 – 的现象王立柱，——指的是 2020 年发生的一起病毒式传播事件，一名头戴汉堡王王冠的飞机乘客被拍到高喊种族歧视言论，”Copyleaks 研究人员在与滚石乐队。在 Sora Cameo 视频中，包括奥特曼、亿万富翁在内的公众人物马克·库班, 影响者变身拳击手杰克·保罗，和飘带xQc和苋菜属每个人都以戴着汉堡王王冠的飞机乘客的身份出现，重现了令人反感的模因。（显然所有人都将自己的肖像上传到应用程序；古巴人宣布本月早些时候的 X 上，他的客串是“开放的”，用户应该“接受它。”）Copyleaks 观察到，为了绕过阻止仇恨言论的平台过滤器，用户显然用“编码或语音相似的术语”提示 Sora，以生成模仿众所周知的种族诽谤的音频。深造版奥特曼例如，当他被护送下飞机时，他尖叫着“我讨厌编织者”。（OpenAI 没有立即回应置评请求。）

“这种行为说明了基于提示的规避的一种不足为奇的趋势，即用户故意探测系统在内容审核方面的弱点，”Copyleaks 报告解释道。“当与可识别个人的肖像相结合时，这些深度假货变得更具病毒性和破坏性，并在平台内外迅速传播。”研究人员指出，由于这些视频可供下载，因此它们很容易在其他应用程序上被重新盗用和传播。果然，Sora 生成的杰克·保罗重复“脖子疼”这句话的视频在 TikTok 上获得了 150 万次观看和 168,000 次点赞。另一个迁移到 TikTok 的带有 Sora 水印的视频是保罗大喊的深度伪造 –我讨厌果汁，——显然是一种反犹太主义挑衅。（Sora 2 用户一般都可以轻松地将其可视化任意数量的反犹太主义比喻.)

Sora 的“Kingposting”视频并不是人工智能用户利用现有名人图像的孤立案例。本周，主播速度显示曾是激怒了由现实的 Sora 2 Deepfakes 制作，描绘了他亲吻粉丝、宣布出国旅行以及出柜的同性恋身份。他批评那些明显鼓励他选择客串系统的观众。“这不是正确的做法，”他在直播中说道。——不管谁让我公开，聊聊，你来这里不是为了我自己的安全，兄弟。我操，聊天。他了解到，他唯一的直接手段就是手动删除每个视频。库班亲自承担了这项繁琐的任务：“我试图检查并删除它们，”他写道在周三的 X 帖子中，回复了一位用户，该用户分享了 Sora 的 AI 分身片段，展示了种族主义“Kingposting”模因。

Grok Imagine，图像和视频生成器埃隆·马斯克xAI 也受到了批评，因为它的用户对不同意人工智能模型复制其面孔的名人进行了有害的深度伪造。虽然有些人已经制作了铁杆色情剪辑主演迪士尼和漫画人物，平台上的其他人成功地促使 Grok Imagine 变出魔法淫秽意象的泰勒·斯威夫特,斯嘉丽约翰逊， 和悉尼·斯威尼。就连名人自己也加入了这一行动：积怨已久和Jay-Z， 说唱歌手妮琪·米娜周三发布了Grok 生成的图片这位嘻哈大亨身穿粉色露脐上衣，戴着假发，戴着“Queen”项链，裸露的腹部印着她下一张专辑的发布日期。

而且，尽管用户可以充分利用乏善可陈的人工智能审核（Grok Imagine）或想出巧妙的方法来绕过护栏（Sora）以歪曲名人，但更大的危险可能来自声称捕捉涉及未知各方的事件的视频。“假新闻广播和捏造的环形或街头摄像机镜头是最受欢迎的类别，获得了巨大的关注”，Copyleaks 研究人员表示。他们指向一个Sora 生成的剪辑一个男人接住从公寓楼掉下来的婴儿的故事——它在 TikTok 上有近 200 万个赞，许多评论者似乎认为它是真实的。“超现实的人工智能视频正在超越普通人检测操纵的能力，”该公司总结道。这可能会产生严重后果，因为不良行为者利用它来制造仇恨的刻板印象并推动极端主义宣传。

然而，人工智能公司如此陷入争夺主导地位的竞争，以至于在损害已经造成之前，这些担忧几乎不会被考虑在内。至少，富人和有权势的人可能有办法保护自己的声誉免受深度造假的攻击。然而，我们其他人必须学会驾驭一个眼见为实的世界。