加入我们的每日和每周时事通讯，了解有关行业领先人工智能报道的最新更新和独家内容。了解更多
2024 年 Deepfake 事件激增，预计今年将增加 60% 或更多，使全球案例达到 15 万起或更多。这使得人工智能驱动的深度伪造攻击成为当今增长最快的对抗性人工智能类型。德勤预测，到 2027 年，深度造假攻击将造成超过 400 亿美元的损失，其中银行和金融服务是主要目标。
人工智能生成的语音和视频伪造正在模糊可信度界限，从而掏空对机构的信任和政府。Deepfake 贸易技术在民族国家网络战组织中如此普遍，以至于在不断相互接触的网络战国家中，其攻击策略已经成熟。
在今天的选举中，人工智能的进步，例如生成式人工智能或深度造假已经从单纯的错误信息演变成复杂的欺骗工具。Ivanti 首席产品官 Srinivas Mukkamala 告诉 VentureBeat，人工智能使得区分真实信息和捏造信息变得越来越困难。
62% 的首席执行官和高级业务主管认为深度伪造至少会产生一些运营风险未来三年他们的组织将面临成本和复杂性，而 5% 的人认为这是生存威胁。Gartner 预测，到 2026 年，使用人工智能生成的深度伪造的人脸生物识别攻击将意味着 30% 的企业将不再认为此类身份验证和身份验证解决方案是孤立可靠的。
Ivanti 最近进行的研究调查显示，超过一半的办公室职员 (54%) 不知道先进的人工智能可以模仿任何人的声音。Mukkamala 表示，考虑到这些人将参加即将举行的选举，这一统计数据令人担忧。
美国情报界 2024 年威胁评估指出，俄罗斯正在利用人工智能制造深度伪造品，并正在开发欺骗专家的能力。战区和不稳定政治环境中的个人可能成为此类深度伪造恶意影响的最高价值目标。Deepfakes 已经变得如此普遍，以至于国土安全部发布了一份指南，《Deepfake 身份的威胁日益增加》。
OpenAI 的最新模型 GPT-4o，旨在识别并阻止这些日益增长的威胁。作为一个自回归全向模型，它接受文本、音频、图像和视频的任意组合作为输入，如 8 月 8 日发布的系统卡中所述。OpenAI 写道，我们只允许模型使用某些预先选择的声音并使用输出分类器来检测模型是否偏离该模型。
识别潜在的深度伪造多模态内容是共同定义 GPT-4o 的 OpenAI 设计决策的好处之一。值得注意的是该模型上进行的红队工作量，这是全行业范围内最广泛的新一代人工智能模型版本之一。
所有模型都需要不断地进行训练并从攻击中学习数据以保持优势，尤其是在跟上攻击者的深度伪造技术时，这种技术与合法内容变得难以区分。
下表解释了 GPT-4o 功能如何帮助识别和阻止音频
该模型增强其识别 Deepfakes 能力的主要功能包括：
生成对抗网络（GAN）检测。攻击者用来创建深度伪造品的技术 GPT-4o 可以识别合成内容。OpenAI 模型可以识别内容生成过程中以前难以察觉的差异，即使 GAN 也无法完全复制。一个例子是 GPT-4o 如何分析视频片段中光线与物体相互作用的缺陷或音调随时间的不一致。4os GANS 检测突出显示了这些人眼或耳朵无法察觉的微小缺陷。
GAN 通常由两个神经网络组成。第一个是生成合成数据（图像、视频或音频）的生成器和评估其真实性的鉴别器。生成器的目标是提高内容质量以欺骗鉴别器。这种先进的技术创建的深度伪造品与真实内容几乎无法区分。
语音身份验证和输出分类器。GPT-4os 架构最有价值的功能之一是其语音身份验证过滤器。过滤器将每个生成的语音与预先批准的合法语音数据库进行交叉引用。此功能的有趣之处在于该模型如何使用神经语音指纹来跟踪 200 多个独特特征，包括音高、节奏和口音。如果检测到任何未经授权或无法识别的语音模式，GPT-4os 输出分类器会立即关闭该过程。
多模式交叉验证。OpenAI 系统卡在 GPT-4o 架构中全面定义了此功能。4o 实时运行文本、音频和视频输入，交叉验证多模式数据是否合法。如果音频与预期的文本或视频上下文不匹配，GPT4o 系统会对其进行标记。红队成员发现这对于检测人工智能生成的口型同步或视频模仿尝试尤其重要。
仅今年就有数千次 CEO Deepfake 尝试，针对全球最大广告公司首席执行官的一次攻击表明，攻击者变得多么老练。
另一次攻击是通过 Zoom 进行的，通话中使用了多个深度伪造身份，其中包括该公司的 CFO。据称，一家跨国公司的一名财务工作人员在 Zoom 通话中被首席财务官和高级员工的 Deepfake 欺骗，授权进行 2500 万美元的转账。
在《华尔街日报》最近的科技新闻简报中，CrowdStrike首席执行官乔治·库尔茨（George Kurtz）解释了人工智能的改进如何帮助网络安全专业人员保护系统，同时还评论了攻击者如何使用它。Kurtz 与《华尔街日报》记者达斯汀·沃尔兹 (Dustin Volz) 谈论了人工智能、2024 年美国大选以及中国和俄罗斯构成的威胁。
如果现在到了 2024 年，有了制造深度伪造品的能力，我们的一些内部人员已经做出了一些库尔茨告诉《华尔街日报》，“与我一起制作有趣的恶搞视频，只是为了向我展示它有多可怕，你无法看出视频中的人不是我。”所以我认为这是我真正关心的领域之一。人们总是担心基础设施和诸如此类的事情。这些领域，很多仍然是纸质投票之类的。有些不是，但是如何创造虚假叙述来让人们做民族国家希望他们做的事情，这才是我真正关心的领域。
OpenAI 优先考虑设计目标和将音频、视频和多模态内容的防伪检测置于最前沿的架构框架，反映了新一代人工智能模型的未来。
Telesign 首席执行官 Christophe Van de Weyer 表示，过去一年人工智能的发展让数字世界中信任的重要性成为人们关注的焦点。随着人工智能不断发展并变得更加容易获得，我们必须优先考虑信任和安全，以保护个人和机构数据的完整性。在 Telesign，我们致力于利用 AI 和 ML 技术来打击数字欺诈，确保为所有人提供更安全、更值得信赖的数字环境。
VentureBeat 预计 OpenAI 将扩展 GPT-40 的多模式功能，包括语音通过 GAN 进行身份验证和深度伪造检测，以识别和消除深度伪造内容。随着企业和政府越来越依赖人工智能来增强运营，像 GPT-4o 这样的模型对于保护其系统和数字交互变得不可或缺。
Mukkamala 向 VentureBeat 强调，不过，归根结底，怀疑是对抗深度造假的最佳防御手段。避免只看表面信息并批判性地评估其真实性至关重要。