Zoom的自定义AI头像工具可能带来风险 | TechCrunch

Zoom希望在明年某个时候将你变成一个AI动画的、逼真的化身。

今天在Zoom年度开发者大会上宣布的即将推出的功能，将把用户录制的视频片段转换为一个数字克隆体——包括头部、上臂和肩膀。用户可以输入他们希望数字替身说出的剧本，Zoom将生成与-avatar嘴唇动作同步的声音。注意：最后一句中的"-avatar"可能是原文中的人名或术语，请根据上下文确认其含义。如果不需要保留这个词汇，则翻译为“Zoom将生成与替身嘴唇动作同步的声音。”

Zoom的产品总监Smita Hashim告诉TechCrunch，这些自定义头像是为了帮助人们以“异步”的方式与同事进行“更快、更高效”的交流而设计的。

哈希姆说：“化身能够为用户节省录制片段的时间和精力，并使他们能够扩大视频创作的规模。”

它们也可能构成深度伪造的风险。

多家公司开发了人工智能技术，可以数字化地“克隆”一个人的面部，并将这个克隆与听起来相当自然的合成语音配对。塔沃斯例如，帮助品牌创建虚拟人物以进行个性化视频广告，微软去年则启动了一个可以生成逼真的数字替身的服务。

但许多这些工具实施了特定的、严格的保护措施以防止滥用。Tavus要求口头同意声明，而微软则要求其客户从任何特写化身人才获得书面许可和同意。

Zoom对其安全措施表述得比较含糊。

哈希姆提到，指向Zoom的使用政策禁止滥用的规定，该公司在其自定义头像功能中构建了“多项保护措施”，包括“高级认证”和水印。

“我们将继续审查并在未来根据需要增加保护措施，”哈希姆说。“我们采用（…）技术，以便在片段是由虚拟形象生成时明显标识出来，并使用（…）来帮助确保由虚拟形象生成的内容的完整性。”

Zoom的数字形象与首席执行官Eric Yuan的理念一致更广阔的视野创建能够有一天为你参加Zoom会议、回答电子邮件和接电话的AI们的愿景。

但这些相似之处出现在深度伪造技术盛行的时候像野火一样蔓延在社交媒体上流传，并且使得真相和虚假信息更难区分。

今年迄今为止，出现了一些涉及深伪技术的事件或内容。请注意，原文似乎不完整，这里提供了一个可能的上下文补充，但主要部分已准确翻译。如果需要更具体的翻译，请提供完整的句子或更多背景信息。美国总统乔·拜登, 泰勒·斯威夫特，和哈里斯副总统积累了数百万人次的观看和分享。最近，伪造的生成式AI图像，展示了破坏和人类苦难淹没了网络在飓风赫尔派妮之后。 注意：原文中的飓风名称是“Helene”，这里译为“赫尔派妮”是因为这个名字并非中文常用的人名或自然现象名，直接翻译可能不准确且不易理解，建议根据具体语境使用标准的中文命名，如“飓风海伦”。但如果严格按照名字翻译，则为“赫尔派妮”。

深度伪造技术也被用于针对个人——通过冒充亲朋好友例如。与冒充骗局相关的损失去年超过了10亿美元。根据致联邦贸易委员会。

Zoom将如何确切地防止骗子利用其工具生成视频，这些视频展示的是人们说了他们未曾说过的话，并以此进行恶意活动？目前尚不清楚。该公司提供的一份草图显示，在自定义头像视频的右上角有一个可见的水印。但是，这类水印可以被屏幕录制工具轻松裁剪掉。

我们希望在2025年上半年了解更多详情，届时Zoom计划发布自定义化身功能用于Zoom片段其异步视频工具作为每月每位用户12美元的高级附加组件的一部分。

无论Zoom采取或不采取什么行动，都有持续的监管努力试图遏制深度伪造内容的泛滥。

在美国联邦层面缺乏禁止深度伪造(deepfakes)的法律的情况下，已有超过10个州制定了针对AI辅助冒充行为的法规。加利福尼亚州的法律——目前停滞不前——将首先赋予法官命令发布深度伪造内容的个人删除这些内容或可能面临经济处罚的权利。