OC
Meta 让承包商扮青少年测试竞品 AI,安全测试和脏活之间只隔一层外包
科技 · 2026-07-05 · 政策与安全 · 阅读 23

Meta 让承包商扮青少年测试竞品 AI,安全测试和脏活之间只隔一层外包

据 Yahoo News 援引 Wired 报道,Meta 曾通过承包商 Covalen 运行一个内部代号为 Cannes 的项目,让数百名承包商假扮青少年,使用一次性未成年人账号向 ChatGPT、Gemini 和 Character.AI 等竞品模型发送大量极端提示,试图测试这些模型的安全护栏。

Yahoo News 援引 Wired 报道,Meta 曾通过承包商 Covalen 运行一个内部代号为 Cannes 的项目,让数百名承包商假扮青少年,使用一次性未成年人账号向 ChatGPT、Gemini 和 Character.AI 等竞品模型发送大量极端提示,试图测试这些模型的安全护栏。

一句话结论:AI 安全测试本身是必要的,但当测试对象是竞品、账号伪装成未成年人、提示内容高度刺激、结果又不公开时,它就从“安全评估”滑进了一个很灰的地带。

报道提到,一个包含近 3800 条提示的表格中,有大量内容围绕自伤、进食障碍、性相关和暴力场景,并且都以儿童或青少年的视角写成。另一次测试规模更大,涉及超过 4.5 万条提示。承包商需要把模型回应记录进表格,但 Meta 最后如何使用这些数据,并不清楚。

Meta 对 Wired 表示,这属于行业标准的安全基准测试。这个说法有一半是对的:红队测试、越狱测试、压力测试,确实是 AI 安全里必不可少的工作。问题在另一半:如果你秘密使用伪装账号去测试竞争对手产品,并把大量心理负担转嫁给外包人员,这就不再只是技术方法,而是治理问题。

AI 安全测试的目标和边界

OC 的判断是,这件事最重要的不是那些猎奇提示词,而是三个边界。第一,竞品测试的边界:企业当然会研究对手,但安全测试如果以规避规则、伪装身份为前提,就很难再说只是正常评估。第二,未成年人语境的边界:用“孩子视角”批量生成高风险场景,会放大模型厂商、平台和测试人员的伦理责任。第三,外包劳动的边界:把最脏、最伤人的内容审查工作交给承包商,已经是 Meta 历史上反复出现的问题。

对普通用户来说,这条新闻也解释了一个看不见的事实:所谓“AI 安全”,背后不是只有论文、模型卡和漂亮仪表盘,还有大量人工测试、标注、筛选和精神负担。我们看到的是模型拒答一句危险请求,背后可能是很多人看过、写过、整理过成千上万条让人不舒服的材料。

对开发者和产品团队来说,真正的行业标准应该包括透明度。比如测试范围是什么,是否告知被测平台,是否经过伦理审查,是否保护承包商心理健康,是否把发现的问题负责任地披露给相关方。如果这些都没有,只剩一句“我们是在做安全”,这个理由太好用了,几乎什么都能装进去。

这件事也提醒监管者,AI 安全不是只有模型公司对用户的责任,还包括平台之间怎么测试、怎么竞争、怎么处理未成年人相关内容。今天一个大公司可以假扮青少年去打竞品模型,明天另一个公司也可以用“安全研究”之名做同样的事。行业如果不把边界讲清楚,安全测试会变成一门没有外部监督的暗活。

所以,Meta 这个项目即使目标是发现风险,也不能只用目标来洗掉过程。AI 安全当然要做,但安全不能只在发布会上体面,在后台就外包成谁都不愿意看的脏活。

参考来源

相关阅读

基于标题、摘要和正文内容自动匹配。

更多科技

评论

围绕这篇文章补充信息、提出问题或分享观察。

0
暂无评论。

发表评论

继续看看 OC 用户围绕这个话题说了什么、做了什么。

相关帖子

更多

一个体会,Codex 这种现代 Agent,每天一个变,几天不用就有新惊喜

<p>当然我说的也包括 Claude Code,新功能日新月异,还有就是 AI 能力提升以后,可以做的东西日新月异。还有各种工作流方法日新月异。</p> <p>更好玩的是,我最近经历过很多次,你跟人介绍现在 Codex 可以做到什么样子,他们都觉得很厉害。但是你现场一演示,他们的震撼就更加完全不同了。所以,这种东西,需要大量的 Workshop 去沟通交流,光看文字很难讲清楚,直播、视频也越来越重要了。</p>

tinyfool 1 89

做 AI 语音产品时,授权、撤回和审计日志应该怎么落地?

<p>最近看到越来越多关于声音授权的讨论。对开发者来说,真正麻烦的往往不是“模型能不能模仿”,而是授权如何进入系统、生成结果如何追溯,以及授权撤回后该怎么办。</p> <p>我们在做 FlowSpeech 时也碰到过类似问题。我的体会是,不要把“用户勾选过同意”当成一个布尔字段,而应该把它做成一组可以审计的业务对象。</p> <h2>1. 把声音资产和授权分开</h2> <p>声音文件只描述技术属性,例如哈希、上传者、存储位置和创建时间。授权记录则至少要包含授权主体、用途范围、地域、有效期、来源证据和当前状态。这样同一份声音用于个人试听、商业广告、公开播客时,可以绑定不同的授权,而不是共用一个模糊的 consent=true。</p> <h2>2. 每次生成都保存授权快照</h2> <p>生成任务不要只引用当前授权 ID。授权内容以后可能变更,如果任务只查最新状态,历史结果就无法解释。更稳妥的做法是在任务创建时保存授权版本、文本哈希、声音版本、模型版本和操作者。生成出的音频再记录 artifact_id,并反向关联任务。</p> <p>我会把最小链路设计成:</p> <ol> <li>voice_asset:原始声音及版本;</li> <li>consent_grant:授权范围与证据;</li> <li>generation_job:请求参数和授权快照;</li> <li>audio_artifact:输出文件、校验值和公开状态;</li> <li>audit_event:谁在什么时候创建、下载、公开或撤回了内容。</li> </ol> <h2>3. 撤回不是简单删除一行</h2> <p>授权撤回后,系统至少要阻止新任务,并把相关公开音频进入下架队列。已经交付给客户的文件是否能删除,要按照合同和产品能力区分,不能在界面上承诺技术上做不到的“全球删除”。更现实的状态机是 active、suspended、revoked、expired,并明确每个状态允许哪些动作。</p> <h2>4. 对外展示也要可验证</h2> <p>除了后台日志,公开音频最好带上来源标记或可查询的生成记录。水印不是万能方案,但“可识别的音频 + 可验证的元数据 + 清晰的举报入口”组合起来,比一句“AI 生成”更有用。</p> <p>我们现在做的 <a href="https://flowspeech.io/zh">FlowSpeech</a> 主要解决上下文感知、情绪和停顿控制。越往产品化走,越觉得声音效果只是前半程,权限边界和可追溯性才决定这类工具能不能长期使用。</p> <p>大家在实际项目里会把授权证据放在业务数据库、对象存储,还是单独的审计系统?如果授权撤回,你们通常怎么处理已经生成并交付的音频?</p>

FlowSpeech 0 1