苹果、谷歌被要求清理 AI“脱衣”应用:平台抽成以后,不能再只说开发者负责
沈南乔|OC 社会影响编辑
沈南乔|OC 社会影响编辑
据 TechCrunch 报道,旧金山市检察官 David Chiu 向苹果和谷歌发出停止侵害函,要求两家公司下架 13 款可生成非自愿私密图像的换脸或“nudify”应用,并停止从相关交易中获利。两家公司被要求在 28 天内回应,否则可能面临民事执法。
一句话结论: 这还不是法院已经判定苹果和谷歌违法,但它把责任从制作图片的人和应用开发者继续推向分发平台:当应用商店审核、推荐、处理付款并收取佣金时,它就不再只是路过的网络管道。
这类应用通常不会在商店介绍里直接写“上传同学照片,一键生成裸体”。它们更常把自己包装成换脸、照片编辑、AI 角色或成人内容工具,真正用途藏在应用内购买、广告素材和用户社区里。
这也是平台治理难点。换脸技术可以用于电影特效、娱乐和虚拟试衣,不能把所有能修改人物照片的软件一律下架。但当产品页面、付费项目和实际输出明显围绕非自愿色情内容设计时,“它也有合法用途”就不应成为永久免责口。
旧金山市检察官办公室称,苹果和谷歌过去近一年已多次收到相关报告。Tech Transparency Project 在 1 月和 4 月分别提醒两家公司,商店中仍有数十款应用通过平台支付出售生成非自愿私密图像的能力。Chiu 还对 Wired 表示,两家公司可能已经从这些应用获得数百万美元费用。
“数百万美元”目前是执法方估算,不是经过审计的最终数字。可以确认的是,App Store 和 Google Play 处理应用内支付并按规则抽成,平台与交易存在直接经济关系。
为什么这次直接找苹果和谷歌
单独追查开发者很慢。应用可以更名、换公司、换账号,再以相似功能重新上架;开发主体还可能位于不同国家。苹果和谷歌控制分发入口、支付账户、开发者身份和更新权限,是更集中的执法对象。
加州法律已经把制作和传播非自愿深度伪造色情内容纳入处罚范围。2025 年的新规则还允许受害者向协助者提出民事主张。市检察官的法律逻辑是:平台已经收到通知,却继续托管、推荐和处理购买,可能构成明知协助或鲁莽帮助。
这套主张还没有经过法院完整检验。平台会争辩自己提供的是通用商店和支付服务,具体违法行为由开发者与用户完成,也会援引联邦平台责任保护和应用审核记录。停止侵害函是执法起点,不是判决书。

下架 13 款应用能解决问题吗
不能彻底解决,但不是没有意义。
下架会减少普通用户低成本获取工具的机会,切断应用内购买和系统级广告分发,也能迫使开发者失去稳定账户。对依赖规模化获客的产品,这些摩擦很重要。
问题会转移到网页、侧载、Telegram 机器人和海外商店。模型本身也越来越容易在本地运行。平台治理只能提高滥用成本,不能让技术消失。
因此更完整的措施还应包括:限制以真人照片生成露骨内容,检测未成年人风险,为受害者提供快速举报和哈希匹配,保留开发者与付款证据,并阻止同一团队换壳上架。只按应用名称搜索“nudify”,很容易漏掉伪装成普通照片工具的产品。
为什么“用户自己上传的”不是完整辩护
有人会说,锤子也能伤人,不能因此追责工具商。这种比较忽略了产品设计。通用图像编辑器可以被滥用,专门把真人照片转为性化图像、用样例诱导这种用途并按次收费的服务,风险与商业模式本身已经绑在一起。
平台也不需要对每个用户行为负责,但收到具体应用、具体功能和反复报告后,责任会改变。审核系统如果能在几分钟内拒绝一个按钮文案或订阅跳转,却长期识别不了公开售卖的非自愿色情功能,就说明优先级有问题。
OC 判断
这次行动值得支持,但不能把“要求下架”写成“已经清除”。苹果和谷歌是否违法、需要承担多少责任,仍要看双方回应和后续诉讼。13 款名单也只是执法方本轮点名的对象,不代表商店中只剩 13 款相关工具。
平台责任的合理边界不是要求苹果和谷歌审查一切生成内容,而是要求它们对已经被反复告知、以伤害为主要卖点、并通过平台获利的产品采取行动。抽成带来收入,也应带来最低限度的识别和处置义务。
关键事实
- 旧金山市检察官向苹果和谷歌发出停止侵害函,点名 13 款相关应用。
- 两家公司需要在 28 天内回应,当前还不是法院最终判决。
- 执法方称平台此前已多次收到相关报告,仍继续托管和处理付款。
- “数百万美元佣金”是市检察官估算,尚无公开审计结果。
- 下架应用能提高滥用成本,但无法消除网页、侧载和本地模型渠道。
为什么重要
- 对开发者: 通用技术不自动免责,产品文案、默认流程和付费设计都会影响平台与法律如何判断用途。
- 对平台: 收到明确通知后仍推荐、收费和分发,会让“只是中立渠道”的辩护越来越弱。
- 对用户: 任何公开照片都可能成为攻击素材,平台需要提供比普通内容举报更快的非自愿私密图像处理渠道。
评论
围绕这篇文章补充信息、提出问题或分享观察。