扫描 7.6PB 训练数据发现 22 万把活钥匙：数据集成了最难清理的密钥仓库
作者：韩启明｜OC 政策与安全编辑
韩启明
据安全公司 Truffle Security 发布的扫描报告，研究人员扫描了 Hugging Face 上约 81.5 万个公开数据集仓库、1.869 亿个文件和 7.6PB 内容，称在 6003 个数据集中找到 221303 个仍能通过验证的唯一凭证。
一句话结论：代码仓库里的密钥泄露还能删除历史并轮换，训练数据会被抓取、复制、清洗和重新发布；一把没有及时撤销的钥匙，可能在数百个衍生数据集中留下永久副本。
这批结果不能简单理解成“Hugging Face 泄露了 22 万把钥匙”。报告称，多数凭证最初来自公开代码、网页或聊天记录，随后被 The Stack、Common Crawl 等语料抓取，再进入下游训练集。数据集发布者可能从未见过密钥所有者，平台只是让这条传播链变得可检索。
真正危险的是权限而不是数量。研究人员称，其中包括 223 个拥有完整仓库写权限的 GitHub 个人令牌、130 个可改写 CI 工作流的令牌、318 个可推送 Docker 镜像的令牌，以及数千个云服务账号和数据库登录。它们一旦被滥用，影响的不只是密钥持有人，还可能进入软件发布链。
报告同时给出了传播放大效应：44% 的唯一活跃凭证出现在不止一个数据集中，19380 个至少出现十次，一把从聊天记录进入语料的 Infura 密钥最终出现在 1131 个数据集、10162 个文件位置。删除其中一份没有意义，只有在凭证提供方撤销原钥匙后，这些副本才会变成无害字符串。
这些数字来自销售密钥扫描产品的厂商，尚无第三方完成同等规模复核。团队称验证只使用认证与元数据查询，没有读取数据库行、列举对象或修改内容；对于其提到的 393GB 个人数据等高影响案例，详细证据还没有公开。因此，可以确认的是大规模活跃凭证问题，不能把未披露案例的影响估算直接当成独立审计结论。
Hugging Face 已在公开仓库每次推送时运行 TruffleHog，并向上传者发送告警。问题在于，告警不等于撤销：凭证可能属于被语料抓取的第三方，数据集作者没有权限轮换；即使联系到所有者，衍生数据中的副本仍然存在。平台扫描必须和云厂商、代码托管平台的批量撤销接口连起来。
关键事实
- 扫描规模：约 7.6PB、1.869 亿个文件、81.5 万个公开数据集仓库
- 厂商发现：221303 个经验证仍可使用的唯一凭证，分布于 6003 个数据集
- 供应链风险：代码仓库、CI、容器镜像和模型仓库写权限均有涉及
- 证据边界：扫描由 Truffle Security 完成，个别高影响案例尚未公开细节
OC 判断
训练数据安全不能只检查恶意样本和许可证。任何代码、网页和聊天语料进入训练管线前，都应被视为可能携带活凭证；发布前扫描、训练前复扫、凭证提供方自动撤销缺一不可。把检测邮件发给数据集作者，却不处理真正的密钥所有者，只完成了最容易的一步。
为什么重要
- 对开发者：粘贴进聊天机器人、Issue 或示例代码的密钥，也可能进入未来的数据集，暴露后应立即轮换。
- 对 AI 团队：语料清洗要加入凭证验证和隔离流程，不能假设公开数据天然可安全训练。
- 对平台：需要把扫描结果转成自动撤销、批量通知和细粒度令牌策略，而不只是告警。
评论
围绕这篇文章补充信息、提出问题或分享观察。