Parfait：利用研究工具启用私人人工智能

随着生成式人工智能的进步，需要更多私人人工智能保护用户数据并让他们在整个人工智能生命周期中进行控制的系统仍然是重中之重。在 Google，我们烘焙隐私融入我们的人工智能开发和使用。由于一些人工智能系统依赖用户数据来执行有用的任务（例如了解用户周围的环境或根据个人信息采取行动），在创新时代，推进隐私保护技术仍然至关重要，以保护个人数据，同时培养信任推动进步的技术。

我们很高兴地宣布冻糕— 代表“私有聚合和检索、联合、分析、推理和训练” — GitHub 组织（即企业和开源项目可以在多个项目之间安全协作的共享帐户）立即），这是我们在 Google 开发的，旨在展示我们在四个方面最先进的方法隐私支柱:

• 透明度,它显示了正在使用的数据以及如何使用
• 数据最小化，其中包括联邦学习,联合分析， 和安全聚合
• 数据匿名化，其中包括差别隐私模型训练、模型微调的算法，重磅发现， 和直方图估计
• 外部可验证性，它使用可信执行环境(TEE) 允许用户或其他外部方验证隐私声明的工作流程

Parfait 已被用于为 Google 部署联邦学习和分析提供研究和生产代码G板至 Android 系统私有计算核心， 到谷歌地图。我们正在发布 Parfait 开源存储库，通过帮助在各种设置下定义和执行机器学习 (ML) 以及分析计算和工作流程来推进私有 AI，从而实现符合用户隐私期望的强有力的隐私声明。这篇博文解释了 Parfait 的创建方式和原因、存储库以及真实的 Parfait 用例。

冻糕之旅

Parfait 是从联合学习和分析技术发展而来的。联邦学习，哪个谷歌2016年推出，是一种创新的、增强隐私的方法，使开发人员能够在许多设备上训练机器学习模型，而无需集中数据收集，从而确保只有用户拥有其数据的副本。从那时起，联邦学习就被用来增强许多体验的隐私性，例如表达式在G板和提高智能回复的质量在安卓消息。2020 年，谷歌推出

联合分析，它建立在联邦学习的基础上，通过应用数据科学方法以私密且安全的方式对用户设备上本地存储的原始数据进行分析。自此，Google 开启了与外部隐私社区加强合作的大门：

开源 TensorFlow Federated，联合计算和库的框架以及跨设备联合计算的参考架构，以及合作TensorFlow 隐私。这些构建块和参考文献促成了 Google Cloud 架构的开发

跨孤岛和跨设备的联邦学习和隐私沙箱— 的联合计算服务器为了设备上个性化。认识到 Google 技术在互连和协调发展时所提供的价值增加，我们创建了 Parfait 来支持这些部署以及推动这些部署的研究进展。冻糕存储库

Parfait 存储库拥有 100 多名贡献者，展示了 Google 的一些关键隐私保护技术的实际应用。

存储库包括：

联合语言

：我们的核心语言，用于在强类型函数式编程环境中使用分布式通信运算符简洁地表达新颖的联合算法。

• 这也适用于任何机器学习框架（例如，贾克斯,TensorFlow）。这个基础部分以前是我们的 TensorFlow 联合框架的一部分，我们的开源学习和分析算法依赖于此，现已与 TensorFlow 完全解耦，使其真正独立于平台。张量流联合
• ：一组高级接口、算法和 ML 平台集成，允许开发人员将联合学习或联合分析的实现应用到现有的 TensorFlow 或 JAX 模型。联合计算
• ：用于执行跨设备联合程序和计算的代码，包括 Android 客户端库，以及一个参考端到端演示，该演示列出了联合计算的跨设备架构的核心部分。看看我们的大规模联邦学习白皮书。
• 机密联合计算：可公开验证的组件，在 TEE 内运行并与用户数据交互，以使用机密计算实现联合学习和分析。看看我们的机密联合计算白皮书了解更多信息。
• 可信计算平台：可公开验证的组件，在安全飞地内运行并与用户数据交互，以启用有状态回滚保护的复制计算。
• 筏-RS:Raft分布式共识算法实施于锈，由可信计算平台使用。
• 数据集_石斑鱼：用于高效且可扩展的组结构数据集管道的库。

芭菲在行动

虽然 Parfait 仍然是将研究进展转化为产品（在 Google 及其他公司）的常青空间，但 Google 产品团队正在实际部署中使用它。例如，Gboard 利用 Parfait 中的技术来改善用户体验，推出了第一个神经网络模型使用具有正式差异隐私的联邦学习进行训练扩大它的用途。他们还继续使用联合分析进步Gboard 针对不太常见的语言提供词汇表外的单词。

这设备上的个性化模块，作为一部分处于有限的测试阶段Android 上的 Privacy Sandbox 计划，有助于保护用户信息不被未曾与之互动过的企业获取。它提供了一个开源的联合计算平台，为其采用者协调跨设备的机器学习和统计分析。该模块团队参考并依赖 Parfait 的不同部分，推出了开源预览版联合计算服务可以部署在基于TEE的云服务上。

最近我们预览了我们使用 CPU TEE 的新颖方法使 Android 设备能够验证可解密上传消息的服务器端软件的确切版本。这种方法建立在橡树计划以及托管在我们新的软件密钥库可信计算平台。这个新平台保证上传的数据只能通过预期虚拟机中的预期服务器端工作流程（匿名聚合）进行解密，该虚拟机在由 CPU 加密证明（例如 AMD 或 Intel）支持的 TEE 中运行。冻糕机密联合计算存储库实现此代码，利用最先进的差分隐私聚合原语TensorFlow 联合存储库。

结论

作为我们对隐私保护技术承诺的一部分，我们希望 Parfait 能够让研究人员和开发人员更轻松地了解其中一些关键技术在实践中的工作原理，并且我们希望它们能够激发其他框架未来的合作和进步。

我们相信，强有力的、正式的隐私保证在现实世界的部署中越来越实用，并且我们致力于向公众开放我们的方法和创新。我们鼓励谷歌以外的隐私工程师和研究人员也公开他们的方法，并对跨行业和学术界持续和进一步合作的潜力感到兴奋。

致谢

特别感谢 Michael Reneer 在创办 Parfait 过程中做出的重要贡献。Parfait 存储库的直接贡献者包括 Galen Andrew、Isha Arkatkar、Sean Augenstein、Amlan Chakraborty、Zachary Charles、Stanislav Chiknavaryan、DeWitt Clinton、Taylor Cramer、Katharine Daly、Stefan Dierauf、Randy Dodgen、Hubert Eichner、Nova Fallen、Ken Franko、扎克瑞·加勒特、艾米丽·格兰茨、佐伊·龚、郭素馨、沃尔夫冈格里斯坎普、米拉·霍尔福德、德兹米特里·胡巴、弗拉基米尔·伊万诺夫、彼得·凯鲁兹、亚什·卡塔里亚、雅库布·科内尼、阿特姆·拉格兹丁、李慧、斯特凡诺·马佐基、布雷特·麦克拉农、桑尼亚·纳格帕尔、克日什托夫·奥斯特罗夫斯基、迈克尔·雷内尔、杰森·罗斯兰德、基思·拉什、卡兰辛哈尔、玛雅·斯皮瓦克、Rakshita Tandon、Hardik Vala、Timon Van Overveldt、Scott Wegner、吴珊珊、肖宇、徐正、任毅、郑春香和朱文楠。我们还要感谢多年来 TensorFlow Federated 的外部贡献者和合作者。这些存储库中的私人人工智能研究项目由 Daniel Ramage 和 Brendan McMahan 领导，并得到 Corinna Cortes、Blaise Aguera y Arcas 和 Yossi Matias 的赞助。