深度学习模型正在许多领域得到应用,从医疗保健诊断到财务预测。然而,这些模型的计算量非常大,以至于需要使用强大的基于云的服务器。
这种对云计算的依赖带来了重大的安全风险,特别是在医疗保健等领域,医院可能会犹豫是否要这样做。出于隐私问题,使用人工智能工具来分析机密患者数据。
为了解决这一紧迫问题,麻省理工学院的研究人员开发了一种安全协议,利用光的量子特性来保证数据发送到云端和从云端发送出去服务器在深度学习计算期间保持安全。
通过将数据编码到光纤通信系统中使用的激光中,该协议利用了量子力学的基本原理,使攻击者无法复制或拦截数据
此外,该技术在保证安全性的同时又不影响深度学习模型的准确性。在测试中,研究人员证明他们的协议可以在确保稳健的安全措施的同时保持 96% 的准确性。
像 GPT-4 这样的深度学习模型具有前所未有的能力,但需要大量的计算资源。麻省理工学院电子研究实验室 (RLE) 的博士后、该安全性论文的主要作者 Kfir Sulimany 表示,我们的协议使用户能够利用这些强大的模型,而不会损害其数据隐私或模型本身的专有性质。
Sulimany 与麻省理工学院博士后 Sri Krishna Vadlamani 一起参与了这篇论文;Ryan Hamerly,前博士后,现供职于 NTT Research, Inc.;Pralahad Iyengar,电气工程和计算机科学 (EECS) 研究生;资深作者 Dirk Englund 是 EECS 教授、量子光子学和人工智能小组以及 RLE 的首席研究员。这项研究最近在量子密码学年会上发表。
深度学习安全的双向道路
研究人员关注的基于云的计算场景涉及两方:拥有机密数据(例如医学图像)的客户端以及控制深度学习模型的中央服务器。
客户端希望使用深度学习模型进行预测,例如患者是否患有癌症基于医学图像,而不泄露有关患者的信息。
在这种情况下,必须发送敏感数据以生成预测。然而,在此过程中,患者数据必须保持安全。
此外,服务器不希望泄露 OpenAI 这样的公司花费数年时间和数百万美元构建的专有模型的任何部分。
>
Vadlamani 补充道,双方都有想要隐藏的东西。
在数字计算中,不良行为者可以轻松复制从服务器或客户端发送的数据。
另一方面,量子信息无法完美复制。研究人员在他们的安全协议中利用了这一被称为不可克隆原理的特性。
对于研究人员协议,服务器使用激光将深度神经网络的权重编码到光场中。
神经网络是一种深度学习模型,由互连的节点或神经元层组成,对数据执行计算。权重是模型的组件,对每个输入进行数学运算,一次一层。一层的输出被输入到下一层,直到最后一层生成预测。
服务器将网络权重传输到客户端,客户端根据其私有数据执行操作以获得结果。数据仍然与服务器隔离。
同时,安全协议允许客户端仅测量一个结果,并且由于光的量子性质,它可以防止客户端复制权重。
一旦客户端将第一个结果输入下一层,该协议就会取消第一层,以便客户端无法了解有关模型的任何其他信息。
而不是测量所有内容来自服务器的传入光,客户端仅测量运行深度神经网络所需的光并将结果输入到下一层。然后,客户端将残余光发送回服务器进行安全检查,Sulimany 解释道。
由于不可克隆定理,客户端在测量结果时不可避免地会对模型施加微小误差。当服务器接收到来自客户端的残余光时,服务器可以测量这些错误以确定是否有任何信息被泄露。重要的是,这种残余光被证明不会泄露客户端数据。
实用协议
由于需要支持大带宽,现代电信设备通常依赖光纤来传输信息长距离。由于该设备已经集成了光学激光器,因此研究人员无需任何特殊硬件即可将数据编码为安全协议的光。
当他们测试他们的方法时,研究人员发现它可以保证服务器和客户端的安全,同时保证服务器和客户端的安全。使深度神经网络达到 96% 的准确率。
客户端执行操作时泄漏的有关模型的微小信息量还不到对手恢复任何隐藏信息所需信息的 10%。相反,恶意服务器只能获取窃取客户端数据所需信息的大约 1%。
您可以保证从客户端到客户端的两种方式都是安全的。Sulimany 说。
几年前,当我们在麻省理工学院主校区和麻省理工学院林肯实验室之间开发分布式机器学习推理演示时,我突然意识到我们可以恩格伦德说,在多年的量子密码学工作的基础上,做一些全新的事情来提供物理层安全性,这些工作也在该测试台上得到了展示。然而,要看看这种隐私保证的分布式机器学习的前景是否能够实现,还需要克服许多深刻的理论挑战。直到 Kfir 加入我们的团队后,这才成为可能,因为 Kfir 独特地了解实验和理论组成部分,以开发支持这项工作的统一框架。
将来,研究人员希望研究该协议如何能够应用于一种称为联邦学习的技术,其中多方使用他们的数据来训练中央深度学习模型。它也可以用于量子运算,而不是他们在这项工作中研究的经典运算,这可以在准确性和安全性方面提供优势。
这项工作以一种巧妙而有趣的方式结合了从领域中汲取的技术通常不满足,特别是深度学习和量子密钥分发。通过使用后者的方法,它为前者添加了一个安全层,同时也允许看似现实的实现。这对于在分布式架构中保护隐私可能很有趣。巴黎索邦大学 CNRS 研究主任 Eleni Diamanti(未参与这项工作)表示,我期待看到该协议在实验缺陷下的表现及其实际实现。
这项工作是部分得到以色列高等教育委员会和 Zuckerman STEM 领导力计划的支持。