苹果选择每个人都让人工智能分析他们的照片

苹果去年部署了一种机制，用于识别其客户 iOS 和 macOS 设备上照片应用程序中存储的图像中的地标和名胜古迹，并默认启用该机制，似乎没有明确同意。

苹果客户才刚刚开始注意到这一点。

该功能被称为“增强视觉搜索”，上周由软件开发人员杰夫·约翰逊提出，他在二 写文章关于苹果未能解释该技术的问题，该技术被认为是随 iOS 18.1 和 macOS 15.1 一起推出的2024 年 10 月 28 日。

在一个政策文件日期为 2024 年 11 月 18 日（直到 2024 年 11 月 18 日才被互联网档案馆的 Wayback Machine 索引2024 年 12 月 28 日，约翰逊第一篇文章的日期），Apple 是这样描述该功能的：

苹果确实解释了这项技术技术论文发布于 2024 年 10 月 24 日，据信增强视觉搜索大约在同一时间首次亮相。本地机器学习模型分析照片以寻找可能描绘地标的“感兴趣区域”。如果人工智能模型找到可能的匹配，它会计算一个向量嵌入——一个数字数组——代表图像的该部分。

然后设备使用同态加密以这样的方式扰乱嵌入，使其可以通过精心设计的算法运行，从而产生同样加密的输出。这里的目标是加密的数据可以发送到远程系统进行分析，而操作系统的任何人都不会知道该数据的内容；他们只是能够对其执行计算，其结果保持加密状态。输入和输出是端到端加密的，并且在数学运算期间不会解密，至少是声称的。

调整嵌入的维度和精度，以减少这种同态加密的高计算需求（大概以标记精度为代价）“以满足大规模生产服务的延迟和成本要求”。也就是说，苹果希望将这项免费功能的云计算成本和移动设备资源使用量降至最低。

借助一些服务器优化元数据以及 Apple 私有最近邻搜索 (PNNS) 的帮助，相关 Apple 服务器分片从设备接收同态加密嵌入，并对该数据执行上述加密计算，以从数据库中查找标志性匹配并将结果返回给客户端设备，而不向 Apple 或其 OHTTP 合作伙伴提供识别信息云耀。

因此，苹果公司单方面开始通过本地运行的机器学习算法来运行人们的照片，该算法分析图像细节（在纯粹的视觉基础上，不使用位置数据）并创建与每张照片中可能的地标相关的值。然后，该值会在远程服务器上用于检查存储在 Apple 服务器上的此类值的索引，以便在每个快照中标记 Apple 数据库中找到的地标和地点。

更简单地说：你拍一张照片；您的 Mac 或 iThing 在快照中本地勾勒出它认为的地标或名胜古迹；它以一种无需解密即可分析的方式对图像该部分的表示进行同态加密；它将加密的数据发送到远程服务器进行分析，以便可以从大型地点数据库中识别出地标；并且它再次以加密形式接收建议的位置，只有它可以解密。

如果一切都按照声称的那样工作，并且没有侧通道或其他泄漏，Apple 将无法看到您照片中的内容，无论是图像数据还是查找的标签。

• 苹果提出以 9500 万美元和解“窥探 Siri”诉讼
• 对大型科技公司进行罚款是行不通的。让他们将非法培训的法学硕士作为公共领域赠送
• BBC 惨败后，苹果呼吁放弃人工智能标题摘要
• 苹果和 Meta 就互操作性请求互相指责

苹果声称其使用此同态加密加上所谓的差别隐私– 一种保护数据出现在数据集中的人员隐私的方法 – 排除潜在的隐私问题。

“苹果正在考虑以（理论上）保护隐私的方式来做到这一点，但我认为该公司没有实现其理想，”软件开发人员迈克尔·蔡（Michael Tsai）在一份报告中评论道。分析分享周三。“它不仅不能选择加入，而且如果它开始上传有关您照片的元数据，您也无法有效地选择退出前您甚至可以使用搜索功能。即使您已经选择不将照片上传到 iCloud，它也会执行此操作。”

蔡认为，苹果的做法甚至比其更不私密。放弃CSAM扫描计划“因为它适用于非 iCloud 照片并上传所有照片的信息，而不仅仅是具有可疑神经哈希值的照片。”

尽管如此，Tsai 承认苹果公司的说法，即以这种方式处理的数据是加密的，并且与用户的帐户和 IP 地址无关。

虽然目前没有证据证明苹果的隐私声明成立，但社区的担忧更多地与苹果部署这项技术的方式有关。

“当你在新年前两天了解到一项服务，并且发现它已经在你的手机上启用时，你会感到非常沮丧。”说马修·格林（Matthew Green），美国约翰·霍普金斯大学信息安全研究所计算机科学副教授。

登记册我们要求苹果公司发表评论，但和往常一样，我们没有收到回复。我们注意到，缺乏沟通是社区不满的本质。

“我对苹果增强视觉搜索的反对并不是具体的技术细节，这对大多数用户来说很难评估，而是苹果已经将选择权从我手中夺走了，并默认启用了在线服务，”约翰逊在他的第二篇文章。

他告诉登记册在您有机会禁用选择退出设置之前，尚不清楚您的照片库中的数据/元数据是否已上传。

“我认为没有人知道，苹果也没有说过，”约翰逊评论道。®