桌面人工智能是否存在风险？

资料来源：“丹尼是谁”，来自 Shutterstock

人工智能已经来到桌面。

Microsoft 365 Copilot 于去年首次推出，现已广泛使用。Apple Intelligence 刚刚为新款 Mac、iPhone 和 iPad 用户提供了全面测试版。据报道，Google Gemini 很快就能通过 Chrome 浏览器采取行动，该功能正在开发中，名为 Project Jarvis。

大型语言模型 (LLM) 的集成可筛选业务信息并提供自动化的操作脚本（即所谓的“代理”功能），这为知识工作者带来了巨大的希望，但也引起了企业领导者和首席信息安全的重大关注。官员（CISO）。公司已经遭受了信息过度共享和未能限制访问权限等严重问题 - 据一份报告称，由于此类安全担忧，40% 的公司将 Microsoft 365 Copilot 的推出推迟了三个月或更长时间。高德纳调查。

云服务身份和访问管理平台 Oleria 的首席执行官 Jim Alkove 表示，桌面人工智能系统提供的广泛功能，加上许多企业缺乏严格的信息安全，构成了巨大的风险。

“这里的组合实际上应该让每个人都担心，”他说。“这些分类风险存在于更大的基于模型的技术中，当你将它们与我们一直在处理的运行时安全风险以及信息访问和可审核性风险结合起来时，它就结束了对风险产生乘数效应。”

有关的：公民发展速度太快，不利于其自身利益

桌面人工智能可能会在 2025 年起飞。公司已经在寻求快速采用 Microsoft 365 Copilot 和其他桌面人工智能技术，但只有 16% 的公司已经完成了初步试点项目，向所有员工推广该技术。Gartner 的“Microsoft 365 Copilot 状况：调查结果”。绝大多数 (60%) 仍在试点项目中评估该技术，而五分之一的企业甚至还没有达到这一目标，仍处于规划阶段。

大多数员工都期待拥有一个桌面人工智能系统来协助他们完成日常任务。据 Gartner 称，约 90% 的受访者认为他们的用户会努力保留对 AI 助手的访问权，89% 的受访者认为该技术提高了生产力。

为 AI 助手带来安全性

不幸的是，这些技术在架构和保护方面都是黑匣子，这意味着它们缺乏信任。Oleria 的 Alkove 表示，借助个人助理，公司可以进行背景调查、限制他们使用某些技术并审核他们的工作——目前桌面人工智能系统还没有类似的控制措施。

有关的：分析师警告称，Cleo MFT 零日漏洞即将升级

他说，人工智能助手——无论是在桌面上、在移动设备上还是在云端——将拥有比他们需要的更多的信息访问权限。

阿尔科夫说：“如果你想一想，现代技术的装备是多么落后，以至于我的助手应该能够代表我完成一系列电子任务，但除此之外别无其他。”“您可以授予您的助理访问电子邮件和日历的权限，但您不能限制您的助理查看某些电子邮件和某些日历事件。他们可以看到所有内容。”

他说，这种委派任务的能力需要成为人工智能助手安全结构的一部分。

网络风险：用户和人工智能的社会工程

如果没有这样的安全设计和控制，攻击很可能会随之而来。

今年早些时候，一次即时注入攻击场景凸显了企业面临的风险。安全研究员 Johann Rehberger 发现，通过电子邮件、Word 文档或网站进行间接提示注入攻击可能会欺骗 Microsoft 365 Copilot 扮演诈骗者的角色，提取个人信息并将其泄露给攻击者。Rehberger 最初于 1 月份向微软通报了该问题，并全年向该公司提供了信息。目前尚不清楚微软是否针对该问题提供了全面的解决方案。

有关的：生成式人工智能安全工具开源

访问操作系统或设备功能的能力将使桌面人工智能助手成为欺诈者的另一个目标，这些欺诈者一直试图让用户采取行动。人工智能代理安全公司 Zenity 的首席执行官本·基尔格 (Ben Kilger) 表示，他们现在将专注于让法学硕士采取行动。

“法学硕士使他们能够在没有任何特定同意或控制的情况下代表你做事，”他说。“许多即时注入攻击都试图对系统进行社会工程——试图绕过网络中的其他控制，而无需对人类进行社会工程。”

洞察人工智能黑匣子

大多数公司普遍缺乏对人工智能技术安全性的了解和控制。基尔格说，为了充分审查技术，公司需要能够检查人工智能系统正在做什么、员工如何与技术交互以及委托给人工智能执行哪些操作。

“这些都是组织需要控制的事情，而不是代理平台，”他说。“你需要将其分解，并实际更深入地了解这些平台的实际使用方式，以及人们如何构建这些平台并与这些平台交互。”

Oleria 的 Alkove 表示，评估 Microsoft 365 Copilot、谷歌所谓的 Project Jarvis、Apple Intelligence 和其他技术的风险的第一步是获得这种可见性，并采取适当的控制措施来细粒度地限制人工智能助手的访问。

他说，公司需要能够控制数据的最终接收者、他们的角色以及信息的敏感性，而不是桌面人工智能系统始终可以访问的大量数据。

“你如何向该代理人授予对你的部分信息和你作为个人通常会采取的部分行动的访问权限，而且只能在一段时间内访问？”阿尔科夫问道。“您可能只希望代理采取一次行动，或者您可能只希望他们执行 24 小时，因此确保您今天拥有此类控制至关重要。”

微软则承认数据治理面临的挑战，但认为这些挑战并不新鲜，只是随着人工智能的到来而变得更加明显。

“人工智能只是企业采取主动管理控制措施的最新行动，其独特的、各自的政策、行业合规性法规和风险承受能力应告知——例如确定哪些员工身份应有权访问不同类型的文件，工作空间和其他资源，”公司发言人在一份声明中表示。

该公司指出，其 Microsoft Purview 门户是组织持续管理身份、权限和其他控制的一种方式。该公司表示，使用该门户，IT 管理员可以帮助保护人工智能应用程序的数据，并通过单一管理位置主动监控人工智能的使用。谷歌拒绝对其即将推出的人工智能代理发表评论。