影子人工智能、数据暴露困扰工作场所聊天机器人的使用 - 暗读

2024-09-30 12:01:56 英文原文

影子人工智能,数据泄露困扰工作场所聊天机器人的使用

生产力有一个缺点:数量惊人的员工与他们使用的新一代人工智能平台共享敏感或专有数据,而不让老板知道.

2024 年 9 月 30 日

如今,从电子邮件客户端到人力资源工具,新一代人工智能聊天机器人不断涌现,为提高企业生产力提供了一条友好且顺畅的道路。但存在一个问题:员工常常没有考虑他们用来引发聊天机器人响应的提示的数据安全性。

事实上,超过三分之一 (38%) 的员工美国国家网络安全联盟 (NCA) 本周的一项调查显示,未经雇主许可,使用人工智能工具共享敏感工作信息。这就是一个问题。

NCA 调查(对全球 7,000 人进行了调查)发现,Z 世代和千禧一代员工更有可能在未经许可的情况下分享敏感工作信息:分别为 46% 和 43%,承认这种做法,而 X 一代和婴儿潮一代的比例分别为 26% 和 14%。

与聊天机器人共享数据的现实后果

问题在于,大多数最流行的聊天机器人都会捕获用户在提示中输入的任何信息,这些信息可能是专有收益数据、绝密设计计划、敏感电子邮件、客户数据等,并将其发送回大型语言模型(LLM),它用于训练下一代 GenAI。

这意味着以后有人可以使用正确的提示访问该数据,因为它现在是可检索数据湖的一部分。或者,数据可能保留供内部 LLM 使用,但其存储设置不正确。正如三星在一次备受瞩目的事件中发现的那样,安全专业人士相对清楚地了解了这种危险,但日常工作人员却不太了解。

ChatGPT 的创建者 OpenAI 在其用户指南中警告说,“我们无法从您的历史记录中删除特定提示。请不要在对话中分享任何敏感信息。”但对于普通员工来说,持续思考数据暴露的问题是很困难的。NCA 执行董事 Lisa Plaggemier 指出了一个案例,该案例说明了风险如何轻松转化为现实世界的攻击。<​​/p>

“一家金融服务公司集成了 GenAI 聊天机器人来协助客户查询,”Plaggemier 说道。暗读。“员工无意中输入了客户财务信息作为上下文,然后聊天机器人以不安全的方式存储这些信息。这不仅导致了重大数据泄露,而且还使攻击者能够访问敏感的客户信息,这表明通过”

Wing 首席执行官加利特·卢贝茨基·沙龙 (Galit Lubetzky Sharon) 提供了另一个现实生活中的例子(未指名道姓)。

“一名员工,英语对他来说是一种在一家跨国公司,第二语言接受了在美国工作的任务,”她说。“为了改善与美国同事的书面沟通,他天真地开始使用 Grammarly 来改善他的书面沟通。该员工不知道该应用程序可以根据员工的数据进行训练,有时会使用 Grammarly 来改善围绕机密和问题的沟通。没有恶意的数据,但这种情况凸显了人工智能隐藏的风险。”

缺乏培训

关于《影子人工智能、数据暴露困扰工作场所聊天机器人的使用 - 暗读》的评论


暂无评论

发表评论

摘要

影子人工智能,数据泄露困扰工作场所聊天机器人 UseProductivity 有一个缺点:数量惊人的员工与他们使用的新一代人工智能平台共享敏感或专有数据,而不让老板知道。这不仅导致了严重的数据泄露,而且还使攻击者能够访问敏感的客户信息,这表明通过不当使用这些工具可以轻松地破坏机密数据。“SentinelOne 首席安全顾问 Morgan Wright 主张从首要原则开始制定指南:“最大的风险是没有定义你要通过聊天机器人解决什么问题,”他指出。“实施数据脱敏技术可以保护敏感信息被输入 GenAI 平台。应用程序默认设置可以使用数据来训练人工智能模型的情况并不罕见。