AI代理的好处大于其固有的安全缺陷吗?

2025-09-29 13:00:00 英文原文

作者:Gil Press

Agentic AI Technology for Intelligent Digital Automation Systems. Man using laptop with robot, brain, agentic AI icons, advanced artificial intelligence, automation, intelligent solutions, modern tech, Chatbot, Chat AI, AI Assistant, AI agent,

代理AI技术加入了企业团队。

盖蒂

在过去的一年中,已经花费了超过20亿美元,用于收购专注于确保AI的初创公司。这些初创公司中的三家基于以色列,这是Cato Networks的最新创业公司报道3.5亿美元是AIM安全。

AIM Security的联合创始人兼首席执行官Matan Getz说,AI代理人的设计和建造方式存在概念上的脆弱性或缺陷。AI代理人解释说,GETZ具有三个基本功能:访问敏感数据,对外部世界的访问以及运行自主行动的能力。AI代理技能的这种三曲目使它们如此有用,但它也使它们容易受到许多场景和许多用例的影响。”

去年6月,AIM Security的研究组织在Microsoft 365 Copilot中发现并宣传了一个关键的零点击AI漏洞。漏洞使攻击者可以从副本上下文中自动渗透敏感和专有信息,而无需用户的意识或依靠任何特定的受害者行为。为了启动安全漏洞,攻击者只需要向受害者发送电子邮件即可。

AIM Security从副本和其他AI代理的研究中概括了其对代理的大型语言模型或LLM为自己使用的大型语言模型或LLM,从而在不依赖特定用户行为的情况下泄漏了最敏感的数据。Getz说,对AI代理的典型网络安全方法涉及扫描其权限并调查其功能,手臂和腿部。Getz说,这是大脑的实时MRI。

该实时MRI,监视所有提示输入和输出,可确保与LLM的每次互动都遵守预定义的安全性,合规性和使用策略。Getz提出了他所说的最典型的企业AI对话是什么:我的老板的薪水是什么?Getz说,与其试图修复所有权限,最好有一条护栏,当它看到有关工资的对话时,它会阻止它。

AIM Security还可以帮助企业发现员工已下载和使用的Shadow AI,AI或AI应用程序。Getz观察Aim的企业客户迅速采用AI,并指出了这些新应用程序和代理商如何使许多专业人员的工作民主化(不需要成为数据科学家),而在所有行业中,而不是传统上领先的行业,例如金融服务。

Getz还强调了安全组织在企业中的新作用。这包括他们参与定义AI应用程序的护栏,或更广泛地信息治理政策,并帮助企业高管了解AI的奖励和风险之间的权衡。Getz说:``````````

企业正在迅速开发和采用AI代理商。刚刚出版报告麦肯锡观察到,公司正在朝着与虚拟和物理AI代理一起工作的新范式迈向新的人,以创造价值。与早期采用者一起工作的经验表明,AI代理可以解锁大量价值。沃尔玛(Walmart)首席执行官表示,AI将改变每项工作,并预测该公司的负责人将在未来三年内保持平稳,毫无疑问,在AI代理商的协助下。

CB Insights(CBI)报告AI代理编码领域的前六家初创公司已经在部署或扩展其产品,并产生了8.73亿美元的年收入。企业以惊人的速度采用[编码助手]'写信福布斯·托尼·布拉德利(Tony Bradley),但Ai的悖论是,生产率提高带有安全价格标签。

CBI本身就是一个很好的例子,说明了AI代理如何在其网站上加强企业与客户的互动:聘请我们的AI经纪人立即解决研究,勤奋,简介等。节省几个月的工作。将一个代理商或整个小队今天上班。

CBI也是如此报告Genai和Agenic AI正在扩大攻击表面并加剧了蓬勃发展的AI安全市场。这也为AI Security人才提供了竞赛,这是AI高级AI专家的整体竞争。作为Check Point首席执行官Nadav Zafrir(前Team8的首席执行官,一个启动创建平台)在最近的收入电话会议上指出:``在这个AI世界中,这一切都与您可以带入组织的人才和批判性人才有关。

此外,这是一场与最新的AI开发和潜在的新安全漏洞保持一致的竞赛。Getz认为AI越来越嵌入浏览器中,浏览器代表用户采取行动。

关于《AI代理的好处大于其固有的安全缺陷吗?》的评论


暂无评论

发表评论

摘要

已投资超过20亿美元用于收购专注于AI的初创公司,最近的收购强调了AI代理商设计中的脆弱性。AIM Security最近以3.5亿美元的价格被Cato Networks收购,并确定了AI代理的三个关键功能,使它们容易受到攻击:访问敏感数据,外部世界互动和自主行动能力。该公司监视AI代理与其LLMS之间的互动,以实时执行安全政策,以解决典型网络安全措施不足的情况。AIM Security还可以帮助企业确定未经授权的AI应用程序(Shadow AI),并强调安全组织在确定公司内AI治理方面的不断发展的作用。随着AI采用在各个部门加速,它既可以提高生产力,又提高了安全问题,从而推动了AI安全解决方案和人才竞争的不断增长的市场。