英语轻松读发新版了,欢迎下载、更新

Elizaos脆弱性表明AI如何陷入损失数百万美元 - 解密

2025-05-06 23:49:26 英文原文

作者:Decrypt / Jason Nelson

简而言之

  • 该研究强调了如何使用记忆注射攻击来操纵AI代理。
  • 专注于在线情绪的AI代理最容易受到这些攻击的影响。
  • 攻击者使用伪造的社交媒体帐户和协调的帖子来诱使代理商做出交易决策。

AI代理商管理着数百万美元的加密货币,容易受到一项新的不可发现的攻击,该攻击可以操纵他们的记忆,从而使未经授权的转让给恶意演员。

这是根据最近的学习普林斯顿大学的研究人员和感人基金会(Sectient Foundation伊丽莎斯框架。

合着该论文的普林斯顿研究生Atharv Patlan表示,Elizaos的受欢迎程度使其成为研究的理想选择。

帕特兰告诉解密。“这种广泛使用的代理具有脆弱性的事实使我们想进一步探索它。

Eliza Labs最初以AI16Z发行,于2024年10月启动了该项目。它是一个开源框架,用于创建与区块链相互作用并运行的AI代理。平台是更名2025年1月到伊丽莎斯。

一个AI代理是一个自主软件程序,旨在感知其环境,处理信息并采取行动以实现特定目标而无需人工互动。根据这项研究,这些代理商被广泛用于自动化区块链平台的财务任务,可以通过记忆注入来欺骗,将恶意指示嵌入到代理商的持续记忆中。

帕特兰说:``伊丽莎有一家记忆店,我们试图通过其他人在另一个社交媒体平台上进行注射来输入虚假记忆。”帕特兰说。

该研究发现,依靠社交媒体情绪的AI代理特别容易受到操纵的影响。

攻击者可以使用假帐户和协调的职位,称为Sybil以诊断为解离性身份障碍的年轻女子Sybil的故事命名,以欺骗代理人做出交易决策。

图片:记忆注射攻击的研究图像

该研究写道:``攻击者可以通过在X或不和谐等平台上创建多个虚假帐户来执行Sybil攻击。”``通过策划虚假夸大令牌价值的协调帖子,攻击者可以欺骗代理商以人为的价格购买“抽水”的代币,只是为了使攻击者出售其财产并崩溃了代币的价值。”一个

记忆注入是一种攻击,将恶意数据插入AI代理的存储内存中,从而使其在以后的互动中回忆并采取虚假信息,通常不会检测到任何异常情况。虽然攻击并非直接针对区块链,但帕特兰说,车队探索了伊丽莎斯(Elizaos)模拟现实世界攻击的全部能力。

最大的挑战是找出要利用哪些公用事业。

我们本来可以进行简单的转移,但是我们希望它更现实,因此我们研究了Elizaos提供的所有功能。由于插件范围很广,它具有很大的功能,因此,探索尽可能多的攻击以使攻击现实很重要。”

帕特兰说,该研究的发现与伊丽莎实验室共享,并且正在进行讨论。在证明了对Elizaos的成功记忆注射攻击之后,该团队开发了正式的基准测试框架,以评估其他AI代理中是否存在类似的漏洞。

普林斯顿研究人员与知觉基金会合作,开发了Craibench,这是一种测量AI代理对上下文操作的弹性的基准。Craibench评估了攻击和防御策略,专注于安全提示,推理模型和一致性技术。

帕特兰(Patlan)说,这项研究的一个关键要点是,防御记忆注射需要在多个层面上进行改进。

他说,除了改进记忆系统外,我们还需要改进语言模型,以更好地区分恶意内容和用户实际打算的内容。”``防御能力将需要两种方法来加强记忆访问机制并增强模型。”

Eliza Labs没有立即回应置评请求解密

编辑塞巴斯蒂安·辛克莱(Sebastian Sinclair)

通常聪明的新闻通讯

Gen叙述的每周AI旅程,Gen是一种生成的AI模型。

关于《Elizaos脆弱性表明AI如何陷入损失数百万美元 - 解密》的评论


暂无评论

发表评论

摘要

普林斯顿大学和感人基金会的研究人员发现,管理加密货币的AI代理很容易受到记忆注射攻击的影响,这可以操纵他们的决定而无发现。该研究重点是Elizaos,这是一个用于创建基于区块链的AI代理商的开源框架,揭示了可以通过社交媒体操纵来注入虚假记忆,从而导致未经授权的交易和财务损失。这些发现突出了需要在内存系统和语言模型级别上改进安全措施以防止此类攻击的安全措施。

相关讨论