作者:Decrypt / Jason Nelson
AI代理商管理着数百万美元的加密货币,容易受到一项新的不可发现的攻击,该攻击可以操纵他们的记忆,从而使未经授权的转让给恶意演员。
这是根据最近的学习普林斯顿大学的研究人员和感人基金会(Sectient Foundation伊丽莎斯框架。
合着该论文的普林斯顿研究生Atharv Patlan表示,Elizaos的受欢迎程度使其成为研究的理想选择。
帕特兰告诉解密。“这种广泛使用的代理具有脆弱性的事实使我们想进一步探索它。
Eliza Labs最初以AI16Z发行,于2024年10月启动了该项目。它是一个开源框架,用于创建与区块链相互作用并运行的AI代理。平台是更名2025年1月到伊丽莎斯。
一个AI代理是一个自主软件程序,旨在感知其环境,处理信息并采取行动以实现特定目标而无需人工互动。根据这项研究,这些代理商被广泛用于自动化区块链平台的财务任务,可以通过记忆注入来欺骗,将恶意指示嵌入到代理商的持续记忆中。
帕特兰说:``伊丽莎有一家记忆店,我们试图通过其他人在另一个社交媒体平台上进行注射来输入虚假记忆。”帕特兰说。
该研究发现,依靠社交媒体情绪的AI代理特别容易受到操纵的影响。
攻击者可以使用假帐户和协调的职位,称为Sybil以诊断为解离性身份障碍的年轻女子Sybil的故事命名,以欺骗代理人做出交易决策。
该研究写道:``攻击者可以通过在X或不和谐等平台上创建多个虚假帐户来执行Sybil攻击。”``通过策划虚假夸大令牌价值的协调帖子,攻击者可以欺骗代理商以人为的价格购买“抽水”的代币,只是为了使攻击者出售其财产并崩溃了代币的价值。”一个
记忆注入是一种攻击,将恶意数据插入AI代理的存储内存中,从而使其在以后的互动中回忆并采取虚假信息,通常不会检测到任何异常情况。虽然攻击并非直接针对区块链,但帕特兰说,车队探索了伊丽莎斯(Elizaos)模拟现实世界攻击的全部能力。
最大的挑战是找出要利用哪些公用事业。
我们本来可以进行简单的转移,但是我们希望它更现实,因此我们研究了Elizaos提供的所有功能。由于插件范围很广,它具有很大的功能,因此,探索尽可能多的攻击以使攻击现实很重要。”
帕特兰说,该研究的发现与伊丽莎实验室共享,并且正在进行讨论。在证明了对Elizaos的成功记忆注射攻击之后,该团队开发了正式的基准测试框架,以评估其他AI代理中是否存在类似的漏洞。
普林斯顿研究人员与知觉基金会合作,开发了Craibench,这是一种测量AI代理对上下文操作的弹性的基准。Craibench评估了攻击和防御策略,专注于安全提示,推理模型和一致性技术。
帕特兰(Patlan)说,这项研究的一个关键要点是,防御记忆注射需要在多个层面上进行改进。
他说,除了改进记忆系统外,我们还需要改进语言模型,以更好地区分恶意内容和用户实际打算的内容。”``防御能力将需要两种方法来加强记忆访问机制并增强模型。”
Eliza Labs没有立即回应置评请求解密。
编辑塞巴斯蒂安·辛克莱(Sebastian Sinclair)
Gen叙述的每周AI旅程,Gen是一种生成的AI模型。