[wunderwuzzi]演示了一个概念证明,其中一个使AI可以控制虚拟计算机的服务(在这种情况下,是人类的克劳德计算机使用)用于下载并执行成功连接到命令和控制服务器的恶意软件。[Wonderwuzzi]提出合理的情况因此,这样的系统已成为Zombai。这是如何工作的。
在设置了带有下载链接的网页之后,[Wunderwuzzi]试图获得克劳德下载并运行恶意软件。起初,克劳德没有咬人。但是,当HTML页面的内容通过指令重写以下载和执行支持工具时,所有这些都会改变。新内容被解释为要遵循的命令;本质上是一种形式提示注射。
克劳德尽职尽责地下载恶意二进制,然后自动(巧妙地)找到下载的文件,甚至使用chmod
在运行之前使其可执行。结果?折衷的机器。
现在,要清楚,克劳德计算机使用是实验性的,这种风险绝对是在人类文档中明确提出的。但是这里有趣的是用来说服的方法克劳德为了妥协该系统的说明,它基本上是说服一个人可能需要的。使邪恶的东西看起来无辜,并掩盖了方向的真实来源(和意图)。从视频中从头到尾观察它,在页面中断下方嵌入。
这表明使用或设计类似的系统时安全性和谨慎的重要性。这也提醒您,大型语言模型(LLMS)从根本上将指令和输入数据混合在一起。这是使它们在自然沟通上如此有用的重要组成部分,但这也是为什么迅速注射如此棘手的解决方案。