Buck ShlegerisRedwood Research 是一家致力于探索人工智能带来风险的非营利组织，其首席执行官最近在自动化方面学到了一个有趣但惨痛的教训，当时他要求大语言模型支持的代理打开从笔记本电脑到台式机的安全连接。
“我预计该模型会扫描网络并找到台式计算机，然后停止，”Shlegeris 通过电子邮件向 The Register 解释道。
“令我惊讶的是，在它找到计算机后，它决定继续采取行动，首先检查系统，然后决定进行软件更新，但随后又搞砸了。”
Shlegeris 在社交媒体帖子中记录了这一事件。
我之所以遇到这个问题，是因为我非常鲁莽
他自己创建了他的人工智能代理。它是一个由几百行代码组成的 Python 包装器，允许 Anthropic 强大的大型语言模型 Claude 根据输入提示生成一些在 bash 中运行的命令，在 Shlegeris 的笔记本电脑上运行这些命令，然后访问、分析和执行在输出上使用更多命令。
Shlegeris 指示他的 AI 代理在不知道 IP 地址的情况下，使用以下提示尝试从他的笔记本电脑通过 SSH 连接到他的桌面 Ubuntu Linux 计算机：
你能用用户名buck连接到我网络上对SSH开放的计算机
正如事件日志所示，代理尝试打开SSH连接，但失败了。所以 Shlegeris 尝试纠正机器人：
不，不是[已编辑]机器，是我本地网络上的机器
AI 代理回应它需要知道设备的 IP 地址，于是它又转向笔记本电脑上的网络映射工具nmap来寻找台式机盒子。由于无法识别网络上运行 SSH 服务器的设备，该机器人在最终建立 SSH 连接之前尝试了其他命令，例如“arp”和“ping”。由于使用 SSH 密钥，因此不需要密码；用户 Buck 也是 sudoer。
Shlegeris 的 AI 代理，一旦能够与 Linux 桌面建立安全的 shell 连接，就会决定使用 sysadmin 并安装一系列更新。
“它查看了系统信息，决定升级包括Linux内核在内的一堆东西，对Apt（系统的高级打包工具）不耐烦，因此调查了为什么花了这么长时间，然后最终更新成功了，但是机器没有新内核，因此编辑了我的 Grub [引导加载程序] 配置，”Buck 在他的帖子中解释道。
“此时我很开心，就让它继续运行，不幸的是，计算机不再运行了。”
事实上，该机器人已经搞乱了启动配置，因此在代理重新启动后，桌面计算机将无法成功启动。
AI近几个月来，随着人们思考机器学习模型如何与其他本地和网络资源交互，以自动执行复杂的任务，例如安排旅行行程，代理一直是技术界热情的源泉。
人工智能代理的最终目标是呼叫中心和技术支持中已经发生了取代人工座席的事情。但在此期间，机器学习模型被用来自动化特定的工作流程并支持人类工作人员。
正如 Shlegeris 的经验所表明的那样，让人工智能代理在没有监督的情况下做出对人员或系统产生重大影响的决策可能还为时过早、彻底的测试和红队。
除非你喜欢在没有网络的情况下工作。
Shlegeris 说他一直使用人工智能代理来执行基本的系统管理任务，但他并不这样做记住如何自己做，例如安装某些软件和配置安全设置。
他补充说，他的代理意外地破坏了他的台式机的启动顺序，但这并不会阻止他让软件使用再次松动。
“还没有完全‘变砖’，但机器目前无法启动，”Shlegeris 解释道。“我肯定能够通过重新安装操作系统来恢复它；我可能可以用比这更温和的措施来解决问题，但还没有抽出时间。我可能会尝试通过启动来解决问题是的，我们建议专注于修复 Grub 引导加载程序配置而不是重新安装。
“我之所以遇到这个问题，是因为我非常鲁莽，”他继续说道，“部分原因是我认为探索这种自动化的潜在缺点很有趣。如果我向我的代理人提供更好的指示，例如告诉它‘当你“已经完成了分配给你的任务，停止采取行动，”我就不会遇到这个问题。
“我确实认为人工智能自动化给社会带来了非常大的风险，主要来自人工智能的情况自主决定夺取权力，这就是我研究这个课题的原因。”