Buck Shlegeris 只是想连接到他的桌面。相反，他最终得到了一台无法启动的机器，并学到了人工智能代理的不可预测性。
非营利性人工智能安全组织 Redwood Research 的首席执行官 Shlegeris 使用 Anthropic 的 Claude 语言模型开发了一款定制 AI 助手。
基于 Python 的工具旨在根据自然语言输入生成和执行 bash 命令。听起来很方便，对吧？不完全是。
Shlegeris 要求他的 AI 使用 SSH 访问他的桌面，而不知道计算机的 IP 地址。他走开了，忘记了他让那位急于取悦的特工跑了。
大错误：人工智能完成了它的任务，但它并没有就此停止。
“十分钟后我回到我的笔记本电脑前，看到特工已经找到了盒子，SSHd 已插入，然后决定继续，”Shlegeris 说。
就上下文而言，SSH 是一种允许两台计算机通过不安全网络进行连接的协议。
“它查看了系统信息，决定升级一堆东西，包括 Linux 内核，对 apt 感到不耐烦，因此调查了为什么花了这么长时间，”Shlegeris 解释道。“最终，更新成功了，但是机器没有新内核，所以我编辑了 grub 配置。”
结果呢？Shlegeris 说，这是一个昂贵的镇纸，现在“计算机不再启动”。
我问我的 LLM 代理（Claude 的包装器，让它运行 bash 命令并查看其输出）：