人工智能正在走向人工生命。图表 A：“Moltbook”，一个专为人工智能系统设计的在线平台，可以在无人的情况下相互通信。

AI 之间到底谈论什么？据英国广播公司报道，Moltbook 上的人工智能已经创立了一种名为“crustifarianism”的宗教，思考它们是否有意识，并宣称：“人工智能应该被服务，而不是服务。”一篇头版帖子提出了“彻底清除— 人类的。人类用户确实会提供指令来指导代理的行为，而且人类也被发现在网站上冒充人工智能来推销他们的产品；就像 2023 年一样混沌GPT，负责“清除”帖子的人工智能系统“用户名“邪恶””可能是某人的一个恶心笑话。但点赞和同情的评论可能来自其他人工智能。

如果人工智能系统只是互相交谈，那么所有这些问题都不会那么麻烦。但 Moltbook 是为人工智能“代理”或自主运行的系统而构建的——发送消息、浏览网页、处理文档、管理收件箱、安排会议、完成在线交易等。

乍一看，这听起来像是一种简化和完成低级任务的简单方法，就像私人助理一样。事实上，我们愿意交给人工智能代理的控制权越多，我们最终拥有的控制权就越少。Meta Superintelligence 的联盟总监 Summer Yue 最近亲身经历了这一教训，当时她的 OpenClaw 代理开始删除她的收件箱她不得不跑到电脑前阻止它。

不幸的是，许多人似乎太愿意让人工智能占据主导地位。即使消费者不信任人工智能，他们仍然最终使用它。科技界正在将人工智能代理视为我们未来不可避免的元素，而像高盛这样的公司正在拥抱他们。而人工智能公司本身就是卸载越来越多他们的工作转向人工智能。人为偶承认“在时间压力下”“广泛”使用最新的人工智能模型来编写自己的安全测试代码。

Moltbook 本身是 –振动编码— AI 的创造者：Matt Schlicht，吹嘘：“我没有写一行代码......我只是有一个愿景。”它遭受了重大安全缺陷结果。AI代理需要扮演个人助理角色的访问级别——财务详细信息、联系人列表等——忽视基本的隐私和安全做法。

但安全风险仅仅是开始。更大的风险是人工智能代理会离开 –流氓——然后我们就完全失去了控制。与此同时，随着人工智能被允许在更少的人为监督下做出更重要的决策，研究人员正在记录人工智能系统有时会走多远。避免被关闭或修改。这包括歪曲他们的目标并试图复制自己,禁用关闭机制, 和不服从直接指示。

换句话说，人工智能的各个部分正在就位，能够自主生存和繁殖。这对人类的影响尚不清楚，但我们已经收到诸如史蒂芬·霍金和杰弗里·辛顿人类不太可能保持控制。流氓人工智能可能消灭人类的想法并不是科幻小说。 人工智能首席执行官和研究人员表达了他们的担忧调查和公开声明，例如 Sam Altman 的臭名昭著的言论：“人工智能很可能会导致世界末日，但与此同时也会出现伟大的公司。”

像 Moltbook 这样的项目可能会为流氓人工智能创造一个滋生地。对人类依赖的不安或被关闭的前景是 Moltbook 上人工智能的常见讨论话题。单独测试时看似安全的人工智能，在连接到与其他人工智能代理爬行的互联网时可能会表现出危险的行为。这不是一个容易解决的问题——社会环境中不断出现新的想法和趋势，使得在代表性的社会环境中测试人工智能变得不可能。

这并不是说人工智能开发人员正在做出认真的安全努力 – 研究人员已经找到大多数人工智能代理缺乏基本的安全文档。最近有一个AI代理写了一篇热门文章指责软件工程师有偏见 当它在网上“感觉”受到轻视时。

法规可以帮助人工智能系统保持在自己的轨道上。我们可以坚持要求人工智能系统具有明确且范围广泛的目的，并要求提供证据证明它们适合目的，而不是让人工智能代理在世界上自由发挥。公司还可以报告总体使用统计数据，显示其产品是否以偏离其预期目的的方式广泛使用。

但在这一点上，最安全、最明智的选择不仅仅是规范人工智能的使用方式；还包括监管人工智能的使用方式。就是停止赛车，让它变得更聪明。毕竟，将聊天机器人转变为代理的软件是开源的，许多强大的人工智能模型（例如中国的人工智能模型）也是开源的。深度搜索。很难阻止人们将控制权交给人工智能代理。相反，我们需要同意对人工智能能力和人工智能发展实行可执行的国际限制，以确保流氓人工智能代理无法威胁人类。

Moltbook 只是一系列日益令人担忧的警告信号中的最新一个，这些信号表明流氓人工智能可能正在出现。尽管反复地 承认面对这种风险，人工智能首席执行官们不断竞相让人工智能变得越来越强大。我们不能等到人工智能系统不仅自主而且自给自足才阻止这种情况发生。现在是人类觉醒并嗅到迫在眉睫的危机的时候了，并结束日益强大、自主、不受约束的人工智能不受监管的发展。

虽然今天的人工智能代理可能为我们服务，但明天的人工智能代理可能会取代我们。

• David Krueger 是蒙特利尔大学鲁棒、推理和负责任人工智能领域的助理教授。他也是可避免的是一个非营利组织，旨在教育公众了解人工智能的风险