比聊天机器人具有更多自主权的人工智能代理即将到来。一些安全专家感到担忧

每一天，每一天，你都在做出选择。哲学家们长期以来一直认为，这种有意识地行动的能力，或者与机构，人类与更简单的生命形式和机器的区别。但人工智能可能很快就会超越这一鸿沟，因为科技公司正在构建人工智能“代理”系统，能够在最少的人类监督下做出决策并实现目标。

面对展示数十亿美元投资回报的压力，人工智能开发人员正在将代理推广为下一波消费技术。代理（例如聊天机器人）利用大型语言模型，并且可以通过手机、平板电脑或其他个人设备进行访问。但与需要持续手持来生成文本或图像的聊天机器人不同，代理可以自主地与外部应用程序交互以代表个人或组织执行任务。OpenAI 有列出代理的存在是构建五个步骤中的第三个步骤通用人工智能（AGI）“人工智能可以在任何认知任务上超越人类”并且该公司正在据说计划于一月份发布代号为“Operator”的代理。该系统可能是倾盆大雨中的早期下降：Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 表示预测的人工智能代理的数量最终将超过人类。与此同时，一些人工智能专家担心，对于一个倾向于优先考虑速度而非安全的行业来说，代理的商业化是一个危险的新步骤。

根据大型科技公司的销售宣传，代理将把人类工人从苦差事中解放出来，为更有意义的工作（以及企业生产力的大幅提高）打开大门。“通过将我们从平凡的任务中解放出来，[代理]可以让我们专注于真正重要的事情：人际关系、个人成长和明智的决策，”Google DeepMind 的高级研究员 Iason Gabriel 说。去年5月公司揭幕“Project Astra”的原型描述的作为“对日常生活有帮助的通用人工智能代理”。在视频演示中，Astra 通过 Google Pixel 手机与用户对话，并通过设备的摄像头分析环境。有一次，用户将手机放在同事的电脑屏幕前，屏幕上写满了代码。人工智能以类似人类的女性声音描述了代码（它定义了加密和解密功能）。

关于支持科学新闻

如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻事业订阅。通过购买订阅，您将有助于确保有关塑造当今世界的发现和想法的影响力故事的未来。

Project Astra 预计最早要到明年才会公开发布，目前可用的代理大多仅限于单调的劳动，例如编写代码或提交费用报告。这既反映了技术限制，也反映了开发人员对高风险领域中信任代理的谨慎态度。云软件公司 Salesforce 的首席科学家西尔维奥·萨瓦雷塞 (Silvio Savarese) 表示，“应该部署代理来执行琐碎和重复性的任务，这些任务可以‘非常明确地定义’。”该公司最近推出了 Agentforce，这是一个为代理提供的平台，可以解决客户服务问题并执行其他狭窄的功能。萨瓦雷塞说，在法律判决等更敏感的情况下，他会“非常犹豫”是否信任特工。

尽管 Agentforce 和类似平台主要面向企业营销，但萨瓦雷塞预测个人代理最终会崛起，他们可以访问您的个人数据并不断更新他们对您的需求、偏好和怪癖的理解。例如，一个负责规划你的暑假的基于应用程序的代理可以预订你的航班、在餐厅预订座位并预订你的住宿，同时记住你对靠窗座位的偏好、你对花生过敏以及你对带泳池的酒店的喜爱。至关重要的是，它还需要对意外情况做出反应：如果最佳航班选项已被订满，它就需要调整航线（也许可以通过检查另一家航空公司）。“适应环境并做出反应的能力对于智能体来说至关重要，”萨瓦雷塞说。个人代理的早期迭代可能已经在进行中。以亚马逊为例，据说与能够根据您的在线购物历史记录为您推荐和购买产品的代理合作。

是什么造就了代理人？

企业对人工智能代理兴趣的突然激增掩盖了它们悠久的历史。所有机器学习算法在技术上都是“代理的”，因为它们根据从海量数据中收集的模式不断“学习”或完善其实现特定目标的能力。“在人工智能领域，几十年来我们一直将所有系统视为代理，”加州大学伯克利分校人工智能研究员和计算机科学家先驱斯图尔特·拉塞尔 (Stuart Russell) 说道。“只是其中一些非常简单。”

但现代人工智能工具现在正在变得更多的代理，这要归功于一些新的创新。一是使用搜索引擎等数字工具的能力。通过 10 月份发布的公开 Beta 测试的新“计算机使用”功能，人工智能公司 Anthropic 的 Claude 聊天机器人背后的模型现在可以在显示用户桌面的屏幕截图后移动光标并单击按钮。该公司发布的一段视频显示克劳德填写并提交了一份虚构的供应商申请表。

能动性还与跨时间做出复杂决策的能力相关。随着代理变得更加先进，他们将被派去完成更复杂的任务。谷歌 DeepMind 的加布里埃尔设想了一种可以帮助发现新科学知识的未来代理。而这可能并不遥远。一个纸8 月份发布在预印本服务器 arXiv.org 上的文章概述了一种“人工智能科学家”代理，它能够制定新的研究想法并通过实验对其进行测试，从而有效地实现科学方法的自动化。

尽管能动性和意识之间存在密切的本体论联系，但没有理由相信，在机器中，前者的进步会导致后者。科技公司当然不会宣传这些工具具有任何接近自由意志的东西。用户可能会将代理人工智能视为有感知力，但这比其他任何事情都更能反映出数百万年的进化，这些进化使人们的大脑硬连线将意识归因于任何有意识的事物。似乎人类。

新兴挑战

代理人的崛起可能会给工作场所、社交媒体和互联网以及经济带来新的挑战。数十年或数百年精心制定的限制人类行为的法律框架将需要考虑到人工智能体的突然引入，其行为与我们的行为根本不同。一些专家甚至坚持认为，对人工智能更准确的描述是“外星智能”。

以金融行业为例。算法长期以来一直帮助跟踪各种商品的价格，根据通货膨胀和其他变量进行调整。但代理模型现在开始为个人和组织做出财务决策，这可能会引发一系列棘手的法律和经济问题。“我们还没有创建基础设施来将[代理]整合到我们必须确保我们的市场表现良好的所有规则和结构中，”约翰·霍普金斯大学人工智能治理专家吉莉安·哈德菲尔德说。如果代理人代表某个组织签署合同，但后来违反了该协议的条款，那么该组织或者算法本身应该承担责任吗？推而广之，代理人是否应该像公司一样被授予法律“人格”？

另一个挑战是设计行为符合人类道德规范的智能体，这个问题在该领域被称为“一致性”。随着智能体的增加，人类解读起来变得更加困难如何人工智能正在做出决定。目标被分解为越来越抽象的子目标，模型偶尔会显示无法预测的突发行为。“从拥有善于计划的智能体到失去人类控制，有一条非常清晰的道路，”计算机科学家 Yoshua Bengio 说，他帮助发明了神经网络，推动了当前人工智能的繁荣。

本吉奥表示，大型科技公司的优先事项往往与整个人类的优先事项不一致，这一事实使协调问题变得更加复杂。“赚钱和保护公众安全之间存在真正的利益冲突，”他说。在 2010 年代，Facebook（现在的 Meta）使用的算法，考虑到最大化用户参与度这一看似良性的目标，开始提倡仇恨向缅甸用户提供的内容反对那个该国少数民族罗兴亚人人口。在得知煽动性内容更有利于用户参与后，算法决定完全自行实施这一策略，最终助长了一场种族清洗运动，杀死了数千人的人。随着算法变得更加代理，模型错位和人为操纵的风险可能会增加。

代理的看门狗

本吉奥和拉塞尔认为，监管人工智能是必要的，以避免重复过去的错误或在未来被新错误所困扰。两位科学家都是该协议的 33,000 名签署者之一公开信于 2023 年 3 月发表，呼吁暂停人工智能研究六个月以建立护栏。随着科技公司竞相构建代理人工智能，本吉奥主张采取预防原则：强大的科学进步应该缓慢扩展，商业利益应该让位于安全。

这一原则已经成为美国其他行业的规范。制药公司必须经过严格的临床试验并获得食品和药物管理局的批准才能发布新药；未经联邦航空管理局认证，飞机制造商不得推出新客机。尽管已经采取了一些早期的监管措施，尤其是总统乔·拜登关于人工智能的行政命令（候任总统唐纳德·特朗普发誓要废除该命令），但目前尚不存在全面的联邦框架来监督人工智能的开发和部署。人工智能。

本吉奥警告说，代理商商业化的竞赛可能很快就会让我们陷入无可挽回的境地。“一旦我们有了代理人，他们就会变得有用，他们就会有经济价值，而且他们的价值将会增长，”他说。“一旦政府意识到它们也可能是危险的，那就可能为时已晚，因为经济价值将是你无法阻止的。”他将代理的优势与社交媒体的优势进行了比较，在 2010 年代，这种情况很快就超过了政府有效监督的任何机会。

当世界准备迎接人工代理的洪流时，现在是行使我们自己的代理机构的最紧迫的时刻。正如本吉奥所说，“我们在行动之前需要仔细考虑。”