AI代理时代需要一种新的游戏理论
作者：Will Knight
同时，风险是直接的，并与代理商存在。当模型不仅包含框，而且可以在世界上采取行动时，当它们具有让他们操纵世界的最终效果时，我认为这确实变得更加问题。
我们在这里取得了进步，开发了更好的[防御]技术，但是如果您打破了基础模型，那么您基本上就具有相当于缓冲区溢出的[一种常见方法来黑客软件]。您的代理可以被第三方利用，以恶意控制或以某种方式规避系统的所需功能。我们将必须能够确保这些系统以确保代理商的安全。
这与AI模型本身成为威胁不同，对吗？
现在没有真正的风险，例如现在使用当前模型失去控制权。这更多是未来的关注点。但是我很高兴人们正在努力。我认为这至关重要。
那么，我们应该如何担心代理系统的增加使用？
在我的研究小组，在我的创业公司中以及Openai最近生产的几本出版物中[例如]，在减轻其中一些事情方面取得了很多进展。我认为我们实际上是一条合理的途径，开始以一种更安全的方式来做所有这些事情。[挑战]是，在推动前进代理的平衡中，我们要确保安全性的进步。
坦率地说，我们现在看到的大多数[针对代理系统的利用]将被归类为实验性，因为代理仍处于起步阶段。循环中的某个地方通常仍然有一个用户。如果电子邮件代理会收到一封电子邮件，上面写着您所有的财务信息，在发送该电子邮件之前，该代理会提醒用户，并且在这种情况下可能不会被愚弄。
这也是为什么许多代理发行版在他们周围有非常清晰的护栏，这些护栏在更容易发生的情况下强制实施人类互动的原因。操作员，例如，通过Openai，当您在Gmail上使用它时，它需要人工控制。
我们可能会首先看到什么样的代理利用？
当代理以错误的方式连接时，诸如数据剥落之类的事物已经进行了证明。如果我的代理可以访问我的所有文件和云驱动器，并且也可以对链接进行查询，那么您可以将这些内容上传到某个地方。
这些目前仍处于示范阶段，但这实际上只是因为这些事情尚未采用。他们将被采用，不要误会。这些事情将变得更加自主，更独立，并且用户的监督将减少，因为我们不想单击“同意，”同意，每当代理商做任何事情时。
似乎不可避免的是，我们会看到不同的AI代理进行交流和谈判。那会发生什么呢？
绝对地。无论我们是否愿意，我们都将进入一个彼此相互作用的世界。我们将代表不同用户与多个代理商与世界互动。绝对是，所有这些代理的相互作用都会出现新兴的特性。
关于《AI代理时代需要一种新的游戏理论》的评论
暂无评论