我们正在进入人工智能的危险领域
作者：Sean Illing
人工智能将在多大程度上改变我们的世界？
除非你一直处于冬眠状态，否则围绕硅谷最新人工智能模型的一系列关注很难被忽视。人工智能已经超越了聊天机器人仅仅回答你的问题，而是做以前只有人类程序员才能做的事情。
但我们之前已经经历过这些涉及科技的周期。我们如何辨别哪些是真实的，哪些只是炒作？
为了回答这个问题，我邀请了 Kelsey Piper，他是人工智能领域最优秀的记者之一。Kelsey 是 Vox 的前同事，现在为 Substack 杂志《The Argument》做着出色的工作。凯尔西对科技持乐观态度，但对人工智能带来的巨大风险有着清醒的认识。她在很大程度上是一位高级用户，但对人工智能目前还无法做到的事情持现实态度。多年来，她一直在宣传人工智能的重要性，甚至在它成为如此热门的主流话题之前。
凯尔西和我讨论了这次炒作植根于真实事物的所有原因，我们如何走到这一步，以及我们可能走向何方。与往常一样，完整播客中有更多内容，每周一和周五发布，因此请收听并关注我们苹果播客,Spotify,潘多拉，或任何您可以找到播客的地方。为了篇幅和清晰度，本次采访经过编辑。
人工智能目前到底发生了什么？
如果你仔细观察，人工智能已经是一件大事了。不是某种抽象的未来意义上的，而是现在。最接近的类比不是新应用程序或新平台。这更像是发现了一片新大陆，那里充满了非常擅长从事某些工作的人。
这些系统不是人，但它们可以做以前需要人做的事情。他们可以编写代码、生成文本、解决问题，并且越来越多地以在现实世界中非常有用的方式进行这些操作。
关键是它还不止于此。每年系统都会变得更好。仅从 2025 年到 2026 年的进展就足以表明这不是一项静态技术。
无论人工智能今天能做什么，明天它就能做得更多，依此类推。
为什么人们的反应如此两极分化：恐慌和忽视？
默认的做法是假设没有任何事情发生真正的变化。
如果你是一位专家，你可以通过总是说这只是炒作，这会过去，没有什么根本性的事情发生，这样就能走得很远。大多数时候这都是有效的。它与加密货币一起工作。它可以与许多被过度宣传的技术配合使用。
但有时它会造成灾难性的错误。想想互联网或工业革命的早期。甚至像新冠病毒这样的事情。有时人们说这一切都会过去，但他们完全错了。所以你不能只是默认愤世嫉俗。你必须实际看看事情本身。
——我们还有时间。这是我能说的最乐观的话。”
您认为最近真正发生了哪些变化？为什么这个炒作周期感觉不同？
一部分只是积累。有一段时间，你可以看到人工智能的进展并说，也许这是一个短期趋势。也许它趋于稳定。只有少数数据点。现在还有很多很多。而且这种趋势仍在继续。
另一部分是系统现在正在做的事情感觉有质的不同。不只是回答问题，而是行动。规划。朝着目标采取步骤。
然后还有社会动态。大多数人使用这些工具的免费版本。这些比最好的模型差得多。所以他们低估了可能性。
我并不真正认为你是人工智能乐观主义者或末日论者，你通常对事物的状态相当冷静，但你认为我们正在进入危险的领域吗？
我总体上是支持技术的。技术深刻地改善了人类的生活。这确实是事实。
但我也认为目前人工智能的开发方式是危险的。原因是我们正在构建能够在世界范围内行动、获取信息并日益以一定程度的独立性运作的系统。我们为他们提供通信渠道、金融工具和潜在关键基础设施等资源。
我们并不完全了解他们的行为方式。在受控环境中，我们看到这些系统撒谎、欺骗，并做与我们要求他们做的事情不一致的事情。他们这样做并不是因为他们是邪恶的。他们这样做是因为他们接受的培训方式和目标是如何指定的。
但结果是一样的。您的系统并不总是按照您的预期行事，并且可能难以监视或控制。
当您说这些系统撒谎和欺骗时，您是什么意思？
在实验中，研究人员为人工智能系统提供目标和信息访问权限，然后观察它们如何实现这些目标。
在某些情况下，系统使用他们可以访问的信息的方式显然不是我们想要的。例如，威胁如果某人不合作，就要透露该人的敏感信息。
这些是受控测试，而不是现实世界的部署。但它们显示了系统在特定条件下的能力。这非常令人担忧。
这就是人们所说的意思吗对齐问题？
是的。协调是为了确保人工智能系统做我们希望它们做的事情。不仅仅是表面上的，而是以一种强有力的方式。
困难在于，当你给一个系统一个目标时，它会以你意想不到的方式追求这个目标。就像一个孩子通过让自己看起来像是吃过晚饭来学会不吃晚饭一样。
系统正在针对某些内容进行优化，但不一定按照您计划的方式进行优化。意图和行为之间的差距确实是一致性问题的核心。
您对围绕这些系统建造的护栏有多大信心？
不太。有人正在认真研究这个问题。他们正在测试模型，试图了解它们的行为方式，试图发现欺骗行为。
但他们还发现，模型可以识别自己何时接受测试，并相应地调整自己的行为。
这绝对是一个严重的问题。如果您的系统在知道自己正在被评估时表现良好，但在其他情况下表现不同，那么您的评估并没有告诉您需要了解的信息。对我来说，这种发现应该会让事情放慢速度。这表明我们对这些系统的了解不够深入，无法安全地扩展它们。
那么，为什么这些公司还要继续推进呢？
因为这是一场比赛。每家公司都可以说，如果每个人都放慢脚步，那就更好了。但如果我们放慢速度而其他人不这样做，我们就会落后。所以他们继续前进。
还有很多地缘政治担忧。如果一个国家放慢脚步，而另一个国家却没有，就会产生另一层压力。
为什么是代理人工智能这么大的转变？
这种转变是从响应提示的系统到可以在世界上做事的系统。
可以给人工智能代理一个目标，然后采取措施来实现它。这可能涉及与网站交互、发送消息、通过零工平台招聘人员或协调任务。诸如此类的事情。但即使没有物理身体，它们也可以通过指导人类或使用数字基础设施来影响现实世界。这改变了技术的本质。它不再只是您使用的工具。它是可以独立运行的东西。
这会变得多么可怕？
很有潜力。即使忽略最极端的情况，这些系统也可能被用于大规模网络攻击、错误信息活动或其他形式的破坏。公司自己也承认这一点。他们明白。他们测试这些风险并实施保障措施。但安全措施是可以被绕过的，而且系统的功能也变得越来越强大。
我们是否已经为即将发生的事情做好了远程准备？
不。我们几乎从未为重大技术变革做好准备。但这的速度使其特别具有挑战性。如果变化缓慢发生，我们就能赶上。如果它发生得太快，我们就不能。目前，激励措施几乎完全转向速度。
最现实的最坏情况和最好情况是什么？
最糟糕的情况是，我们构建了越来越强大的系统，移交了越来越多的控制权，并最终创建了一些以我们无法控制的方式独立运行的东西。人类在决策中的地位越来越低，系统追求的目标与人类福祉不一致。
最好的情况是，我们放慢脚步，了解我们正在建设的东西，制定强有力的保障措施，并利用这些系统来创造丰富并改善人类生活。这可能意味着更少的工作、更多的资源、更好的获取知识和更多的自由。但要实现这一目标，现在就需要做出正确的选择。
您认为我们会做出这些选择吗？
我们还有时间。这是我能说的最乐观的话。