A.I.的两条路径

去年春天，在Openai工作的A.I.安全研究员Daniel Kokotajlo辞去了抗议的工作。他坚信该公司没有为自己的技术的未来做好准备，并希望发出警报。一个共同的朋友联系我们之后，我们在电话上讲话。我发现了科科塔夫和affable，知情和焦虑。对齐的进步，他告诉我，用于确保AI的技术套件根据人类的命令和价值观的行为落后于情报的收益。他说，研究人员正朝着建立强大的系统无法控制的情况下而努力。

从哲学的研究生课程转变为A.I.的职业的科科塔杰洛（Kokotajlo）解释了他如何教育自己，以便他能够理解这个领域。在Openai期间，他的一部分工作是跟踪AI。这样他就可以构建时间表，以预测何时可以越过各种智能阈值。有一次，在技术意外发展之后，他不得不将时间表上升数十年。在2021年，他写了一个有关AI的场景。标题为2026年是什么样子。他得出的结论是，当A.I.在几乎所有重要的任务中，可能会比人更好，并以强大的力量和权威受到信任，可能会在2027年或更快到达。他听起来很害怕。

大约在Kokotajlo离开Openai的同时，普林斯顿的两名计算机科学家，Say​​ash Kapoor和Arvind Narayanan正在准备出版他们的书的出版。AI蛇油：人工智能可以做什么，可以做什么以及如何分辨差异。他们认为，A.I.未来的许多时间表非常乐观。关于其有用性的说法常常被夸大或彻底欺诈。而且，由于世界上固有的复杂性，即使是强大的AI。只会慢慢改变。他们引用了许多案例。已要求系统对医学诊断或招聘进行重要判断，并犯了新秀错误，这表明与现实有根本性的脱节。他们坚持认为，最新的系统遭受了相同的缺陷。

最近，所有三位研究人员都提高了他们的观点，释放了进一步分析的报告。Kokotajlo是执行董事的非营利性AI期货项目，已发布AI 2027，由Kokotajlo和其他四名研究人员撰写的一份脚注的文档，其中构成了令人震惊的场景，其中超级智能A.I. A.I.到2030年，系统要么统治或灭绝人类。这是要认真对待的，作为警告可能发生的事情。同时，卡普尔（Kapoor）和纳拉亚南（Narayanan）AI作为正常技术，坚持认为，从法规和专业标准到在现实世界中做物理事务的简单困难的各种实际障碍将减缓AI。的部署并限制其变革潜力。同时承认AI。根据电力或互联网的规模，可能最终可能是一项革命性的技术，他们坚持认为，在可预见的未来，它将保持正常状态，例如，可以通过熟悉的安全措施，例如故障安全，杀死开关和人为监督来控制。他们认为，AI通常类似于核武器。但是，正确的类比是核能，核能仍然是易于管理的，如果有的话，出于安全原因，可能会被未被充分利用。

这是哪个：像往常一样或世界末日的业务？F. Scott Fitzgerald声称对一流的智力的考验是一种能力，同时掌握了两个对立的想法，并且仍然保持着功能的能力。AI 2027和AI作为普通技术的目的是描述相同的现实，并由知识渊博的专家撰写，但得出了荒谬的结论。讨论AI。的未来与Kapoor，Narayanan和Kokotajlo一起，我觉得自己正在与Richard Dawkins和Pope进行关于灵性的对话。

在盲人和大象的寓言中，一群善良的人努力应对一个陌生的物体，未能同意其性质，因为每个人都认为他遇到的部分定义了整体。这就是AI的问题的一部分，很难看到整个新事物。但是，正如卡普尔（Kapoor）和纳拉亚南（Narayanan）所写的那样，今天的AI安全性话语的特征是世界观中的深刻差异。那个A.研究人员相信快速的实验进步，而其他计算机科学家则渴望理论上的严格。以及AI中的人们行业希望创造历史，而之外的历史对技术炒作感到无聊。同时，关于人们想要的东西，技术如何发展，社会如何改变，思维方式，思维方式，思想是什么，有助于将人们推向一个营地或另一个营地，几乎没有明确的差异。

另一个问题仅仅是关于A.I.的争论。异常有趣。这种兴趣本身可能被证明是一个陷阱。当AI 2027出现时，许多行业内部人士接受了其基本前提的回应辩论它的时间表（为什么不ai 2045？）。当然，如果一个杀死星球的小行星前往地球，您不想NASA官员们争论午餐之前还是之后是否会发生影响；您希望他们启动改变其道路的使命。同时，例如，在AI中看到的那种断言是普通技术的，在重要任务中，将人类保持在循环中可能是明智的，而不是让无计算机固定为较平淡，以至于他们对他们对Opommsday的可能性感兴趣的分析师的不完全了解。

当技术变得足够重要以塑造社会的过程时，周围的论述需要改变。专家之间的辩论需要为我们其他人所能采取的共识腾出空间。缺乏关于AI的共识开始有实际成本。当专家们聚在一起提出统一的建议时，很难忽略它们。当他们将自己分为决斗群体时，决策者更容易解雇双方，而什么也不做。目前，似乎没有计划。人工智能。公司实质上改变了其产品能力与安全之间的平衡；在刚刚通过了众议院的预算重新调和法案中禁止国家政府从规范人工智能模型，人工智能系统或自动决策系统中进行了十年。如果AI 2027是正确的，并且该法案已签署为法律，那么当我们允许监管AI。它可能正在监管我们。在游戏结束之前，我们现在需要了解安全性话语。

人工智能是一个技术主题，但描述其未来涉及一个文学真理：我们讲的故事具有形状，这些形状会影响其内容。总是有权衡。如果您的目标是可靠，头顶的保守主义，那么您可能会低估不可能的可能性；如果您带来想象力，那么您可能会以牺牲可能的方式来理解有趣的事情。预测会产生一种可预测性的幻想，而这种可预测性在一个有趣的房屋世界中毫无根据。2019年，当我介绍了科幻小说家威廉·吉布森（William Gibson），他以先见之处而闻名，他描述了恐慌的时刻：他认为他在不久的将来有一个掌握，但那时我看到特朗普降落了那个自动扶梯，以宣布他的候选人资格。我所有的场景模块都发出了哔哔声。

AI 2027是富有想象力，生动的和细节的。Kokotajlo最近告诉我，这绝对是一个预测，但这是一种场景的形式，这是一种特殊的预测。它将自己投入到事件的流程中。通常，其想象的细节的特异性表明了它们的可笑性。实际上，可能会有片刻，可能是在2027年6月，当时VE发明了自我改善A.I.的软件工程师。•坐在他们的计算机屏幕上，看着表演爬行，向上及向上？作为回应，中国政府会在台湾的一个集中发展区建立一个大型境地吗？这些特殊的细节使场景更加强大，但可能并不重要。Kokotajlo说，最重要的是，“更有可能发生情报爆炸，而对谁能控制AI.S.的疯狂地缘政治冲突”。

我们需要遵循的情报爆炸的细节。AI 2027的场景以A.I.的形式为中心发育称为递归自我完善，或R.S.I.，目前在很大程度上是假设的。在报告的故事中从AI。开始程序变得能够做AI。自己研究（今天，他们只协助人类研究人员）；这些A.I.特工很快就会弄清楚如何使他们的后代更聪明，而那些后代为他们的后代做了同样的事情，从而创建了反馈循环。随着AI.S开始像同事一样，交易消息并互相分配工作，形成一家与公司的公司相比，反复增长比A.I的速度更快，更有效。它陷入困境的公司。最终，AI.S开始如此迅速地创建更好的后代，以至于人类程序员没有时间研究它们并决定是否可以控制。