欢迎来到Entanglements，Undark 的新播客。在本集中，与主持人布鲁克·博雷尔和安娜·罗斯柴尔德一起探讨这个问题：人工智能会杀死我们所有人吗？为了回答这个问题，他们在节目中邀请了两位持不同意见的专家，试图找到一些共同点。重点不是对双方来说都是一个问题，也不是试图迫使双方达成协议。相反，该节目旨在探讨在激烈的在线论坛或辩论式媒体中可能被忽视的观点。
本周他们的嘉宾是哲学家、OpenAI 前预测员 Daniel Kokotajlo 和普林斯顿大学计算机科学家、该校信息技术政策中心主任 Arvind Narayanan。
以下是播客的完整文字记录，为清晰起见，经过轻微编辑。直到年底，每周一都会推出新剧集。您还可以订阅《纠缠》：苹果播客和Spotify。
布鲁克·博雷尔：欢迎收看《纠缠》，在这个节目中，我们深入探讨了当今新闻中最复杂的科学辩论。
安娜·罗斯柴尔德：辩论对于优秀科学的蓬勃发展确实很重要，但它常常会变得激烈和有争议。
布鲁克·博雷尔：所以我们想尝试一些不同的东西。我们能否将拥有相似专业知识但观点截然不同的人们聚集在一起，尝试找到一些共同点？
安娜·罗斯柴尔德：顺便说一句，我是安娜·罗斯柴尔德，我是一名科学记者。
布鲁克·博雷尔：我是布鲁克·博雷尔 (Brooke Borel)，Undark 的文章编辑。现在我想明确表示：我们来这里不是为了揭穿诸如地球是平的或气候变化是骗局之类的愚蠢主张。
安娜·罗斯柴尔德：是的，绝对没有这些。但是，通过了解两位受人尊敬的专家的同意和不同意见，我们希望能够帮助我们的听众在常常感觉混乱的情况中找到一些真相。那么让我们开始吧。布鲁克，今天这一集讲什么？
布鲁克·博雷尔：这一集，我们要问一个问题：人工智能会杀死我们所有人吗？
安娜·罗斯柴尔德：是的，这感觉真的很科幻，但是，你知道，我想我们现在确实生活在一个 ChatGPT 可以写诗和剧本的世界里。你知道，它正在成为我们生活中更重要的一部分。
布鲁克·博雷尔：是啊，离厄运还很远吧？但它仍然变得越来越智能，也越来越有用。即使在五年前，一些从事人工智能工作的人也会嘲笑这种危险的想法。但长期以来，人们对这项技术也存在一些担忧。到 2023 年，约 300 名人工智能专家签署了一份公开信。这有点令人震惊。它只有一句话。你想让我读给你听吗？
安娜·罗斯柴尔德：哦，拜托，是的。
布鲁克·博雷尔：好的。如下：“减轻人工智能带来的灭绝风险应该与流行病和核战争等其他社会规模风险一起成为全球优先事项。”
安娜·罗斯柴尔德：我的意思是，这实在是太可怕了。
布鲁克·博雷尔：是的，我的意思是，对。我们已经知道经历大流行是什么感觉。是的。我想我们可能都害怕核战争。所以这有点激烈。所以我和两位持相反意见的专家进行了交谈。
安娜·罗斯柴尔德：哦，听到这个消息我真的很兴奋。
布鲁克·博雷尔：是的。太棒了。那么，让我们从我们所谓的 AI Doomer 开始。
[音乐]
布鲁克·博雷尔：你认为人工智能会杀死我们所有人吗？
丹尼尔·科科塔洛：我的意思是，我认为这可能会杀死我们所有人。我想我可能会说，我不知道，这种可能性有 20%。然后我会说某种灾难发生的可能性约为 70%。虽然，这可能不是一场涉及杀死我们所有人的灾难。
布鲁克·博雷尔：这就是 Daniel Kokotajlo。他是一位哲学家，曾在 OpenAI 工作，该公司开发了 ChatGPT 和 DALL-E 等人工智能产品。丹尼尔在公司主要做预测，基本上是预测一项技术将如何发展以及我们如何使用它。
当他在 OpenAI 工作时，他签署了那封大型公开信，声称人工智能是一种生存威胁。他并不是公司中唯一这样做的人。就连首席执行官萨姆·奥尔特曼也签署了这封信。其他一群人也这么做了。但与许多人不同的是，Daniel 在今年早些时候退出了 OpenAI。他告诉我，随着这项技术的进步，他不再相信公司会负责任地行事。
丹尼尔·科科塔洛：我认为他们有点处于“快速行动、打破常规的科技公司创业模式”，这对于普通初创公司来说很好，但我认为这对于通用人工智能来说是完全不可接受的。这么强大。例如，想象一下如果他们正在制造核武器。
安娜·罗斯柴尔德：等等，我可以暂停一下吗？好吧，如果丹尼尔要与核弹头之类的东西进行比较，我认为我们可能应该定义通用人工智能，你知道
布鲁克·博雷尔：是的。这很公平。这就是人工智能达到与人类相同智能的时刻。
安娜·罗斯柴尔德：好吧，明白了。
布鲁克·博雷尔：需要明确的是，我们还没有做到这一点。好的。因此，目前在人工智能研究中，计算机科学家主要使用这种称为机器学习的方法，他们正在构建基本上可以自行学习的算法。
安娜·罗斯柴尔德：好的。我想我明白这一点，但你能举个例子来确定一下吗？
布鲁克·博雷尔：是的。假设您有一个算法，并且您想教它如何识别马的照片。
安娜·罗斯柴尔德：好的。
布鲁克·博雷尔：是的。为什么不呢，对吧？每个人都需要那个。所以你向算法展示一张马的图片，它被标记为“这是一匹马”，然后你继续这样做。计算机科学家称之为训练。过了一段时间，算法就可以看到新的马图片并说，嘿，这是一匹马。
安娜·罗斯柴尔德：对的好吧。布鲁克，重要的问题。旁注。你是马姑娘吗？
布鲁克·博雷尔：我是。我是。我应该承认这一点吗？那很好。没关系。现在大家都知道了。
安娜·罗斯柴尔德：拥有它。拥有它。我的意思是，如果你是一个马女孩，这听起来很棒，但听起来还没有那么强大，对吧？
布鲁克·博雷尔：当然。是的，这是一个愚蠢的例子，但这类算法被用于自动驾驶汽车等领域，Netflix 使用它们来预测你可能喜欢什么电影。像 OpenAI 这样的公司也或多或少地使用这种方法来构建自己的产品，例如非常受欢迎的聊天机器人 ChatGPT 之类的产品。
因此，丹尼尔和其他签署这封信的科学家担心的是未来的一步，即通用人工智能（AGI）。
所以基本上，这是一种人工智能，可以独自完成地球上所有具有经济价值的任务——或者至少这是我在本集采访的专家们一致同意的定义。所以我们将坚持这一点。在 AGI 之后，我们可能会遇到称为 ASI 或人工智能的东西。那时它甚至超出了我们的智力能力。
丹尼尔·科科塔洛：在未来的某个时刻，我们似乎将拥有在所有相关认知任务上超越人类的人工智能系统。他们可以成为更好的律师，他们可以成为更好的程序员，他们可以成为更好的科学家，他们可以，更好……
布鲁克·博雷尔：记者？
丹尼尔·科科塔洛：记者们。你知道，就像经历所有不同的认知任务一样。在未来的某个时刻，人工智能系统在所有这些任务上都会比最优秀的人类更好。
也许它无法跳舞，因为它没有，你知道，腿。但是，所有你可以通过思考或说话来完成的类似任务，所有你可以在计算机上完成的任务，它都和最擅长的人一样好。ASI 或超级智能背后的理念是，它不仅与最优秀的人类一样好，而且还要好得多。
布鲁克·博雷尔：但它仍然不会跳舞。
丹尼尔·科科塔洛：但也许它仍然无法跳舞，因为也许它仍然没有腿。
布鲁克·博雷尔：好的。
丹尼尔·科科塔洛：不过，在这种情况下它可能会很快恢复正常。你知道，机器人是存在的，你可以建造它们并将它们连接起来等等。这在很大程度上是一种科幻小说的概念。然而，在不久的将来，这也将成为科学事实。
布鲁克·博雷尔：丹尼尔认为我们多久才能实现通用人工智能？
丹尼尔·科科塔洛：到 2027 年，可能性为 50%。这是我目前对 AGI 实现目标的估计的底线。
布鲁克·博雷尔：到 2027 年，50% 的人拥有 AGI™
丹尼尔·科科塔洛：到2027年底。
布鲁克·博雷尔：到那一年。
丹尼尔·科科塔洛：有人会拥有AGI。
布鲁克·博雷尔：那很快了。那很快了。
安娜·罗斯柴尔德：等等，只是为了确保我理解。这就是丹尼尔对我们何时创造通用人工智能的估计，但这并不意味着我们即将灭绝，对吧？就像我们可以做出一个好的 AGI 一样，对吧？
布鲁克·博雷尔：是的，就像一个不会杀死我们所有人的通用人工智能。是的，我愿意。所以我问他这个问题，他说他可以看到一系列可能性，但他的主要观点是这样的。
丹尼尔·科科塔洛：你知道，人类已经导致许多物种灭绝。几乎总是这不是故意的。这只是我们做自己想做的事情而实际上不太关心这些物种是生存还是死亡的副作用。因此，类似地，我想说，担心我们都可能因人工智能失去控制而死亡的原因是，如果我们的对齐技术失败，导致人工智能不特别关心我们是否生或死。
布鲁克·博雷尔：看到这里你可能会想，对齐到底是什么？
安娜·罗斯柴尔德：是的，我是。
布鲁克·博雷尔：我想到了，我想到了。这就是 Daniel 在 OpenAI 所做的一些工作，这是一个研究领域，其目标是确保算法与其创建者的意图保持一致。那么换句话来说，这个算法会服从它的人类霸主吗？
安娜·罗斯柴尔德：是的，这听起来很重要。
布鲁克·博雷尔：是啊是啊。因此，这里担心的是，如果我们认为我们的算法是一致的，但事实并非如此，我们相信它们会执行我们认为会以我们的最大利益为中心完成的任务，而它们却有其他计划，会发生什么。
丹尼尔·科科塔洛：一件事导致另一件事，然后你最终会得到这些非常强大、非常聪明的代理，你知道，他们对世界应该是什么样子有着不同的愿景。
布鲁克·博雷尔：他们掌控一切。
丹尼尔·科科塔洛：没错。然后，你知道，事情实际上不可能那么糟糕，对吧？这取决于他们不同的愿景，对吗？我也完全有可能认为，它不会涉及到这一点。然后你就会陷入全人类都被杀的场景。
布鲁克·博雷尔：Daniel 担心的一件事是，AGI 不仅会出现对齐问题，而且人类也无法解决这些问题，因为我们甚至不真正了解我们自己的算法是如何工作的。
安娜·罗斯柴尔德：等待。你在开玩笑吧？
布鲁克·博雷尔：是的，不。不。
安娜·罗斯柴尔德：这太疯狂了！这怎么可能？
布鲁克·博雷尔：我知道是香蕉。听听吧。
布鲁克·博雷尔：因此，如果我们正在构建这项技术——我们，你知道，计算机科学家，无论如何，正在构建这项技术——他们怎么会不知道它是如何工作的呢？
丹尼尔·科科塔洛：这里要说的主要内容是，我们现在正在研究人工神经网络。这就是现代人工智能。所以它有点像没有人编写的代码，而是不断演变或增长的。
布鲁克·博雷尔：需要澄清的是，神经网络是机器学习中使用的一种方法，其中的算法有点受到我们大脑中神经元的启发，然后它们在学习新事物时建立新的连接，就像我们一样。
丹尼尔·科科塔洛：所以，你知道，神经网络是从一个随机的包开始的，就像一个随机的意大利面条般的电路。因此，在大量训练结束后，你的电路包已经演变成一种在这种环境下非常有效地获得高分的形状。但你不知道它是如何做到这一点的。
布鲁克·博雷尔：基本上，计算机科学家可能知道算法是如何开始的。但一旦他们开始训练它——比如展示马匹或其他东西的照片——人工智能就会建立新的联系，并且开始识别模式。然后在某些时候，计算机科学家无法真正回过头来了解算法正在使用的所有路径，因为它太复杂而无法追踪。
丹尼尔·科科塔洛：有一个可解释性领域正在尝试设计更好的方法来利用这些经过训练的神经网络并理解它们在思考什么以及如何思考。但我们还没有做到这一点。
布鲁克·博雷尔：你认为我们什么时候会到那里？
丹尼尔·科科塔洛：我敢打赌，按照目前可解释性进展的速度，再过 10 年可能就足够了，你知道吗？这是我目前的猜测，但显然很难预测。
布鲁克·博雷尔：所有这些都是丹尼尔认为我们现在需要监管才能领先于通用人工智能的原因，记住，他认为这一发展只需几年时间。
布鲁克·博雷尔：对于那些认为技术远未先进到足以减轻生存威胁的人，您对此有何回应？
丹尼尔·科科塔洛：如果你认为 AGI 还需要 15 年的时间，那么真正对其进行监管还为时过早。我们只想看看情况如何发展，对吗？然而，我认为，如果您关注该领域正在发生的事情，您应该认为它很有可能很快就会发生。
[音乐]
安娜·罗斯柴尔德：布鲁克，我不得不承认，那次谈话让我比我想象的要害怕得多。就像，我认为丹尼尔认为发生灾难的可能性很小，显然，嗯，考虑到，你知道，
布鲁克·博雷尔：是的。他是我们的，他是我们的人。
安娜·罗斯柴尔德：但事实上，他认为有 70% 的可能性会发生某种可怕的灾难，我的意思是，这比我的预期要高得多。
布鲁克·博雷尔：是的，所以这个数字称为 P(Doom)，它是厄运的概率或灾难性事件的概率。
安娜·罗斯柴尔德：我的意思是，即使这听起来很可怕，P（毁灭）。
布鲁克·博雷尔：我知道，而且他的P(Doom)相当高。但在你扔掉你的电脑并搬到树林里的小屋或其他什么地方之前，我确实有一个人可以向你介绍一个持更乐观观点的人。
安娜·罗斯柴尔德：好的。惊人的。是的。那太好了。
[音乐]
布鲁克·博雷尔：所以今天的大问题是：人工智能会杀死我们所有人吗？
阿尔温德·纳拉亚南：我不得不说不。
布鲁克·博雷尔：我是阿尔温德·纳拉亚南。他是普林斯顿大学的计算机科学家，也是该校信息技术政策中心的主任。他的工作基本上是了解技术，特别是人工智能对社会的影响。值得注意的是，他并没有对 2023 年发表的那封大公开信表示叹息。这封公开信再次将人工智能视为流行病和核武器级别的威胁。
阿尔文德·纳拉亚南：在谈论未来之前，让我们先谈谈历史。70 年来，那些声称 AGI 即将到来、谈论 AI 末日的人都有错误的记录。
布鲁克·博雷尔：以 20 世纪 50 年代末早期神经网络的建立为例。
阿尔温德·纳拉亚南：《纽约时报》援引一些支持这一努力的人的话说，计算机很快将能够行走、说话、观看、意识到自己的存在、复制以及各种其他事物。过度乐观的预测由来已久。这不仅仅是他们在时机上的错误。从更深层次的意义上来说，他们错了。我们现在知道，人们当时使用的人工智能架构从根本上无法达到人类智能的灵活性，也无法达到对人类构成威胁的水平。那么为什么我们认为这一次他们是对的呢？
安娜·罗斯柴尔德：你知道，我在这里看到了阿文德的观点，这确实让我感觉好一点，但是，你知道，我们今天的技术实际上不是比以前好很多吗？
布鲁克·博雷尔：嗯，是的，也不是。因此，Arvind 表示，当今构建的最好的人工智能是大型语言模型之类的东西。这是机器学习的一个子类别，这些算法基本上可以生成文本。他们接受了这些大量基于文本的材料的培训。
安娜·罗斯柴尔德：是的，我以前听说过这个。
布鲁克·博雷尔：是的，例如，ChatGPT，这是大型语言模型的一个示例。他们简称为法学硕士。他认为，虽然法学硕士令人印象深刻，但他们实际上并没有那么聪明。
阿尔温德·纳拉亚南：语言模型的非凡之处在于它们相当擅长下棋。它之所以擅长下棋，是因为有数十亿局棋，实际上是数十亿局棋局，都是在线记录的。
布鲁克·博雷尔：因此，人工智能已经获得了所有这些预先录制的游戏的文本回顾，这就是它如何知道好棋和坏棋之间的区别。假设您改变了国际象棋规则，现在车在棋盘上的移动方式与以前完全不同。作为人类国际象棋棋手，他们将相当擅长适应这套新规则。
阿尔文德·纳拉亚南：而语言模型，它只是，它只是定性地、从根本上、绝对地无法做这种事情，对吗？他们只会受到训练数据中内容的强烈限制，而且他们无法像人们那样适应。
布鲁克·博雷尔：这适用于所有法学硕士，而不仅仅是那些专注于国际象棋的法学硕士。
安娜·罗斯柴尔德：好吧，好吧。但是，你们法学硕士或其他什么人，我的意思是，人工智能难道不会像我们使用它们一样学习吗？至少我认为他们做到了。也许我错了。
布鲁克·博雷尔：是的，根据 Arvind 的说法，我们今天使用的聊天机器人和其他人工智能工具实际上并没有从与我们的互动中学习。我的意思是，它们确实是，但不是实时的，对吧？在某些情况下，他们可能会从以前交互的静态数据库中学习，但即便如此，聊天机器人也只是依赖于该培训材料。他们并没有实时学习我们在计算机中输入的内容。
安娜·罗斯柴尔德：哦有趣。
布鲁克·博雷尔：是的，所以那些不这么说的公司，也许他们是在向你推销一些东西，也许让它听起来比实际更聪明一些。事实上，科学家们一直在尝试构建这些更灵活的人工智能，可以向用户学习，但到目前为止还没有奏效。
阿尔温德·纳拉亚南：因此，当你观察这种灵活性时，你知道，这些人工智能系统甚至还达不到幼儿的水平。
布鲁克·博雷尔：所以我不是计算机科学家或科学历史学家，但在漫长的历史中，这些进步似乎确实在加速。这不对吗？
阿尔文德·纳拉亚南：这取决于加速度的含义。当然，根据某种定义，加速正在发生。毫无疑问。所以，你知道，几十年前，大多数人谈论的加速是计算机时钟速度的提高。所以他们想知道这对人工智能意味着什么，你知道，越来越快的计算机，他们能够做什么？
但很快我们就意识到，更快的计算只能让你到目前为止，你需要新的方法。现在，有了语言模型，就可以向其投入越来越多的数据，从而实现加速。
但现在，公司已经将所有数据扔到互联网上的这些语言模型上，对吧？所以，观察这种加速度的更复杂的方法是所谓的堆叠 S 曲线。
布鲁克·博雷尔：想想字母 S 的底部。它开始呈指数上升，但最终趋于平稳。因此，科学家们开发了新技术，然后一条新的 S 曲线开始从那里上升。
阿尔文德·纳拉亚南：因此，当您站在任何一条特定的 S 曲线上时，总是感觉自己处于指数曲线中。总感觉您正处于历史上的一个特殊时刻。但自始至终，人们都感到自己正处于历史上的那个特殊时刻。
布鲁克·博雷尔：你认为如果我们真的达到了通用人工智能，那会是值得担心的事情吗？
阿尔文德·纳拉亚南：我不会说担心，但我会说，你知道，这对人类的影响将是巨大的，很难夸大。我所说的 AGI 是指能够自动化任何具有经济价值的任务的人工智能。而且你知道，根据定义，如果你能做到这一点，那么你就会拥有一个人们在技术上不需要工作的世界。
那么这可能是乌托邦或反乌托邦或介于两者之间的任何地方，对吧？所以，你知道，我们可能都有很多时间休闲和创造性的追求，而人工智能将为我们工作，或者人工智能将使我们所有人失业，而我们没有社会安全网，或者，你知道，还有其他的。结果也是有可能的。
我认为这主要是我们如何管理人工智能以及我们制定哪些政策的问题。这并不是技术如何运作的问题。
[音乐]
安娜·罗斯柴尔德：因此，Arvind 听起来好像我们应该更关心政策，而不是算法实际上可能会或可能不会变得有多聪明，对吗？
布鲁克·博雷尔：是的，没错。
安娜·罗斯柴尔德：好的。但是丹尼尔所说的对齐方式又如何呢？就像，我们实际上不知道这些东西是如何工作的，这仍然让我感到震惊。这看起来超级重要。比如，我们不需要安全措施来确保算法确实站在我们这边吗？
布鲁克·博雷尔：是的。是的。所以我保证我们一定会实现这一目标。我让 Daniel 和 Arvind 聚在一起讨论这个问题以及更多问题。
[音乐]
丹尼尔·科科塔洛：也许我应该做的是，我应该在预测未来时描述它。然后你可以在规划未来时描述未来，我们可以看到它们在哪里开始出现分歧。
阿尔温德·纳拉亚南：是的，让我们开始吧。
丹尼尔·科科塔洛：我想说的是，在未来几年的某个时候，我们将会出现类似自动化研究工程师的东西。
布鲁克·博雷尔：换句话说，丹尼尔预测，很快我们就会拥有可以编写代码的人工智能。然后他们将有能力帮助人工智能研究。
丹尼尔·科科塔洛：我认为这会加速事情的发展，所以你就会陷入这样的境地：哦，我们的人工智能助手非常擅长为我们编写所有这些代码。但他们不太擅长研究品味。比如，如果你告诉他们让研究过程自动化，他们最终会做一堆实验，而这些实验实际上并不能教会你太多，或者他们会误解他们正在做的实验。
布鲁克·博雷尔：但丹尼尔表示，大型人工智能公司将训练他们的人工智能，使其具有更好的研究品味。这就是选择正确的问题来解决、正确的东西来学习的能力，然后他们就能够完全自动化人工智能研究过程。
丹尼尔·科科塔洛：仍然没有通用人工智能，因为他们可能仍然不具备其他一些现实世界的技能。也许他们不擅长当律师。也许他们不擅长成为一名治疗师。
但他们已经解决了人工智能研究涉及的所有问题。现在我认为其中一家公司内部进行的人工智能研究的步伐将比今天快得多。至少快了 10 倍。
布鲁克·博雷尔：丹尼尔说，到那时，可能只是一个跳跃，跳跃，跳跃去学习其他技能，比如成为一名律师或治疗师。
丹尼尔·科科塔洛：这就是我对技术方面的发展的预测。就时间表而言，我想说从研究工程师的里程碑到我称之为超级智能的东西可能不到一年。如果 2030 年到来而这一切还没有发生，那么我就错了。好的，交给你了。你认为接下来的五六年会是什么样子？您认为未来十年会是什么样子？
阿尔温德·纳拉亚南：是的，里面有很多东西。让我们来解开它。所以你谈到的第一部分是自动化人工智能研究。我同意，在未来五年、未来十年里，这种情况发生的可能性很大。
我认为目前做到这一点的能力是垃圾。请原谅我的语言，但是对我来说，人工智能研究是最自动化的事情之一。这与我们讨论过的其他一些事情的复杂性相差甚远，比如成为一名医生或类似的事情，所以这就是我认为我的预测真正开始与你的预测出现分歧的地方，而不仅仅是就时间线而言，但在更定性的意义上。我的预测是，我们将发现其中一些社会因素是进一步技术发展的内在障碍。我认为从这位人工智能研究人员推断出数千种不同职业所需技能的能力是一个巨大的差距。
布鲁克·博雷尔：换句话说，这些东西在多大程度上能够适应我们人类能够完成的许多不同的基于思想的任务，这是有限的。
丹尼尔·科科塔洛：我认为，当你拥有自动化人工智能研究人员时，你将能够做出新的范式、转变。新的重大进展。这将带您更快地学习。例如，这与人类学习的速度相当。这样你就可以在工作中学习。
阿尔温德·纳拉亚南：所有这一切都是可能的。你知道，我无法从逻辑上论证这不可能发生。我的预测是这不太可能。
丹尼尔·科科塔洛：我很好奇，您相信我们会在 2029 年或 2030 年实现 AGI。
阿尔温德·纳拉亚南：这很简单。我的意思是，我只能给出一个上限。我愿意给出 1% 的上限。
丹尼尔·科科塔洛：百分之一。好的。
布鲁克·博雷尔：与丹尼尔非常不同。
丹尼尔·科科塔洛：嗯，这是一个很大的区别。是的。
布鲁克·博雷尔：丹尼尔，提醒我们你的是什么。
丹尼尔·科科塔洛：我说到 2027 年底达到 50%。所以我们会看看谁是对的。
布鲁克·博雷尔：如果我们都还活着，我们就可以在这里见面。开玩笑！
阿尔温德·纳拉亚南：对我来说，这只是一个上限。如果有人说，你知道，10 的负六，我会说这是完全合理的事情。我认为，10 的负六对我来说更可信。我认为，你可以更容易地让我相信 10 的负六的值，而不是 50%。
丹尼尔·科科塔洛：有趣的。但当我讲述我的故事时，你会说，是的，这是可能的。但你所说的“可能”是指 10 到负 6 的可能性，而不是 10% 的可能性？
阿尔温德·纳拉亚南：我的意思是，是的，我会说，也许发生类似事情的可能性只有 1%，但这只是许多需要发生的事情之一，我认为每一件事情都独立地不太可能发生。
布鲁克·博雷尔：我想问另一件事，你可能不同意。整个研究领域称为对齐，这基本上是确保这些算法服从我们并做我们想让它们做的事情。此外，还有可解释性的概念。你们能互相谈谈吗？我很好奇你们对此有何看法。
阿尔温德·纳拉亚南：我的立场并不是说它对安全不重要。我认为它们很重要，我很高兴人们正在研究这些，只是我不认为我们理解人工智能模型内部结构的能力应该是实现人工智能目标的关键路径。我们希望社会实现的安全目标。
布鲁克·博雷尔：Arvind 认为，我们应该像保护自己免受其他人类侵害一样对待人工智能安全。我们的大脑也是黑匣子，我们不能相信每个人的意图都与对人类最有利的事情一致，对吗？我们仍然有适当的系统来保护自己免受流氓的侵害。例如，我们在门上装锁。因此，他认为建立适当的系统和政策比确保每一个算法都能正常运行更重要。
阿尔温德·纳拉亚南：我们的干预措施不能针对人工智能模型和系统，因为我们无法控制对手正在使用的人工智能模型和系统。
丹尼尔·科科塔洛：我想说，在实现通用人工智能之前，我们实际上不必太担心失去控制。当我们不必太担心失去控制时，我们基本上可以将这些东西视为工具，问题是，谁拥有它们以及他们用它们做什么？
而且我认为，在这种制度中，答案是我们应该试图散布权力，以便并非全部集中在一小部分人中，以便社会可以逐渐开始调整和唤醒到新东西。
我还要说，我们应该尝试将其远离坏演员的手，但是我认为，正如您所说，这真的很难做到。因此，我认为这有点像，根据情况做出决定。但是我认为我们可能在同一页面上。我们也可能在Agi之后的同一页上。我不知道您说一旦我们真正到达Agi，我们应该做什么。
Arvind Narayanan：因此，只是要了解您的立场，是我们应该对扩散感到满意。
Daniel Kokotajlo：是的。
Arvind Narayanan：但是，一旦我们达到这个阈值，假设我们可以定义它是什么，那么我们必须进入一种新的治理方式，例如，世界上所有政府都团结起来并将AI拒之门外？好的。
Daniel Kokotajlo：嗯，实际上没有。因此，我认为当时我们的问题比坏演员更大。
Arvind Narayanan：好的。是的。是的。好的。
布鲁克·博雷尔：在我们击中AGI之前，一致性可能并不重要，但是在它变得越来越重要之后？你们俩都会同意吗？
Daniel Kokotajlo：我会这么说。是的。
布鲁克·博雷尔：和arvind？
Arvind Narayanan：否。我的意思是，我认为如果我们处于依靠一致性来确保我们安全的位置，那么我们已经迷路了。
布鲁克·博雷尔：好的。
Arvind Narayanan：我认为即使在阿格之后
Daniel Kokotajlo：那是，我喜欢那样。在Openai工作了两年，也许我太糟透了。也许在我们到达AGI后，我应该有更高的安全水平。
布鲁克·博雷尔：我想听更多。
Daniel Kokotajlo：如果我们不必依靠我们的Agi超级智能的一致性，那将是很好的，您知道吗？如果我们能为为什么这一切都很好，那就不只是我们以下面的方式训练它了，这真是太好了，因此它具有我们想要它的目标。然后，它将被放入世界并做各种疯狂的事情。但这会很好，因为它具有正确的目标。我认为您在说什么，Arvind，对吗？
布鲁克·博雷尔：因此，就在这里，Arvind开始谈论他小组的一些未发表的研究。
Arvind Narayanan：我们的基本想法是，超级智能已经假定失去控制。因此，如果您没有设计AI系统，以便您给它这种自主权，即使您甚至没有将自己置于有流氓权力寻求AIS的位置，我认为我们从在AI系统上的外部，而不是通过对齐方式修补模型，将确保它们不会上升到我们的定义构成独立的水平。
Daniel Kokotajlo：好的。好的。我很高兴阅读您的论文。
布鲁克·博雷尔：我喜欢我们达成多少共识。这听起来像是主要分歧之一是我们打算击中Agi。我很好奇，是否有任何中间立场，因为我们达到这一点时，还是有可能谈论的话，如果你们中的一个人预测这将发生从现在开始的几十年，如果有的话，也许在接下来的几年中？
Arvind Narayanan：我的直觉是，实际上，以多种方式获得政策同意可能比关于时间表或AGI行为的某些经验主张更容易。
Daniel Kokotajlo：好的。让我尝试一下。因此，我认为这实际上是您刚刚提出的一种大胆的说法。因为当我们对技术的巨大意义有如此不同的看法时，我们怎么可能就政策达成共识？
但是也许我们可以。我最近提倡的基本上是透明度要求。您知道，如果AGI即将到来，那么法律将迫使公司保持公众和政府的了解，并告知他们在AGI方面的进步有益于传播权力，并帮助所有人醒来并意识到这是在发生之前发生的一切。太晚了。
Arvind Narayanan：是的，如此强烈支持透明度。我认为他们对我关心的世界非常有帮助。
布鲁克·博雷尔：我很想知道您对您将如何在国际层面上处理的想法，因为当然，在一个国家内，也许这很容易做到。但是，如果我们谈论可能在全球影响我们的这些技术，如果一个国家的做法与另一个国家的秘密性更大，更秘密地做事，那会发生什么呢？
Daniel Kokotajlo：因此，在这里我想看到的事情发生。而且，您知道，我说厄运的机会有70％。但是那里有30％。就像，我可以看到这可能会很好。
世界有点像在一起，负责任地处理它。这是一个可能发生的例子。至少在美国，我们得到的透明度要求以及所有主要的领先公司需要使公众和政府对其进步进行最新消息。不一定会显示其算法或类似秘密的算法，而只是说，这就是我们的系统的能力。
布鲁克·博雷尔：他的希望是在美国发生的事情将对发生在国外发生的事情产生重大影响，因为至少目前，主要的AI公司驻扎在这里。
Daniel Kokotajlo：如果通知公众，我认为很有可能会有一个很好的大型公众对话，各种兴趣团体将彼此争论，并且将达成某种交易，以了解如何如何处理。以一种更民主的方式管理这种事情，许多人可以权衡它。不仅是科技公司，而且不仅是行政部门，曼哈顿项目类型的人。
布鲁克·博雷尔：Arvind，您怎么看？
Arvind Narayanan：是的，我的意思是，这听起来对我来说都是合理的。我认为在任何事情上进行国际合作将很难，但是，您知道，到达那里的先决条件是公众的支持，显然，这是公众关注的问题。无论是什么类型的监管制度，您都在考虑为透明度提供支持，无论它多么困难，都比让某些非类型组织实际控制AI开发更容易。你知道，似乎值得拍摄。
Daniel Kokotajlo：我希望直到我们已经处于巨大危机中，才能达成重大的国际协议。但是危机有一种激励这些事情的方式。
布鲁克·博雷尔：我还有一个问题要问。我很好奇你们两个同意的同意比您预期的要多。
Daniel Kokotajlo：是的。
Arvind Narayanan：是的。
布鲁克·博雷尔：您认为这给您带来了任何希望吗？因为这已经成为一场非常激烈的辩论，尤其是在网上，也成为其他论坛。这会让您对未来的这类辩论提供希望吗？
Arvind Narayanan：我想是的。是的，我认为许多两极分化是社交媒体的工件。
布鲁克·博雷尔：然后，当我们结束时，发生了一些非常甜蜜的事情。
Daniel Kokotajlo：非常感谢您，Arvind，这比我预期的要愉快得多，而且我的期望很高。如果您想之后见面并谈论内容，我将对此非常感兴趣。
Arvind Narayanan：听起来很棒。是的。在我的角度上，谢谢你，丹尼尔。我不得不承认，我有点抖动，大约是70％的P（厄运）。我担心这将是充满弥赛亚警告的对话，但我认为这真的很有趣。我们谈到了物质，并确定了分歧的来源。
布鲁克·博雷尔：看看这个。您认为这将是一场辩论，现在每个人都在结交朋友。太好了。
Daniel Kokotajlo：是的。太好了。
[音乐]
安娜·罗斯柴尔德（Anna Rothschild）：哦，我喜欢那个。这让我感觉好多了。
布鲁克·博雷尔：不是吗？
安娜·罗斯柴尔德（Anna Rothschild）：是的。
布鲁克·博雷尔：好吧，所以我有一个大问题。当您以AI杀死我们所有人而开始这一集时，您感觉如何？你现在感觉如何？
Anna Rotschild：正确的。因此，我要说的是，我有点假设AI要杀死我们所有人的说法是有点夸张的。就像，对我而言，这似乎太多是科幻反乌托邦，你知道吗？所以我想我的P（厄运）很低。
布鲁克·博雷尔：是的，是的。很低。
安娜·罗斯柴尔德（Anna Rothschild）：是的。嗯，但是我知道我对这个话题一无所知。因此，从听到丹尼尔（Daniel）嗯（UM）的p（厄运）开始，这比我想象的要恐怖。就像，我以为高p（末日）大约是20岁。你知道，类似的东西。但是，话虽如此，您知道，听到他们两个人说话并找到很多协议点实际上使我感觉好多了。所以我想也许我比开始的地方更加害怕。但是，以某种方式使我感到，您知道，更像是一个更有信息的公民。我觉得我实际上可以采取AI政策。
布鲁克·博雷尔：伟大的。我这里的工作已经完成了。
安娜·罗斯柴尔德（Anna Rothschild）：好的。
布鲁克·博雷尔：因此，起初我感到更加紧张。我认为我的P（厄运）可能比您的P高。不达到丹尼尔（Daniel）的P（厄运），而是比您的水平更高。我现在确实感觉好多了，但是我仍然不确定我们是否真的有政治意愿对AI做任何事情。
没有联邦法规确实以任何重要的方式看待这一点，并且关于该技术的发展，最近在加利福尼亚州提出了一项提议，该提议将颁布此类法律，但已关闭。
安娜·罗斯柴尔德（Anna Rothschild）：哦好的。
布鲁克·博雷尔：是的。而且我们也没有在这一集中介绍很多担忧，对吗？就像现在正在发生的实际事情一样。有关服务器和劳动问题的环境问题。而且，如果我们确实达到了这些聊天机器人或其他AIS能够工作的地步，那么如果它们来从事工作，我们是否会获得普遍的保证收入？正确的？
安娜·罗斯柴尔德（Anna Rothschild）：正确的。
布鲁克·博雷尔：但是，当涉及AGI，并且像他们在那封大的公开信中所说的存在威胁一样，我确实会好一些。我觉得，实际上真正参与这个世界的人似乎有一些更常见的基础，可以在这些激烈的对话中真正获得有趣的地方。
安娜·罗斯柴尔德（Anna Rothschild）：是的，我的意思是，我确实认为两个具有不同观点的人可以团结在一起并真正同意并想要喝咖啡的事实，这确实使我觉得自己有希望，您知道吗？
[音乐]
布鲁克·博雷尔：是的。让我们结束希望。
安娜·罗斯柴尔德（Anna Rothschild）：完美，是的，让我们结束希望。这是由Undark Magazine带给您的这一集的纠缠事件，该杂志由麻省理工学院的Knight Science新闻计划出版。
布鲁克·博雷尔：该节目是由Undark副编辑Jane Reza对事实进行了检查。我们的制作编辑是Amanda Grennell，Adriana Lacy是我们的观众参与编辑。特别感谢我们的总编辑汤姆·泽勒（Tom Zeller Jr.）。[电子邮件保护]
安娜·罗斯柴尔德（Anna Rothschild）：感谢您的聆听。下次见。
[音乐]