人工智能会造成什么危害，我们该怎么办？

写了封面故事用于雅各宾杂志的AI的特刊，这解释了左派应该如何思考新技术带来的风险。他最近还为纽约时报一个 关于AI安全，并为时事关于迷幻药物和麦肯锡。驻军加入今天讨论AI可以造成的真正危害，为什么不能相信大型技术自我调节，以及我们如何避免噩梦般的未来。

内森·罗宾逊

您之前曾写过有关我们的许多主题。您写了关于迷幻药和在麦肯锡的经历的文章，但您最近写了很多关于人工智能的文章。您为什么认为AI的主题如此重要，以至于您愿意花很多小时的研究和写作来掩盖它？

驻军可爱

自大学以来，我对AI感兴趣。我只是认为这真的很有趣。与其他事物有许多交集。有意识，智慧和思维的技术问题。然后是一个问题：如果您构建了可以以戏剧性影响世界的系统，它们将拥有什么价值？戴维·查尔默斯（David Chalmers）将所有政治哲学问题都概括为一个话题，我一直认为这很有趣。然后，一旦Chatgpt出来，写作就变得非常热。我个人坚持写这篇文章，因为我没有技术背景。我认为其他人可以做得更好。但是一旦我看到了许多新闻的平均质量混合了为公司重新发布的新闻稿，或者将技术本身驳回我认为希望我能做得更好。

我认为这只会成为一个话题的重要性。我认为，即使您对与人类情报相抗衡的AI系统的思想不屑一顾或怀疑，这种信念已经激励了很多决策，我认为我们现在正在进入AI竞争的新阶段过去几年以企业间的竞争为标志，例如Openai和Google和Anthropic等市场上的市场。现在，我们正在陷入这种类似文明的叙事的冷战冲突。美国正在投资数百亿美元的芯片制造业和进行出口控制，以确保中国无法使用某些半导体。我认为，这种框架可能是21世纪最危险的想法。

鲁滨逊

让我们更多地谈谈我们与AI谈论的内容。您在那里说，您认为许多新闻业都是公司的新闻稿，要么是对该技术的不屑一顾。因此，要认真对待这项技术，您看到的突破是什么样的，我们正在迈向的事情是什么？

迷人的

我认为使用AI，这个词甚至意味着什么，这是有很多争议。有些人不喜欢它作为一个术语，尤其是在左边，他们认为它是营销或其他。因此，当我谈论AI时，我通常会谈论由深度学习提供动力的系统，这是一个多层神经网络，您将一堆数据馈送到算法中，然后从数据中学习并产生更好的输出随着时间的推移反映数据。在某些方面，AI的所有最新发展实际上都是彼此相关的。

深度学习的这场革命始于2012年，人们意识到我们具有足够的计算能力和算法来利用以前不可能的大量数据。在此之前，神经网络和深度学习被视为死胡同。然后在2012年，有一场竞争，Imagenet，由Geoffrey Hinton，Ilya Sutskever和Alex Krizhevsky（称为Alexnet）赢得了深层学习驱动的系统。对于AI的这种方法，这是一个出现的时刻，从那以后，实际上所使用的计算数量大大增加了，芯片的数量以及他们可以执行的操作数量，数据的数量，数据量也融入了这些系统，还可以算法改进。因此，所有这些都大大提高了性能水平。在图像识别，图像生成，笔迹和阅读大量事物之类的事情中，AI系统从比人类绩效差的时间到匹配或超过人类绩效所需的时间，随着时间的流逝而崩溃。这导致Chatgpt是最著名的事情，这既是这一趋势的结晶，又是该行业中许多人的最大惊喜。

实际上，事情的发展速度比许多专家所预测的要快。您可以查看人们认为AI系统会在国际数学奥林匹克运动会上获得金牌表现，或者他们在某些基准测试中的表现如何，并且他们始终被低估了进展的速度。对我来说，最有趣的是，如果它继续继续对整个世界产生巨大影响，那就是能力的发展。

鲁滨逊

还是加速？

迷人的

是的。很多人担心或感到兴奋的是，如果您制造了能够自动化AI研发块的AI系统，该怎么办？已经有证据表明这正在发生。是否在完全自主的层面与碎片零件很重要，但是自动化科学和技术研究和开发是一件事情，如果您这样做，您可以想象功能很快就会大大增加。

鲁滨逊

我们在谈论一件事，但也很多事情。您所谈论的广泛类别是由深度学习提供动力的事情，但是应用程序是无限的，我们看到的力量在许多不同的领域中都是巨大的。我开始尝试图像生成器，并完全着迷于它们如何迅速改善。Dall-e的早期一代只是丑陋的废话，然后它们变得越来越快地变得越来越好。然后，我开始尝试音乐发电机，这完全令人着迷。他们只是在创建与1920年代录制的音乐没有区别的事物方面非常强大，但是您写了您写的歌词，然后进行自定义修改。但是，很多人会看到深击，以及确定真实和假货是多么困难。因此，人们可能已经看到了许多不同的应用程序，即作为AI的广泛混合在一起。

Chatgpt显然可以做许多不同的事情。您可以对此进行辩论，并要求它占据一定的位置。您几乎可以询问世界上的任何东西，它将提供一个相当不错的答案。您认为最令人担忧或令人震惊的应用程序是什么？显然，当Chatgpt提出有趣的食谱或制作唐纳德·特朗普的愚蠢照片并不令人担忧。您可以说，对我来说，它的越好越好。您认为我们的注意力应该在哪里？

迷人的

我想这取决于时间表。人们对幻觉有很多关注：这些模型的问题基本上只是弄乱了。最近有一个新闻报道，讲述了Chatgpt在医院中使用，并幻觉患者笔记或对话笔记，这是一个很糟糕的结果。因此，某些领域是这些系统还没有准备好，并且在基础技术中可能确实存在很难的问题，而下一步的标记预测作品的方式将永远无法解决或完全准确查找表的系统工作方式。 

鲁滨逊

您在旁边和查找表旁边使用了一点行话。

迷人的

ChatGpt和其他这些语言模型的基本方法是，如果您给他们一个单词，他们将尝试预测序列中的下一个单词。除此之外，还有一些修改，但这是基本的事情。您询问了事态发展。它和它一样起作用的事实非常出色。它解决了这个问题，过去，要训练一个大型的AI系统，您必须将其馈送大量标记的数据。因此，这是一张猫的照片，它在下面说了猫。而且大多数数据没有标记。这只是非结构化的文本，图像和视频以及互联网上的任何内容。通过提出一种消耗整个Internet并通过下一个单词预测做有用的方法，语言模型可以大大增加他们可以使用和实际学习的数据量。

然后是查找表：经典数据库的工作方式是您以搜索术语列出，或使用语言查找特定的信息，这非常可靠。它找到了信息，然后将其呈现给您。Google搜索以这样的方式工作。然后，当他们转移到AI生成的结果时，就有所有这些问题。我认为，对于这种类型的事情，这只是现在的用例。我不知道将来会怎样。我不会说这对这种类型的用例永远不会有用。我担心并担心的东西是致命的自动武器，例如杀手机器人。在乌克兰已经有报道说这些用途。以色列使用了一个名为薰衣草的计划自动产生目标，这与平民死亡的大量增加有关。

当然，在当前战争的背景下，我认为无论他们使用哪种系统，都有很大的机会发生。我认为，国家之间将有竞争压力，要求他们越来越多的武器自动化。人们谈论在循环中拥有人类，但是当您的对手正在这样做或当您认为他们会这样做时，将会有很大的压力将其从循环中删除。因此，我认为这将继续是一个问题。它对稳定的威权政权有影响，这些政权下降的一种方式是士兵拒绝向平民开火，但是如果您的“士兵”是完全忠实的杀手机器人，那是一个截然不同的情况。

然后，我认为一件大事是软件工程的自动化。您可以开始进入此反馈循环的速度。这也导致潜在的大规模安全漏洞。因此，如果Chatgpt，Gemini或Claude正在生成大量的代码，这开始发生，那么该代码中可能会出现系统的错误，人们缺少人们引入可能在许多系统中应用的漏洞。然后，对于更多的科幻问题，如果实际上有一个超级智能的AI系统，它正在编写我们的程序的很大一部分，而人们并没有充分审查或了解该代码，那么可能会安装后门代码。然后，随着生物武器开发的发展，这些系统开始显示能够帮助人类专家开发生物武器的迹象。

鲁滨逊

例如，使人类免受完全灾难的安全性的一件事是，对于个人而言，在我们的卧室或我们的车库里，有一个很高的障碍，这是一个很高的障碍开发一种病毒，会导致在互联的水平上引起大流行，甚至更糟，例如黑瘟疫。感谢上帝，这不可能发生。感谢上帝，很难做到这一点。因为正如我们从共同的大流行中所知道的那样，它被释放出来时，很难停止。现在，您或我在我们的车库里开发核武器的情况并不容易或可能。有很多人不好演员无法做的事情是很好的。但是，随着AI的进一步发展，并将大量的智力能力掌握在每个人的手中，如果我拥有一千等于一千个科学家的大脑，或在我的计算机上为我工作的100,000个科学家，那就是而是改变了做可怕事情的能力的分布。

可爱 

我认为是的。而且我认为AI在某些方面是最终的双重用途技术，在这里，它擅长的事物在不好的事情上密不可分地束缚了。而且，如果您认为当前构建AI系统的方法从根本上存在缺陷，并且不会让您进入非常有能力的系统或自动化科学，那么您担心某些问题，也许更像是偏见或监视或劳动自动化的问题更狭窄的域。正如我们所讨论的那样，这些都是真正的问题，但是中等至长期的问题是AI是否继续进步和改变各种行动的经济学，并使其成为一百万的人可以具有开发新的生物武器的技能与GPT-6之类的东西。借助核，这些材料是那里的主要瓶颈，因此我对此不太担心。

鲁滨逊

感谢上帝 

迷人的

我们很幸运，这很困难。

鲁滨逊

因为如果地球上的材料分布不同，那么有趣的是，有多少取决于任意或脆弱的事物。

迷人的

完全。我们在很多方面都很幸运。然后，就其他要寻找的事情而言，还有一项有关AI模型的劳动自动化的新研究，就在GPT-4级别。过去有很多研究因如何自动化工作而被夸大了。我认为这在很大程度上是没有被淘汰的事情，但是无限期地依靠这是错误的。在某个时候，将会有大规模的自动化，我认为我们的社会不是为此而建立的。我们的福利状态尚未为此建立。有趣的是，这些公司明确试图建立使人类过时的东西。Openai的目标是做可以取代大多数工作的事情。这就是他们所陈述的明确目标的含义。无论他们是否可以做到这一点，这仍然是一件非常大胆的事情。您正在尝试做大多数人不想让您真正做的事情，如果您问他们。

鲁滨逊

实际上，这很奇怪。你在你的雅各宾作品和其他地方是一种技术优雅主义者，对此的立场是将其带入一个充分的时代并基本上解决了所有人类问题。但这将通过做一些令人震惊的事情来解决他们，也就是说，破坏了我们拥有的每种社会和经济结构的整个结构。

迷人的

是的，建立这项技术想要的世界与我们所居住的世界完全不同。我们现在生活的世界与工业革命之前的世界完全不同。从许多方面来说，这要好得多。因此，他们会想，看看，如果我们能拥有丰富的物质，使世界上的每个人都生活在当今百万富翁生活的水平，疾病被消除，绿色能量丰富，我们可以生活在这种水平上，我们可以生活在这种水平完全自动化的奢侈品共产主义乌托邦是许多经营这些AI公司的人的梦想的下限。然后，上限就像《文化系列》一样，这是伊恩·班克斯（Ian Banks）的一系列科幻书籍，它是一种非常艰难的类人类主义的乌托邦，这是一种自由主义的社会主义世界，人们的大脑可以生产毒品，使其产生毒品惊人的经历和人们只能通过思考就能过渡性别。这是一件非常激进的事情，但是在那个世界中，人类并没有真正控制。它们有点像宠物。我不知道我是否想成为宠物。

鲁滨逊

您用写的作品指出的令人难以置信的事情之一是，许多从事此工作的人认为这会导致灾难。实际上，您从Openai的Sam Altman本人那里有一句令人难以置信的报价，他说，在他成立公司之前，AI很可能会导致世界末日，但与此同时，将会有伟大的公司。这很棒。关于该报价的有很多要分析的东西。

迷人的

太神奇了。它以这种欢乐的方式说，人们在视频中笑了，但他在其他地方说了其他类似的话。我认为这确实反映了他的观点，或者至少在当时确实如此。有趣的是，他不再以这种方式讲话。这些家伙实际上并不相信灭绝风险的东西，有一个叙述，尤其是在左边。在特定的例子中，以这种方式使用了这种叙述。但是我认为山姆越来越接近权力和盈利能力，值得注意的是，关于下行风险的说法较少。他在AI上的最新著作是这篇简短的博客文章，他谈论的唯一下行风险是大规模失业。他说，在去年的播客上，我认为我们不会灭绝。也许他的观点实际上已经改变了。但这也很方便，现在他是最接近将其带入世界的家伙，他以这种方式思考或现在这样说话。

罗宾逊 

好吧，作为AI的左派分析师，您写的一件事是开发技术的机构的结构，以及利润动机和竞争对技术的发展的影响。您谈论的是，您如何知道，当它是营利性公司这样做时，会有不好的激励措施，因为左派人士知道利润动机的作用。在米尔顿·弗里德曼（Milton Friedman）的故事中，追求自身利益会创造出最好的世界，因为如果对他们不利的话，没有人会购买您的产品。我们知道，作为左派主义者，实际上，有一些不好的激励措施。

您写的那些激励措施之一是风险和成本的外部化。也就是说，该公司希望获得所有的好处，并将其付出的成本推动，如果它是一家污染公司，如果它是化石燃料公司，则可以将其带入其他所有人，并获得所有收益。您还在其中一个作品中有一句话，有人说，如果有害，我们不会建造它，这是对资本主义的另一种经典辩护：如果公司的产品确实有害，他们就不会建立它们。那么，您能谈谈资本主义机构在这方面的作用吗？

迷人的

我认为您很好地总结了它。基本思想是，建造强大而又代理的东西是有利可图的，安全花费金钱和时间。并且有一些营销好处。您想让自己的模特不说种族主义，或者显然以某种方式表现不佳，因此这些公司将在这些模型中投资一定的信任和安全。但是，如果您认真对待这些风险，则需要进行实际的安全研究水平，这将需要将大量的计算，工程和科学资源投入到问题上。

一个很好的例子是Openai。去年七月，他们成立了这个团队超级对象。前提是，我们必须弄清楚如何将超级智能的AI系统与人类价值保持一致。这是一个未解决的问题。我们不知道该怎么做，我们必须在四年内完成。截至目前，我们将把20％的计算专用于这个问题。一年后，球队解散了，两个人都跑了团队。其中一个投票决定解雇山姆·奥特曼，然后取消投票。另一个人抱怨说，安全性在门外的产品和商业激励措施中倒退。

然后有一份报告说，他们甚至从未得到他们首先承诺的20％的计算。随着比赛的加剧，这只会变得更糟。我在这些公司中的一家公司中与某人交谈，他们就像，我认为这些公司做出安全实践的自愿承诺足够好，直到您真正接近人级AI和然后，一旦您接近这一点，事情就会崩溃并崩溃，因为首先的动机是如此强大。不过，我只想说，我认为资本主义竞争最近是许多危险做法的驱动力，但是我认为长期或元驾驶员通常就像一般的竞争。因此，这可以在公司之间，也可以是在国家之间。而且我认为，一旦您进入民族国家水平，它就会变得更加恐怖。

鲁滨逊

战争的风险和这些新技术在战争中的作用是在短期内使我感到恐惧的事情。因为首先，我们已经看到了第二次世界大战的第一次世界大战。在第一次世界大战之前的几年中，没有人想到可能发生在这种规模上的战争。发生的事情是，国家试图在一场大火中互相摧毁，鉴于当时的技术，这是一个惊人的恐怖。

当然，第二次世界大战要糟糕得多，部分原因是该技术更糟。因此，如果各国决定致力于杀死尽可能多的彼此，那么您拥有的技术将确定如何进行的规模。显然，在核武器时代，大规模谋杀的能力是如此之大。

但是我确实相信核武器对核大国之间的战争产生了强大的抑制作用，因为我们都知道这将导致最终的自我毁灭。但是我也不认为这是可以保证的，以及AI所带来的不确定性水平，就像您想到杀手机器人的想法时，听起来很愚蠢且像科幻小说一样，但是我看到了埃隆·马斯克（Elon Musk）最近证明的人形机器人。我对此感到非常震惊。我的第一个想法是，当他们给那件事作为武器，他们会的，以及当您给出灭绝村庄的指示时会发生什么？它将灭绝村庄。没有道德上的疑虑，没有人类的思想。特别是当您介绍生物武器元素时。因此，正如您所说，不幸的是，AI时代也与世界上大国之间紧张的时代相吻合。

可爱 

在某种程度上，这激发了这种紧张感。我认为您那里有两个大件。一个是AI和技术更广泛地可以增加武器的破坏性潜力。而且我看到至少有一个估计，根据某些假设，您可能拥有AI驱动的无人机，其每美元比核武器更具破坏性，并且更具针对性。而且，如果您认为自己可以拥有这些东西而不是开始第三次世界大战，那么您可能会更想使用它们，这很有风险。

这导致了第二点，那就是这项技术可能会非常不稳定，这是您的对手即将获得的东西，这些东西将在战场上或在地缘或经济上，或者只是在战场上具有决定性的战略性和无限优势如果它实际上做了助推器想要做的事情。如果它确实使科学和技术自动化，然后是社会的所有其他地区，并且您一年或某些东西会获得1000％的经济增长，那么世界将在一夜之间发生变化，这将带来大量的影响和后果对民族国家以及成为人类的含义。我认为我们所生活的世界并不为这种变化的水平做好准备。然后，首先建立人工通用情报的人将无限期地统治未来的想法。它以极其危险的方式使赌注存在。

罗宾逊 

在我看来，即使是对人工智能能力的怀疑论者也必须承认我们面临巨大的风险。每个人都看到了深击。每个人都认为产生谎言的能力很大。因此，正如您提到的那样，怀疑论者现在谈论诸如偏见，监视，自动化等之类的事情。确实，我们正在谈论这项技术是会引起大规模的破坏还是巨大的风险。巨大的风险或巨大的风险，我们不知道答案。这是未知的，这是令人恐惧的事情之一。

我认为，我现在比我更了解，在Chatgpt出来之前，为什么像您这样的人想对实施这项新技术的潜在弊端非常关注。我看到，无论您是否怀疑，无论您身在何处，这都是一个非常严重的问题。因此，我想通过谈论您在此处写的内容来总结纽约时报在其他地方，我们在监管政治响应和未得到的方面所需要的东西。当存在不良的资本主义激励措施会产生令人难以置信的风险时，这就是国家必须介入的时候。国家基本上是唯一的演员，除了可能组织良好且激进的联盟外，可以控制公司行为。因此，请告诉我们更多有关缺失的政策响应的更多信息。

可爱 

在美国，AI和软件在很大程度上不受监管。这是一场历史事故。就像计算出现在现场时一样，我们刚刚摆脱了一种基于行业的监管方法，但是在硅谷的许多人将其视为所必需的，这就是应该的情况。因此，在美国，AI的管理方式是通过一系列自愿承诺，在这些承诺中，公司承诺将进行某些安全测试，网络安全惯例，审计，并同意与政府机构共享其数据及其模型，以进行预释放的测试。但是没有任何惩罚。没有牙齿迫使他们真正这样做，这是一个问题。您只是按照这些公司的好话来接受它。然后，对监管怀疑论者的人会说，好吧，我们不知道如何规范这项技术，这是如此新。生成的AI，Chatgpt，至少在我们所说的规模上已经两年了。但是AI（技术）年龄要大得多，我认为您可以使用一些监管框架灵活的框架，并允许该行业与政府标准设定的组织一起提出最佳实践。而且您说您必须遵循这些最佳实践，如果不这样做，那么您会因模型所造成的损害而陷入困境。那是加利福尼亚州SB 1047的基础。

我在纽约时报是针对AI员工的举报人保护的情况。这些公司的员工将对公司是否在做冒险的事情有第一手了解。目前，他们可以进行安全测试，然后发现该模型很危险，然后可以进行不同的安全测试，直到达到结果表明该模型安全的结果为止。如果员工知道这一点，并想告诉公众或告诉政府，他们将不会受到法律保护。他们会冒着职业的冒险。他们将通过这样做冒着违反其不公开协议的风险。因此，我认为我们需要专门为这些公司的员工以及有权访问此信息的任何人提供保护措施，以便他们可以挺身而出并通知人们。最终，我认为您需要制定国内法规，以达到美国和中国之间的双边协议，这是这项技术的两位领导人。我认为您需要做所有这些事情，然后才能希望达成某种强大的国际协议，以管理这项技术的开发和部署。

从某种意义上说，这是乌托邦式。很难看到这种情况是如何发生的，尤其是在当前的地缘政治气候下。但是我认为，替代方案是一场疯狂的竞赛，可以建立更强大，更自主的技术并将其部署在更多的领域中而无需确定安全性的情况下 - 另一个人不会安全地做到这一点，因此我们需要急于到达那里。它看起来就像是导弹差距和核武器的积累。

罗宾逊 

好吧，我会在乌托邦的特征上与您不同意。我认为我们不应该以这种方式来表征它，因为在冷战高峰期，我们有能力与苏联达成武器控制协议。有一个相互的理解是，我们不能完全失控地螺旋式赛车。Even Ronald Reagan understood that to a certain point.

Lovely  

Yes, I think the main difference is that there was a widespread belief, at least by the end of the Cold War, that a nuclear war could not be fought and could never be won. I think Reagan said that. And the world, after an exchange between the Soviet Union and the United States, would be just unrecognizable and horrible, something that nobody wants. But with AI, there are two broad buckets of risk that people worry about with very advanced systems. One is misuse risk, which is when somebody uses it to do something I don't want. This will depend on your perspective. And so if you're a U.S. hawk, you're worried about the CCP building superintelligence and using it to take over the world and make it all communist or something. That would be a misuse risk. And then if you're China, maybe you're worried about the United States using superintelligence to fully be the hegemon of the entire world and force regime change. And that's a thing that people are calling for in the United States, so that's pretty scary.

But then there's this second bucket of risk, which is loss of control. And this is the idea that if you build a system that is truly more capable than humans, you cannot guarantee that you will control that system, and it may be that nobody wins, that we are like an anthill in the way of a hydroelectric dam project—maybe the AI doesn't care about us being there or not, and we just get swept away when the dam is built anyway. I'm borrowing that from Stephen Hawking. That's a real concern, and I don't think anybody has satisfactorily addressed it. And I don't think there's some technical solution where, if you do this thing, an arbitrarily powerful AI system will do exactly what you want. Nobody serious thinks that's happened, and yet we're trying to build these things. And so that kind of framing—that we are all in this boat together, that this is an issue of global security, not national security—I think that framing and that understanding needs to permeate the power centers of the world for us to have a chance of things going well.

Robinson  

You mentioned earlier the piece of California legislation that was ultimately vetoed by Gavin Newsom. And just to conclude here, I think that the thing that causes it to seem utopian that humanity could address this problem in a rational way is, in part, the fact that people like the governor of California, the state where a lot of this stuff is being developed, doesn't understand the technology, doesn’t take seriously the risks around it, and a pretty blasé about it. And so that's why I appreciate the work that you're doing. Obviously, step one is to try to get the people who are in a position of power, and thus responsibility, to understand that we are dealing with something that is quite real and dangerous. Coming with a path towards the safe continuation of its development is pretty urgent. 

Lovely  

Yes, I think if Gavin Newsom believed that there was a high chance, or even a decent chance, that AI systems would cause a catastrophe of the sort that the bill was aiming to prevent before he runs for president, I think he would have maybe not vetoed it. And so there is this real gap in what people believe. This is inherently speculative, and we don't know for sure what these systems are capable of and what they will be capable of in the future. The major problem when you're addressing any kind of risk is that, if you do a good job of addressing the risk, you might just see the risk never materialize, and then people will be like, this was all unnecessary. To quote somebody, you can't do a press conference in front of a pandemic that never happened. And so I think that the way I imagine some kind of robust AI regulations happening is there's some smaller scale disaster—there's some kind of wake-up call, where an AI system behaving autonomously or used by a bad actor causes a lot of harm, and then people actually act. And in that world, is the regulatory response going to be more thoughtful and well-reasoned, or is it just going to be a reactive and a band-aid solution? But I think that's the world that we're trending towards.

Robinson  

Well, it strikes me that there are few downsides to taking safety seriously. Because, as you say, if the risks never materialize, great.

迷人的

The kind of trump card is the China thing. The argument that you're seeing from Sam Altman and Dario Amodei, who leads Anthropic, is that this is about democracy versus autocracy, and we have to both invest in our domestic capabilities to produce enormous numbers of chips and more energy and data centers and not spend too much time on safety. We got to race forward as fast as possible, and the bigger the gap between us and them is, the more we can afford to take safety seriously. But once you set up this whole system to race forward as fast as possible and you don't actually have insight, you're not going to have perfect clarity into what your rivals are doing and what they're capable of. And so, we're just on the cusp of building this thing that could be the dominant super weapon forever, and we're going to slow down now and take safety really seriously—that's hard to imagine in the way we've set things up.

Transcript edited by Patrick Farnsworth。