“人工智能教父”说我们不能犯错

杰弗里·辛顿 (Geoffrey Hinton) 是世界上人工智能领域最伟大的思想家之一。他获得了2024年诺贝尔物理学奖。他认为人工智能将走向何方？

杰弗里·辛顿,与约翰·霍普菲尔德 (John Hopfield) 因“通过人工神经网络实现机器学习的基础发现和发明”而荣获 2024 年诺贝尔物理学奖。与两位合作者共同荣获 2018 年图灵奖，该奖通常被称为“诺贝尔奖”计算奖。– 2013 年至 2023 年在 Google 深度学习 AI 团队工作。多伦多大学。

第一部分

梅格纳·查克拉巴蒂：2024 年，杰弗里·辛顿 (Geoffrey Hinton) 获得了诺贝尔物理学奖，这一奖项让他有些好笑，我们稍后会听到。诺贝尔委员会授予他奖项，表彰他通过人工神经网络实现机器学习的基础性发现和发明。

他与约翰·霍普菲尔德分享了这一荣誉。此前，2018 年，Hinton 和另外两位长期合作者 Yoshua Bengio 和 Yann LeCun 还因其在神经网络方面的工作而获得了图灵奖，该奖通常被称为计算机界的诺贝尔奖。辛顿的工作非常基础，以至于他被认为是从人工神经网络中出现的改变文明的技术的教父。

换句话说，他被称为人工智能教父。2013年至2023年，Hinton教授在谷歌深度学习人工智能团队工作。他目前是多伦多大学的名誉教授。鉴于他在人工智能发展中的杰出地位，当你听到杰弗里·辛顿还说他所创造的东西有可能毁灭人类本身时，你的耳朵会竖起来。他现在加入了我们。Hinton 教授，欢迎来到 On Point。

杰弗里·辛顿：你好。

查克拉巴蒂：我做了一些有点邪恶的事情，我取笑听众关于人类的终结，我实际上会在节目稍后问你这个问题。所以，伙计们，请继续关注我们，因为在我们到达世界末日场景之前。

我很乐意花一些时间更好地了解您的工作，以便帮助我们更加认真地对待您的潜在预测。据我所知，在您研究神经网络的职业生涯之初，有人曾将其称为神经网络的乏味子领域。

你认为这是一个公平的描述吗？或许是那时的事吧。

查克拉巴蒂：那时候。为什么？

HINTON：大多数从事人工智能和计算机科学的人都认为这是无稽之谈。他们认为，如果你从具有随机连接强度的神经网络开始，你将永远无法学习复杂的东西。

他们认为你必须有很多与生俱来的结构才能学习复杂的东西。他们还认为逻辑是智力的正确范式，而不是生物学。他们错了。那么当我们说神经网络时，我们在计算方面意味着什么，对吧？因为显然在大脑中，对此的基本描述就是我们大脑中数万亿个神经元的连接方式。

那么这如何转化为计算世界呢？所以我们可以在计算机上模拟大脑。我们可以让它有很多假装的神经元，它们之间有假装的连接。当大脑学习时，它会改变这些连接的强度。因此，让神经网络工作的基本问题是如何决定是增加连接强度还是降低连接强度？

如果你能弄清楚这一点，那么你就可以让神经网络学习复杂的东西，而这就是发生的事情。

查克拉巴蒂：但是就增强大脑连接强度而言，强度意味着什么？有更多的神经元致力于这一系列的连接吗？我实际上只是想从根本上理解这一点。

前进。

HINTON：好的，我将用一分钟的时间描述一下大脑的工作原理。

查克拉巴蒂： 是的，请。

HINTON：你有一大堆神经元。其中一些从感官获得输入，但大多数从其他神经元获得输入。当一个神经元决定激活时，它会向其他神经元发送 ping 信号。

当该脉冲到达另一个神经元时，它会导致一些电荷进入该神经元。它产生的电荷量取决于连接的强度。每个神经元所做的就是查看它获得了多少输入。如果它获得足够的输入，它就会变得活跃并向其他神经元发送 ping 信号。

就是这样。这就是大脑的工作原理。只是这些神经元互相发送 ping，每次一个神经元从另一个神经元接收到 ping 时，它就会注入一定量的电荷，具体取决于连接的强度。因此，通过改变这些优势，你可以决定哪些神经元变得活跃，这就是你学习做事的方式。

查克拉巴蒂：请原谅我，也许我只是度过了非常忙碌的一天，但同样，联系的强度意味着什么？ping 的频率？或者穿过突触的实际电荷水平？那么这是什么意思呢？

HINTON：好的，所以当 ping 到达时，突触将向 ping 到达的神经元注入一定量的电荷。

随着学习的进行，注入的电荷量也会发生变化。

查克拉巴蒂：我明白了。好的。谢谢你的解释。那么话又说回来，在计算世界中，增加神经网络、计算神经网络的能力的类比是什么？

HINTON：在数字计算机上，我们模拟神经元网络。

数字计算机可以模拟任何东西。我们模拟一个神经元网络，然后我们需要制定一个规则来确定连接强度如何变化，作为神经元活动的函数。这就是神经网络中的学习。它是计算机上的模拟神经网络，具有改变连接强度的规则。

查克拉巴蒂：我明白了。至于模拟本身，我们只是谈论代码行，据我所知，现在代码行数已达数万亿行。但这就是我们正在谈论的？

HINTON：不，这不是数万亿行代码。我们谈论的代码行并不多，它们指定了学习过程是什么。

也就是说，代码行必须做的是，作为神经元如何被激活的函数，例如它们被一起激活的频率。我们如何改变连接强度？这不会改变，不需要很多行代码。我们拥有数万亿的东西就是联系和联系强度。

查克拉巴蒂：我明白了。

HINTON：与大多数计算机程序不同，大多数计算机程序只是执行某些操作的软件行，这里我们有几行软件告诉神经网络如何学习，即模拟神经网络。但是，您最终得到的是所有这些学习到的连接字符串，并且您不必指定这些字符串。

这就是重点。它从数据中获取这些内容。

查克拉巴蒂：嗯。好的。感谢您耐心解答我的基本问题，因为我们已经做了很多关于人工智能的节目，但我仍然不能公平地说我完全理解它是如何工作的，即使它正在发生变化。方式既明显又不那么明显。

我们生活方式的许多方面。但回到你的计算神经网络职业生涯的开始，正如你所说，这是计算机科学的一个被低估或低估的领域。当时是什么让您想坚持在这个领域？它的什么地方让你着迷？

辛顿：显然，大脑必须以某种方式学习，而当时关于大脑充满符号表达和操纵符号表达的规则的理论似乎根本不可信。我猜我的父亲是一位生物学家，所以我对大脑采取了生物学的方法，而不是逻辑的方法。

很明显，你必须弄清楚大脑如何改变连接强度。这对于冯·诺依曼和图灵等计算机科学早期的一些人来说是显而易见的，他们都相信神经网络的学习，但不幸的是，他们都英年早逝。

查克拉巴蒂：当然，图灵相当悲惨。

既然你提到了你的父亲，我们可以谈谈他吗？因为他不仅仅是一位生物学家，他还是一位非常著名的昆虫学家，对世界有一种独特的看法，甚至对他的家族在世界上的地位也有独特的看法。你能多谈谈他吗？

HINTON：我想如果有必要的话。

他是一个不太适应环境的人。在所有革命期间，他在墨西哥长大，没有母亲。所以他已经习惯了很多暴力。他很聪明。他去了伯克利。那是他第一次接受正规教育。我认为他家里有家庭教师，因为他父亲在墨西哥经营一座银矿。

他擅长生物学，但他对各种事物的看法非常强烈且不正确。

查克拉巴蒂：你能告诉我们更多吗？

辛顿：好的。他是20世纪30年代英国的一位年轻人。他搬到了英国。他是一名斯大林主义者，这在现在听起来令人震惊。这在 20 世纪 30 年代的英国并不罕见，当时人们并不知道斯大林所做的所有可怕的事情。

他有强烈的政治观点，但不太容易被接受。

查克拉巴蒂：辛顿教授，我现在不会在这里强调政治部分，但是他对昆虫世界的热情怎么样？你能告诉我更多关于这件事吗？

HINTON：是的，这是他最好的一面。

他喜欢昆虫，尤其是甲虫。他的孩子们总是说，如果我们有六条腿，他会更喜欢我们。

查克拉巴蒂：然后呢？教授，你一直把这些东西摆在我面前，你必须原谅我。

HINTON：在我成长的过程中，周末我们会去乡下收集昆虫，我学到了很多关于昆虫的知识。他还对许多其他种类的动物感兴趣。当我还是个孩子的时候，我的车库里有一个坑，我们在那里存放各种各样的东西。

有一次，我照顾过 42 种、43 种不同的动物，但它们都是冷血动物。所以有蛇、乌龟、青蛙、蟾蜍、蝾螈、各种……鱼、各种冷血动物。

查克拉巴蒂：我不得不说，在我与一些最聪明的人的频繁交谈中，不仅在科学领域，而且在许多领域，这是一个共同的主题，教授，他们的父母要么有自己的巨大热情，这导致了一些不寻常的家庭生活，或者那些父母也从未对他们的孩子说不，就他们的孩子想做的实验而言。

在车库里照顾毒蛇和蜥蜴的家里长大是什么感觉？

HINTON：你知道，当你还是个孩子的时候，你不知道其他家庭是什么样的。所以这对我来说似乎很正常。

查克拉巴蒂：你喜欢吗？

HINTON：我确实喜欢照顾所有的动物。我过去常常在放学前起床，到花园里挖虫子来喂它们。

观察他们真是太好了。

查克拉巴蒂：我想知道您认为的这些观察结果是否对您如何看待一般信息的思维或处理产生了影响。这些是你花了很多时间与之相处的非人类生物。

HINTON：我不确定它对我对认知的看法有多大影响。

可能影响更大的是我曾经在家里制作小继电器，小开关，你可以在其中获得电流来关闭连接，这将导致另一个电流流过该电路。我曾经用六英寸的钉子和铜线和剃须刀刀片制成老式剃须刀刀片。

这对我的影响可能更大。

第二部分

CHAKRABARTI：Hinton 教授，还有一个问题是关于您对神经网络早期研究的坚持，是什么让您坚持下去，对吗？因为正如你所说，人们对花时间在这上面的合法性存在很多疑问。但是，它的有趣之处或挑战性是什么，让你继续进行这项研究，并说服研究生也加入你的行列。

HINTON：我想有两件主要的事情。一是大脑必须以某种方式工作。所以你显然必须弄清楚它如何改变连接强度，因为这就是它学习的方式。另一个是我在学校的经历。所以我来自一个无神论家庭。他们把我送到一所私立基督教学校。

所以当我七岁到达那里时，其他人都相信上帝。对我来说这似乎是无稽之谈。随着时间的推移，越来越多的人同意我的观点，认为这是无稽之谈。因此，成为唯一相信某件事的人，然后发现实际上很多其他人也开始相信这一点的经历，可能有助于神经网络的发展。

查克拉巴蒂：越来越多的同学改变了他们对上帝的看法？

辛顿：是的，当然，因为当他们七岁的时候，他们都相信经文老师以及可能父母告诉他们的话。等他们长大了，才发现很多都是无稽之谈。

查克拉巴蒂：您在这所学校呆了几年？

HINTON：从七岁到十七岁或十八岁。

查克拉巴蒂：好的。因此，这是一个持续违背规律的时期。那么，当您在接下来的多年里进行研究时，是否曾经有过一个或多个点您说过，也许这不是正确的追求？

因为要么没有取得进展，要么没有获得见解，要么我不知道，尽管有资金。面临哪些挑战？

HINTON：让我们看看，我从来没有认为这是错误的方法。对我来说很明显这是正确的方法。在某些时候，进展很困难，因为没有什么效果，特别是在计算机速度慢得多的早期。

早期我们没有意识到需要大量的计算能力才能使神经网络发挥作用。直到用于玩视频游戏的图形处理单元之类的东西出现后，我们才真正拥有足够的处理能力来证明这些东西确实运作良好。

所以在此之前，他们的结果常常令人失望。

查克拉巴蒂：所以你会说，这是为什么在过去，比如说 10 到 15 年里，我们看到人工智能能力取得如此飞跃的最大的、也许不为人所知的方面之一，是因为把它简单地说，就像硬件进步一样？

HINTON：这并非完全不值得庆祝。如果你看看 Nvidia 现在的价值，它的价值约为 3.5 万亿美元。

查克拉巴蒂：实际上，这一点说得很好。对不起。你知道吗？我的观点是正确的。也许我只是——

辛顿：你并不完全错。因此，就学术奖项而言，直到最近，一项重大奖项才颁给了英伟达创始人黄仁勋。

英伟达对很多进展负有责任。

查克拉巴蒂：我认为他也有与你非常相似的态度，因为我看过他做过的采访，他说如果这并不难，或者如果任务看起来不是不可能的，那么就不值得做。好的。那么今天，我们将讨论您在 Google 的时光。因为你做了什么，开发了一家公司，然后被谷歌收购，最后你在离开之前在那里呆了很多年。

但是，正如我们普通公众所理解的那样，你会如何描述人工智能是如何学习的呢？它的学习方式是否像激发您最初研究灵感的生物神经网络一样？

辛顿：好的。因此，在某种非常精细的描述水平上，显然存在很多差异。

我们并不完全了解神经元如何工作的一切。但在更一般的描述层面上，是的，它的学习方式与生物神经元的学习方式相同。也就是说，我们模拟一个神经网络，它通过改变连接强度来学习。这也是大脑中发生的事情。

查克拉巴蒂：但我想说，我的理解是一些看到神经网络的人，抱歉，机器神经网络是完全不同的。

人类可以通过简单地有机学习，我们在世界上漫步，我们有经验，我们的大脑以某种方式绘制出这些经验之间的关系。它有点抽象，而不是像机器学习那样经过深思熟虑。这不正确吗？

辛顿：不，不是这样。

这是不正确的。也就是说，机器学习的方式与我们学习的方式一样有机。这只是在模拟中完成的。

查克拉巴蒂：解释一下，因为我昨晚刚刚读到了一些不同意这一点的人的文章。比如说，机器学习纯粹是经过深思熟虑的事实，这就是为什么他们不同意你关于如果人工智能继续以现在的方式发展将会发生什么的一些世界末日场景的原因之一。

HINTON：是的，有些人，特别是那些相信老式符号人工智能的人，认为这些东西都是无稽之谈。这让他们有点恼火，因为它的效果比他们以前生​​产的任何东西都要好。在这个阵营中，有像乔姆斯基这样的人，他们认为，例如，语言不是后天习得的，它都是与生俱来的，他们真的不相信在神经网络中学习东西。

很长一段时间，他们认为这是无稽之谈，他们仍然认为这是无稽之谈，尽管事实上它确实有效。

查克拉巴蒂：所以我正在读一本《纽约客》对您的长篇采访。你对《纽约客》记者说，好吧，如果你是理解人工智能的一种方式，如果你作为一个人，如果我吃了一个三明治，我的身体显然会将三明治分解成各种营养物质，数千种不同的营养物质。那么我的身体就是由这些三明治组成的吗？你说不。这对于理解现代神经网络之类的东西如何工作非常重要。为什么？

辛顿：是的。让我详细说明一下。

例如，当您进行机器翻译或理解某些自然语言时，单词就会出现。当您给出答案时，单词就会出现。问题是，两者之间是什么？中间是单词吗？基本上，老式的符号人工智能认为它就像介于两者之间的文字，是由规则操纵的符号表达。

现在实际发生的情况是，单词进来，它们引起神经元的激活。在计算机中，我们将单词或单词片段转换为模拟神经元的大组激活。于是这些话就消失了。现在我们已经激活了模拟神经元。这些神经元相互作用，因此将神经元的激活视为一种特征，一种检测到的特征。

我们的特征之间存在交互，这就是所有知识所在。知识在于如何将单词转换为特征，以及这些特征如何相互作用。知识并不存在于文字中，因此，例如，当您拥有一个聊天机器人时，当它学习时，它不会记住任何单词串。

不是字面意义上的。它学习的是如何将单词转换为特征，以及如何使特征相互交互，以便它们可以预测下一个单词的特征。那就是所有知识的所在。从这个意义上说，这与三明治被分解成丙酮酸等原始物质，然后用​​它构建一切的意义相同。

以同样的方式，输入的符号串、单词串被转换为特征以及特征之间的交互。

CHAKRABARTI：这就是从这些组件中创造出一些全新的东西。

辛顿：是的。然后，如果您希望它记住某些内容，它不会像您在传统计算机上那样记住它。

在传统计算机上，您可以将文件存储在某处，然后检索该文件。这就是记忆。在这些神经网络中，情况完全不同。它将所有内容转换为特征以及特征之间的交互。然后，如果它想要产生语言，它就必须重新合成它，它必须再次创建它。

因此，这些事物中的记忆总是会被重新创造，而不仅仅是字面的复制品。人也是如此。这就是为什么这些东西会产生幻觉，也就是说，它们只是编造出来的东西。对于人和计算机上的这些大型神经网络来说，编造东西和记住东西之间没有真正的界限。

记住是指你编造一些东西并把它做好。

查克拉巴蒂：哦，有趣。好吧，现在我们进入一个领域，当我们谈论人工智能的智能时，我们具体指的是什么？因为我要论证的是，人类的智力远远超出我们处理语言的能力。

这是另一个——

辛顿：哦，绝对是的。绝对地。有各种各样的视觉智能和运动智能。

Chakrabarti：这是一个基本的例子。通过与世界的身体互动，我了解了很多关于这个世界的知识。而人工智能系统，它们获得的关于世界物理性的唯一信息是通过我们用来描述它的词语。

简单地举个例子，难道人工智能永远不可能像人类那样具有多维智能，仅仅是因为输入到这些系统中的信息存在限制吗？

HINTON：对此有两点要说。一是，令人惊讶的是，仅通过处理语言就可以获得有关物理世界的大量信息。

其中隐含着很多信息，只需学习预测下一个单词，您就可以从语言中获取很多信息。但基本点是正确的，如果你想让它像我们一样理解世界，你就必须给它同样的世界知识。所以我们现在有了这些多模式聊天机器人，可以获取视觉输入和语言输入。

如果你有一个带有机械臂或操纵器的多模式聊天机器人，那么它也可以感知世界。显然，你需要类似的东西来获得对我们所拥有的世界的全面了解。事实上，现在人们甚至正在制造可以闻气味的神经网络。

查克拉巴蒂：但如果我们事实上担心人工智能的超人潜力，我们就必须担心，那么我们所说的思考是否有一个共同的定义？

当前的人工智能系统是否存在，无论是公开的还是非公开的，您是否认为它们中的任何一个都在积极思考，或者只是非常擅长创建您所谈论的这些新网络。

辛顿：不，那是思考。

查克拉巴蒂：这就是思考。好的。

HINTON：当出现问题时，问题中的单词会转换为特征，这些特征之间存在大量交互，然后，由于这些交互，它会预测答案的第一个单词。

这就是思考。在过去，符号人工智能人认为思维包括在头脑中拥有符号表达并用规则操纵它们。他们将其定义为思考。但这不是我们身上发生的事情。而这并不是这些人工神经网络中发生的情况。

查克拉巴蒂：那么，根据这个定义，人类的情感体验是否能够在机器学习情况或人工智能系统中复制？

HINTON：我认为你需要区分情绪的两个方面。让我们以尴尬为例。当我感到尴尬时，我的脸就会红。现在这些计算机上不会发生这种情况。我们可以让它发生，但这不会在这些计算机中自动发生。而且，当我感到尴尬时，我会尽力避免将来出现这些情况。

情绪的认知方面可以发生在这些事情中。因此，他们可以具有情绪的认知方面，而不必具有生理方面。对于我们来说，两者是紧密相连的。

查克拉巴蒂：你描述的是无形的知觉，对吗？

辛顿：是的。

查克拉巴蒂：这听起来像是你在说人工智能已经具备了感知能力。

辛顿：是的。

查克拉巴蒂：为什么这么说？因为在我最深处的动物自我中，这听起来相当令人不安。

辛顿：是的。人们不喜欢听这个。大多数人仍然不同意我的观点。

查克拉巴蒂：那就证明一下吧。为什么这么说？

HINTON：好的，让我们来看看“感知”这样的术语，定义不明确。所以如果你问人们这些神经网络有感知能力吗？人们会非常自信地说，不，他们没有知觉。

如果你说有感知力是什么意思？他们会说，我不知道。因此，这是一个有趣的组合，他们确信自己没有感知能力，但却不知道感知能力意味着什么。让我们采取更精确的方式。来说说主观体验吧。所以我们文化中的大多数人，我不了解其他文化，但我们文化中的大多数人认为心灵是一种内在的戏剧。这个剧院里发生的事情只有我能看到。

因此，例如，如果我说，假设我喝醉了，我说，我看到粉红色的小大象漂浮在我面前。或者更确切地说，我有粉色小象漂浮在我面前的主观体验。大多数人和许多哲学家都会说，正在发生的事情是有一个内部剧院，而在这个内部剧院里有粉红色的小大象。

如果你问，它们是由什么制成的？哲学家会告诉你他们是由什么构成的。它们是由感受性制成的。有粉红色的感受质，还有大象的感受质和漂浮的感受质，而不是那么大的感受质，所有这些都用感受质胶粘在一起。这就是它的组成部分。现在，一些哲学家，比如我同意的丹·丹尼特，认为这只是无稽之谈。

从这个意义上讲，不存在内部剧场。因此，让我们换个角度来理解主观体验的含义。我知道，如果我喝得太多并看到粉红色的小象，我知道它们并不真的在那里。这就是为什么我使用主观这个词来表明它不客观。我想做的是告诉你我的感知系统试图告诉我什么，尽管我知道我的感知系统在骗我。

所以这里有一个等效的说法，我可以说，如果有粉红色的小大象漂浮在我面前，我的感知系统会告诉我真相。现在我刚才所做的就是将一个涉及主观体验这个词的句子翻译成一个不涉及主观体验这个词的句子，并且说的是同样的事情。

因此，当我们谈论主观体验时，我们谈论的并不是只有我能看到的内部剧院中有趣的内部事物。我们谈论的是世界的假设状态，如果这是真的，我的感知系统就会告诉我真相。这是思考主观体验的不同方式。

这只是世界的另一种状态，实际上并不存在。但如果世界是那样的话，我的感知系统就会正常运转。这就是我相当迂回的方式告诉你我的感知系统是如何欺骗我的。

查克拉巴蒂：不过，你所说的是一种元认知。

AI有这个功能吗？

HINTON：好的，现在让我们以聊天机器人为例，看看是否可以使用多模式聊天机器人做同样的事情。所以聊天机器人有一个摄像头，它可以说话，它有一个机器人手臂，我以通常的方式训练它，然后我把一个物体直接放在它前面并说指向该物体。

它笔直地指向它的前方。我说，很好。现在，当聊天机器人不注意时，我在相机镜头前放了一个棱镜。这会使光线弯曲。然后我将一个物体直接放在聊天机器人前面，然后我说，指向该物体。它指向一侧。

查克拉巴蒂：好的，辛顿教授，请稍等一下，因为我确实提心吊胆地想知道这个思想实验的进展。但我们必须快速休息一下。

第三部分

查克拉巴蒂：Hinton 教授，您正在带我们进行这个关于如何判断人工智能是否具有元认知的思想实验，您让我们在机器前面放置了一个棱镜。

请继续。

HINTON：好的，我们正在尝试弄清楚聊天机器人是否可以拥有主观体验。

查克拉巴蒂：是的。

HINTON：不是元认知，而是主观体验。这个想法是你训练它，你把一个物体放在它前面，你要求它指向这个物体，它可以很好地做到这一点。然后你将一个棱镜放在相机镜头前。

你把一个物体放在它前面，让它指向这个物体，它就会指向一侧。然后你告诉聊天机器人，不，那不是物体所在的位置，物体实际上就在你的前面，但我在你的镜头前面放了一个棱镜。聊天机器人说，哦，我明白了，棱镜使光线弯曲，所以该物体实际上就在我面前，但我的主观经验是它偏向一侧。

现在，如果聊天机器人这么说，那么它使用的就是主观体验这个词，就像我们使用它们的方式一样。

查克拉巴蒂：好的，那么考虑到这一点，你现在认为人类智能和人工智能之间有什么区别吗？

HINTON：是的，有很多很多的差异。它们在细节上并不完全相同，一点也不像。

但关键是，现在这些神经网络中的人工智能处于同一水平。它与人的智力并不完全相同，但它更像人，而不是计算机代码行。

查克拉巴蒂：我想我内心所经历的斗争，无论是在情感上还是在智力上，都是试图让自己相信我们所处的世界中，无机实体的智力水平即使不等于人类，也要优于人类。众生。

这让我们回到了我开始节目的地方，就谈论你而言，你有一个相当世界末日的场景。你认为，人工智能在 30 年内，绝对有非零的可能性，但甚至可能有 20%、高达 20% 的可能性，可能导致人类灭绝。

为什么？再次列出证据，让你得出 20% 的结论。

辛顿：好的。这些事情很难估计。所以人们只是在编造数字，但我非常有信心这个机会超过 1%，也非常有信心它低于 99%。一些研究人员认为概率低于 1%，而另一些研究人员认为概率大于 99%。

我认为这两个群体都很疯狂。它介于两者之间。我们正在处理一些我们以前没有经历过此类事情的事情，所以我们应该非常不确定。对我来说 10% 到 20% 似乎是合理的数字。随着时间的推移，也许不同的数字会显得合理。

但关键是，我们几乎所有领先的研究人员都认为，我们最终会开发出比我们自己更聪明的东西，除非我们同时炸毁世界或其他东西。所以超级智能即将到来，但没有人知道我们如何控制它。我们很可能想出一些方法来确保超级智能永远不会取代人类。

但我根本不相信我们知道如何做到这一点。事实上，我确信我们不知道该怎么做。我们应该始终为此努力。如果你问自己，你知道多少这样的例子：更聪明的东西被不太聪明的东西控制，其中智力的差异很大，不像一个聪明的人和一个愚蠢的总统之间的差异，而是一个很大的差异在智力上。

现在，我们不知道很多这样的例子。事实上，我所知道的唯一的例子就是母亲和孩子，母亲和婴儿。因此，对于婴儿来说，控制母亲非常重要，进化为实现这一目标付出了很多努力。妈妈无法忍受婴儿的哭声等声音。

但这样的例子并不多。一般来说，智能程度较高的事物控制智能程度较低的事物。现在，我们有理由相信，如果我们制造出超级智能的人工智能，它就会想要掌控一切。相信这一点的一个很好的理由是，如果你想完成任何事情，即使你试图为其他人完成任务，你也需要更多的控制权。

拥有更多的控制权只会有所帮助。因此，想象一下一个成年人，想象一下您是一位父母，有一个大约三岁的小孩，您急着去参加一个聚会，而孩子决定现在是时候学习自己系鞋带了。也许稍后会发生这种情况。如果你是一个好父母，你可以让它尝试系鞋带一两分钟，然后你说，好吧，我们稍后再做。

交给我吧。我现在就去做。你掌控一切。你要掌控一切才能把事情做好。问题是，这些超级智能人工智能会表现出同样的行为吗？我不明白他们为什么不这样做。

查克拉巴蒂：所以我想在这里暂停一下，问你，你认为人工智能是否已经达到了这样的水平，或者在不久的将来，如果你与人工智能系统进行对话，它会达到什么样的水平？听到你说，就像聪明人和愚蠢总统之间的区别一样，人工智能会打断并说，哈，辛顿教授，我听到你在那里做了什么。

埃隆·马斯克（Elon Musk）与唐纳德·特朗普（Donald Trump）的比较，人工智能系统现在可以做到这一点吗？

辛顿：是的，可能可以。

查克拉巴蒂：真的吗？

HINTON：我们可以尝试一下，但它可能可以，是的。

查克拉巴蒂：令人着迷。好的。所以我只想说我很欣赏你的侧眼，你投在那里的阴影。但我想知道你对此有何看法，再次，一些相当有力的论据反对你所说的智力的相对差异，以及一个人对另一个人的统治地位的事物方式。

我不得不说，我理解你可以将人类视为一个完美的例子，由于我们的智慧，我们确实拥有对整个地球的统治权，因此对这个星球上的所有其他生物都有统治权。好的。但另一方面，也有一些研究人员会说。

看，还有这个问题，它被称为“愚蠢的超级智能”。前几天我遇到的一个例子是，一位研究人员说，嘿，如果我们要求人工智能系统解决气候变化问题，人工智能系统可能会很自然地提出一个解决方案，说，消灭所有人类。因为人类向大气中排放的碳正在加速气候变化。

但这位研究人员认为，人工智能系统可能会提出该解决方案，但不会，要么有能力，要么没有能力对其采取行动。或者会意识到，由于其智能，这不是最佳解决方案。因此，我们有一种感觉，即我们永远不会创造出会毁灭我们的技术。

HINTON：这就是所谓的协调问题，你对人工智能说，解决气候变化，如果它从字面上理解你，并说这是你真正的目标，解决气候变化，那么显而易见的事情就是摆脱人们。当然，超级智能的人工智能会意识到这不是我们真正的意思。

我们的意思是，解决气候变化，以便人们能够在地球上永远幸福地生活。它会意识到这一点，所以它不会摆脱人们。但这是一个问题，人工智能可能会做我们不希望它做的事情。因为当我们告诉它我们想要什么时，我们并没有真正充分地表达自己。

我们没有给出所有的约束。它必须了解所有这些限制。解决气候变化的制约因素之一是不能摆脱人类。

查克拉巴蒂：但如果它确实比人类更聪明，那么可以肯定地假设它能够理解约束吗？

HINTON：我认为是的，但我们不确定在每种情况下都会发生这种情况。

查克拉巴蒂：这里，这是另一个反对的声音，因为大约一年半前，即 2023 年 5 月，我们实际上做了一个关于人工智能是否应该受到监管的节目受到这封信的启发，数百名研究人员签署了这封信，表示鼓励暂停人工智能研究，以便监管能够跟上。

我会注意到你没有签署那封信，因为我知道你不认为目前应该停止研究。但 -

HINTON：并不是说我不认为应该停止它。我不相信它可以被阻止。如果我们停止人工智能的发展，它会带来太多的利润和太多的好处。

查克拉巴蒂：我总是发现很难阻止人类的好奇心继续尝试回答问题。所以采取了这一点。但顺便说一句，各位，如果您错过了关于人工智能监管的节目，可以在 onpointradio 观看。组织。查看或在我们的播客提要中查看。但我想扮演一个以斯图尔特·拉塞尔为主角的时刻。

他是加州大学伯克利分校计算机科学教授。他签署了那封写于 2023 年的公开信。他坚信需要监管，但他确实反对这部关于人工智能世界末日恐惧的节目，这就是他所说的。

斯图尔特·拉塞尔：尽管阅读了数万亿字的文字，但它似乎并没有形成一个一致的世界内部模型。它仍然把非常基本的事情搞错了。例如，我的朋友普拉萨德·塔德帕利（Prasad Tadepalli）是俄勒冈州的一名教授，他给我发了一段对话，他首先问大象和猫哪个更大？

它说，大象比猫大。你说大象和猫哪一个不是更大？它说，大象和猫都不比对方大。因此，它在两个句子的空间内就一个基本事实自相矛盾。而人类，偶尔会出现精神崩溃的情况，但总的来说，我们会努力保持内部世界模型的一致性。

我们不会以这种方式在基本事实上自相矛盾。所以这些系统的工作方式缺少一些东西。

查克拉巴蒂：S斯图尔特·罗素 (Stuart Russell) 正在谈论这样一个事实：人工智能仍然存在其尚未认识到的内部矛盾。又一个反对的声音，也来自同一节目。这是彼得·斯通。

他是德克萨斯大学奥斯汀分校的计算机科学教授兼机器人技术主任。这就是他所说的。

彼得·斯通：我想说，可以肯定的是，这些发现将会实现。我认为我们很有可能会达到通用人工智能（AGI）或通用人工智能（Artificial General Intelligence）的程度。

但我们真的不知道那会是什么样子。它不太可能只是当前大型语言模型的扩展。我认为在我看来，如果我们没有预见到它的到来，如果我们没有能力做好准备并尝试利用它，我认为，它会发生，我认为，永远利用它，这对我来说是不合理的。

查克拉巴蒂：辛顿教授，我很高兴今天能够与您交谈，原因有很多，因为那两个时刻来自节目，我实际上要求他们直接回应您所说的一些事情。所以我很想听听你对他们的怀疑的回应，他们怀疑我们是否会达到人工智能有能力或愿意摧毁我们的地步。

辛顿：让我们从斯图尔特·拉塞尔开始吧。我非常尊重他在致命自主武器和人工智能安全方面的工作。但他来自老式的符号人工智能学派。他写了一本关于老式符号人工智能的教科书。他从来没有真正相信神经网络，所以他对这些东西与人的相似程度的看法与我截然不同。

他认为人们正在使用某种逻辑，人们在推理时所做的事情与这些神经网络中发生的事情完全不同。我不这么认为。我认为人们在推理时所做的事情与这些神经网络中发生的事情非常相似。

所以这里面有很大的区别。让我给您一点示范，人们还会犯这些错误，这会使您说他们真的无法思考。所以我要对你做一个实验。我希望你能愿意。

Chakrabarti ：（笑）只要在两分钟内适合，先生。好的。

Hinton：有关此实验的重点是您必须快速回答。

Chakrabarti：好的，我会尽力而为。

欣顿：我们将通过回答的速度来为您评分。您的脑海中的第一件事就是您的答案。好的？

查克拉巴蒂：好的。我要衡量您说的速度。查克拉巴蒂：好的。

Chakrabarti：好的，这是问题。

牛喝什么？

Chakrabarti：水。

欣顿：啊，你说，然后你说水。

Chakrabarti：我真的会说牛奶。（笑）

欣顿：你会说牛奶，不是吗？是的。

Chakrabarti：是的。

欣顿：因此，您脑海中的第一件事是牛奶，这不是大多数母牛喝的东西。现在您很聪明，您设法阻止自己说牛奶，但您开始说。

Chakrabarti：是的，您把我抓到那里。因此，这就是内部矛盾。

欣顿：那发生的事情是，各种各样的关联使您认为牛奶是正确的答案。而且您会发现自己，并且意识到实际上大多数牛都不喝牛奶。人们也会犯错误。因此，特定的例子就是他们所说的幻觉。当它是一种语言模型时，他们应该称他们为欺骗，这些大型语言模型只是构成东西。

这使许多人说他们不喜欢我们。他们只是组成东西。但是我们一直这样做。

Chakrabarti：哦，是的。

欣顿：至少我认为我们这样做。我刚刚做了。如果您看一下水门试验，约翰·迪恩（John Dean）在宣誓下作证，并在椭圆形办公室描述了各种会议。他所说的很多都是胡说八道。

当时他不知道有磁带。因此，这是一个罕见的情况，我们可以采取几年前发生的事情并确切地知道椭圆形办公室所说的话。我们让约翰·迪恩（John Dean）竭尽全力举报。他犯了各种错误。他与不参加会议的人开会。

他让人们说其他人说的话。但是他显然试图说实话。人类记忆的工作方式是，鉴于我们的经验，我们只是说出看起来似乎是合理的。现在，如果这是最近的事件，那么考虑到我们实际上发生的经历，似乎是合理的。

但是，如果这是一段时间以前发生的事件，那么似乎合理的情况会受到我们在此期间学到的各种知识的影响，这就是为什么您无法报告幼儿期的准确记忆。因此，我们就像这些大型聊天机器人一样。

Chakrabarti：哇。欣顿教授，我无法告诉您今天与您交谈的荣誉是多么荣幸。

我要问你最后一个快速的是/否问题。您是否认为人类能够提出法规或技术，或者是另一种生活方式，以便我们可以在不断开发摧毁我们的情况下阻止AI？

欣顿：我只是不知道。我希望我们可以。而且，如果我们让大型技术公司将更多的工作花在安全方面，也许我们可以。

Chakrabarti：您在这个问题上欺骗了。我想要是或否，但我很感激。但你知道吗？您的答案是我最现实的。