AI会像人类一样了解语言吗？|Quanta杂志

lARGE语言模型（LLM）在创建类似人类的文本和回答问题方面变得越来越令人印象深刻，但是他们是否可以理解其产生的单词的含义是一个充满争议的问题。一个很大的挑战是LLM是黑匣子。他们可以根据言语顺序做出预测和决定，但他们无法传达这样做的原因。

埃莉·帕维克（Ellie Pavlick）在布朗大学，正在建立模型，可以帮助了解LLM与人类相比的过程。在《为什么之喜》的这一集中，Pavlick讨论了我们所知道的，对LLM语言处理，他们的过程与人类的不同以及如何更好地理解LLM可以帮助我们更好地欣赏我们自己的知识和创造力的能力。

听苹果播客，，，，Spotify，，，，图宁或您最喜欢的播客应用程序，或者您可以从Quanta流式传输。

成绩单

[音乐播放这是给出的

詹娜·莱文（Janna Levin）：我是詹娜·莱文（Janna Levin）

史蒂夫·斯特罗加兹（Steve Strogatz）：我是史蒂夫·斯特罗加兹（Steve Strogatz）。

莱文：这就是为什么Quanta Magazine的播客，探讨了当今数学和科学中一些最大的未解决问题。

莱文：史蒂夫。你好。

Strogatz：嘿，贾娜，怎么样了？

莱文：好的。我想告诉您有关我关于AI和大型语言模型的对话，但是轮流了，所以我有兴趣看到您对此的反应。您现在一直在考虑AI吗？在你的脑海吗？

Strogatz：当然，可以抵抗。玩它很有趣，现在，我的兴趣激起了人们的兴趣。

莱文：好吧，这很有趣，因为Quanta实际上只是发表了一系列有关AI的文章为了填补对话中存在的一些空白，对吗？因为我们经常经常介绍相同的材料，它们会取代我们的工作吗？这对创意领域意味着什么？但是，AI几乎是神经科学。您如何了解您的人工智能在做什么？那真的让我感到惊讶。嗯，您会想，好吧，您建造了东西，您怎么不知道这是什么？但这就像说我有一个孩子。这并不意味着您对他们的脑海有透明度。

Strogatz：正确的。这感觉就像是一个真正的边界问题，因为我们一直在听AI被称为黑匣子。

莱文：这和我们打开黑匣子一样困难。我的意思是，就像我在跟你说话一样，我似乎并不能向您解释我心中的神经科学的神经科学，对吗？我不知道这个黑匣子如何工作。

Strogatz：路易斯·托马斯（Louis Thomas）的一篇古老文章说，如果我必须有意识地做我的肝脏所做的事情，那我就会振动，你知道。

莱文：正确的。我们认为意识的许多内容，有时我认为是因为我们可以处理很多数据。因此，我们需要意识作为非常快速的近似，因此我们可以执行很多任务。我们必须能够自动呼吸。我们必须能够立即和松散地识别椅子与一个人。这些都是很难教授AI的事情。

Strogatz：哦，是因为它的性质要准确吗？

莱文：我的意思是，我想AI必须学习。它对我犯错的事实几乎令人放心。

Strogatz：哦，这很有趣。真是个很酷的想法，因为我们经常取笑它们来幻觉，而这可能是我可能是真正智力之路的迹象。

莱文：我认为这些在AI和语言中的进步特别是这些大型语言模型确实很有趣，因此我有机会与Ellie Pavlick交谈。她是布朗大学的计算机科学家和语言学家。她负责这种语言理解和代表实验室，该实验室不仅试图理解语言和语言模型，而且要了解它们的实际工作方式。我们有机会谈论所有这些。所以，让我们听到埃莉的消息。

Strogatz：极好的。

[音乐播放这是给出的

莱文：因此，艾莉（Ellie），欢迎对为什么的喜悦。今天我们很高兴有您。

埃莉·帕维克（Ellie Pavlick）：谢谢。是的。

莱文：这个话题现在确实全是新闻，而且实际上，这是AI问题。在我们深入研究之前，我对您自己的轨迹感到好奇。您从经济学开始，开始演奏萨克斯管。您是如何从研究到计算机的研究以及它们如何编码语义的？

帕夫利克：我一直希望我有一个非常喜欢的文学答案，所有这些都圆满了。就像，只是因为我从我开始的地方开始，我才能到达自己的位置。

莱文：一些深刻的人生课。

帕夫利克：确切地。事实证明，这不像脚本和完美。因此，我认为通往CS的道路非常重要，因为我与微观经济学教授进行了研究演出，而我所得到的咕unt声是喜欢在MATLAB中制作地块，这对于没有CS背景的人来说是压倒性的。我当时想，好吧，也许我需要学习如何编码。因此，我上了一个介绍课，所以我没有那么觉得自己的元素感到很愉快，就像写一件小东西并运行它，它有效，它可以做到您所说的。

然后我一直认为我喜欢研究的想法，所以我开始与一位正在做语言的教授一起工作。但是随后真正与他合作，因为他越来越多地在语义上工作，这像这样的共鸣中介绍了我认为我一直对此感兴趣的东西。

莱文：稍微脱颖而出的响应。我必须制作一个情节，因此我必须获得计算机科学学位。

帕夫利克：我希望那是那个，但是我认为这是绝对的混乱，就像我所做的不知道我缺少什么技能一样。

莱文：正确的。

帕夫利克：我就像，我甚至不明白发生了什么。我甚至不知道要问什么问题。

莱文：因此，我可以想象几年前，如果您对某人说，哦，我在晚餐聚会上如何编码语义。您可能已经结束了对话，但是当您告诉人们您正在从事大型语言模型之类的事情时，这些天的反应发生了变化？

帕夫利克：绝对地。我说这就像一个祝福和诅咒。因此，我曾经说过我进行自然语言处理，这使计算机了解英语，中文或西班牙语，而不是Python或Java等计算机语言。

是的，大多数人都被划分了，但是现在，谈论每个人的思想上的所有科学哲学问题，就像是公开邀请。

莱文：我们也要问你们所有这些。在我们进入哲学方面之前，我确实相信您将其整合到您的工作中，请给我们一些您所做的事情的简介。您说自然语言处理。您说大型语言模型，LLM。

帕夫利克：是的。因此，自然的语言处理就像更广泛的领域，从而引起了LLM，这些领域可能涵盖任何涉及使计算机使用人类语言的事物。NLP实际上并不是关于您使用的方法，这是关于您要解决的问题的种类。

因此，在大型语言模型之前，也许您会拥有类似情感分类器或垃圾邮件过滤器或信息检索之类的东西，例如Google Search或Machine Translation，对吗？所有这些任务都是NLP，他们可能会使用机器学习，或者可能不使用机器学习。而且，如果他们使用机器学习，他们可能会使用神经网络和深度学习，或者可能不使用。

因此，大型语言模型就像一种模型，即神经网络预测下一个单词。事实证明，由于构建这些东西，它们可以用于解决许多不同的任务。因此，这种感觉是，他们还包含了许多传统上NLP中其他模型的东西来解决的。但是我肯定会说，NLP是一个广泛的领域，它关心使用计算工具解决语言问题。

莱文：出色的。那么，您到底是什么围绕大型语言模型和Chatgpt等事物进行的呢？

帕夫利克：是的。因此，现在，当我谈论我的实验室的工作时，我们基本上正在研究大型语言模型。我们真正感兴趣的问题是我们对人类的问题相同的问题，并且仍然询问人类，就像他们如何代表语言这样做，使他们做自己做的事情，对吗？表示语言是什么意思，以及该语言的表示如何支持我们获得的各种有趣的语言行为和其他行为。

现在，您已经有了通常会产生类似人类的行为的语言模型，然后有时有些陌生的行为，但显然是语言上的，以一种非人类事物从未有过的方式。问他们如何做到这一点，然后问什么与人类相同或不同的方式，这对我们可能关心的事情而言确实很重要，例如理解或意义？

莱文：唔。因此，让我们考虑这些大语言模型如何处理语言与人类的关系之间的这种关系。我认为这很有趣。现在，我明白为什么我们没有立即透明度以及人类如何处理语言。我们没有成为人类。进化使人类成为了这些黑匣子。我们可以审问自己。我们可以自我反射，可以分析其他人。如果是人类制造的，为什么计算机是黑匣子？我认为这是人们挣扎的事情。您是什么意思，您不知道这是怎么做的？你做到了。

帕夫利克：是的。我们现在所处的位置有些独特，它是一种计算系统，我们将其视为一个有机系统，就好像它不是由我们所创造的。这很难回答，因为您确实必须以某种类比的方式回答，就像正确的类比是什么？

因此，直接答案就像，我们了解我们编写的实际代码。您可以逐行浏览，并说这是这条代码行动的行为。但是，该代码在做什么是在调用机器学习程序，这意味着它设置了一组原则和规则，但是该模型将遵循这些原则和规则以逐渐拟合数据模式，对吗？我们了解学习如何发生的基本限制，但是您可以准确解释另一端的系统。特别是，您可以解释为什么出现的系统具有属性及其行为。您从LLM到代码线和产生的原则的行为并不是直接减少的行为。

因此，您可以玩不同的类比。我真的很喜欢的一个是我们有一个如何制作大型语言模型的食谱，并且您可以理解食谱，就像您知道您正在做的步骤，并且您了解一些层次。就像，如果我不把小苏打放在蛋糕上，那将结果 - 我实际上不知道会发生什么，我不是一个很好的面包师。就像它看起来太平坦了，太耐嚼了。而且您甚至可以做某种替代品，例如，哦，如果我没有鸡蛋，我可以使用粉碎的香蕉或其他任何东西，并且会带来这些不同的后果，但这并不意味着您了解化学反应。就像您可以准确地说出为什么蛋糕是这种确切的方式。

因此，我认为从能够构建某些东西或创造某些东西并了解其工作原理的重要区别。随着我们的发展，这两件事使机器学习和深度学习越来越深

莱文：因此，大型语言模型我称其为计算机。它必须是计算机网络。我该如何指代这个实体？我不想拟人化。

帕夫利克：我实际上认为这是一个有趣的问题，即使如何谈论它们。因为他们会产生直到最近人类产生的行为。我们只是没有使用拟人化语言的语言来谈论那件事。

莱文：所以，您称他们为LLM？

帕夫利克：我称它们为大型语言模型。他们有时在一台计算机上。有时在许多计算机上。它就像一个虚拟实体。这不是物理实体。

莱文：这是一个元的东西。因此，在这里，这个元黑匣子仍然是一个谜。我们为什么要问这呢？嘿，你在做什么？你怎么做？

帕夫利克：是的。因此，我们有一个复杂的数学模型。总体上说，给定一系列单词，预测下一个单词。因此，如果我只是说我只是看到一辆校车驶过我的房子，汽车，院子等等，那么您可以预测下一个单词可能是什么。这主要是他们重新进行的。这就是他们设计的工作，然后他们做了各种疯狂的数学来支持这一点。

但是，如果您说的话，为什么您只说出您说的话呢？目的不是忠实地解释为什么它只是说了什么，即使您知道什么是在这里指的是什么，它不是什么，而是说出那个问题之后接下来会出现什么样的话，对吗？而且，它将从看到很多与此相似的问题的数据中提出对接下来可能发生的事情的理解，然后是答案。

因此，因此本身完全不受任何对语言模型内部状态的参考。系统的设计和训练方式，对，绝对没有任何限制其对这个问题的答案的方法。没有什么能保证其对行为的解释不仅不是正确的，而且与其行为有任何关系。

我们进行了一些研究，可以看一下这些解释，我们试图了解多少，它解释其行为实际上与它的作用相符。我只是对它们彼此一致的程度感到惊讶，我们试图弄清楚为什么这样做，因为没有任何东西会客观地需要它。

同样的论点是，为什么我可以问您，就像您的神经系统如何工作，大脑的工作原理。就像，您正在使用它，您不知道它。就像，您的大脑告诉我您不知道您的大脑是如何工作的，对吗？而且您喜欢，您是什么意思？

当然，语言模型不知道其工作原理的机制与人类不知道其工作方式的机制非常不同。但这仍然是这两件事真的没有这种方式。

莱文：是的，这确实让我想知道试图破解人类思想如何运作的神经科学，同样具有挑战性的问题。您是否正在研究如何考虑这一点的神经科学方面？

帕夫利克：是的，这就是我对每次使用新学科工作时都感到非常兴奋的方向，它只是带来了一系列全新的思考方式，术语，见解，对吗？因此，它带来了新的东西。我认为，在某些方面，神经科学在这里将非常有用。

我们经常在AI和认知科学中谈论分析水平，这只是说了解系统的方式有许多不同的方法。就像这个想法一样，我们应该试图理解它们。

如果我们试图将它们类似于人类，是否更像大脑？它更像头脑吗？它更像社会吗？它是否像一个混乱的系统，更像是多个人，我们在关注新兴的行为，因为它是在整个互联网上训练的？

没有什么比一个真正的类比了。因此，神经科学带来了这种真正低级的思考方式，即如何可能会出现一些小型数值操作，使某些更复杂的行为出现，认知科学可以提供其他类型的见解。

莱文：是的。所以，但是我们确实知道他们正在做的一些事情。例如，他们像您描述的那样看着这些语义关系。他们猜测接下来是什么词。他们是数学上做的。那个过程如何为他们取得的成就？

帕夫利克：因此，这里有不同类型的数学类型。首选就像概率模型，估计了下一个单词的概率是什么。因此，您只是说，到目前为止，我看到了一组单词，我需要将其编码为某种状态。然后您说，下一个单词给定这个状态的概率是什么？

但是，那些变得非常复杂的事情，而他们很难探索的原因之一是，代表该状态的方式，这不像您说它的头部或尾巴的那样，这不像硬币那样，是因为这些东西是无限数量的。因此，编码的方式更像是线性代数概念，甚至更多的演算。就像这个高维空间一样，这里有很多不同的状态，而且确实很难确切地知道这件事的形状是什么以及如何在它周围移动。

因此，这就是许多复杂性的来源。就像一方面一样，我们可以很容易地考虑下一个单词给定状态的概率，我们可以考虑一下，在这个空间中存在类似的状态，类似的状态会带来类似的概率。

我们对此有所了解，但这并不是一个完整的水平，例如，我们可以在不运行的情况下保证甚至预测系统的行为。

莱文：我知道您真的很小心，不要在他们想到的想法上投入过多的情感。但是，我们怎么能分辨他们对他们的理解或他们是否知道提供的信息？

帕夫利克：是的。我不会说我不会对此投入情感。我觉得自己是ve，我花了很多时间来思考这一点，担心它并关心它。但是我没有选择一方，因为就像我们从语言模型中获得的东西最兴奋的是被迫准确地对这些事情的含义确切。

因此，我很确定，不，不，它们不是像这些无形资产一样，当我们问这些关于意义，理解和事物的问题时，我们会想到。我认为他们没有它，但是我认为这么困难的事情是那件事是多么无形的。

事实是，我们不知道这些词是什么意思。当我们说这些话时，我们真的不知道我们的意思。像理解，含义，思考，像这些非常拟人化的，非常充实的单词一样。

我们有点了解我们有多了解这些事情的意思，因为当我们说话时，我们必须说诸如，是的，他们知道，但是他们真的不知道，而且要依靠我们与之交谈的人得到的事实。像这些是非常直观的概念，LLM迫使我们做的就是使它们精确和科学。而且我认为我的感觉是在我们尝试这样做时，这些单词将很大程度上分解成许多较小的概念，这些概念可以精确。

因此，我们称为知道或理解的事情不是您拥有的一件事，也不是您没有的东西。这就像一个速记，用于收藏的东西，其中一个可能只是人类，对吗？就像我们说真正知道或真正了解的是人类并拥有所有其他属性时，我们的意思可能的一部分可能是这样的，例如在某些情况下做出正确的预测，并在许多州或其他任何州或其他任何国家中做出这些推论和持续的行为。

但是我认为这些单词实际上都不是，它们不是科学的词。而且，我们就像是科学家有义务面对他们的义务。因此，我顽固地继续前进的事情是说他们是否在想。因为在某些方面认为自己是正确的。实际上，要说我们实际要做什么？这是什么意思？非常重要的是，为什么重要？如果我们出于某种技术，实际原因要求它，那么对于许多情况下，它们可能足够好。如果我们要求它更深入，更多的存在原因，那么他们可能不是。但是，就像实际上嘲笑那些人一样重要。

莱文：对我而言，您没有直接驳回它。您不是说，不，这只是Matlab，您知道，这是您可以编写的一种计算机代码。但是您现在不这样做，这很有趣。

帕夫利克：我不是，绝对不是我领域的每个人。我领域中的许多人真的没有保留任何没有计算的人，对吗？因此，说类似数学的话就像是一个奇怪的解雇。对我而言，不清楚同样的事情不可用来消除我们所说的自然情报。因为几乎从定义上讲，一个努力理解人类思想的人科学地认为那里最终有一些模型。因此，这与解雇一样，理由是事物是人类的，因此没有思考，使我们所处的整个领域无效，而且是什么意义？

莱文：如果您回顾[Alan] Turing何时开始考虑机械化思想，这使他进入了算法和通用机器是一台计算机的想法，该计算机过去称为计算机。他还反思回头说，好吧，你知道，我们也是机器。我们的思想是机械化的。我的意思是，是从物理定律出生的。您是否觉得这可以反馈您对人类智力的理解。您以某种方式谈论它已经说出了这些方面非常挑衅的事情，但是这是否使您想到，好吧，我们在思想的结构方面也有点计算？

帕夫利克：我不会说回馈是因为我认为，我认为这最初是我对该领域的吸引力。再次，我认为有很多在认知科学和人工智学工作的人认为您可以取得大量的技术进步，而不必说有可能建立实际的智力。但是许多人这样做。许多人，无论他们是否承认，都被吸引了更浪漫的观念，即在人工智能中可能会做什么，这是您认为人类最终是计算的东西，而且外面没有任何东西，对人类的形而上学是可以在计算机中复制的。

关于这一点，关于哪些属性可能是数字计算机而不是其他内容，实际上有很多有趣的辩论。谈论数字计算机本身是否是复制人类智能的正确媒介，有很大的空间。我对差异的可能性开放，但是我没有任何特定的数据可以说明我的案件。

是的，我想说我确实相信事情是计算，对吗？同样，这是一无所有的，对吗？这是一个个性特征。

但是，如果您确实相信这是最终的，那么我认为您实际上有一个很难的论据来说明为什么成为计算机会阻止您思考。对于为什么，您可以说这不在思考，因为它只是编译或其他内容。我认为这实际上是一个非常艰难的哲学论点，我听到的表现特别好。人们有点像我们说诸如理解之类的话时，是我们意思的人类的一部分。

[音乐播放这是给出的

Strogatz：我喜欢它。那里有深刻的问题。

莱文：几乎就像没有灵魂的问题，对吗？我们对我们的内在含义是什么？现在是头脑吗？现在是头脑吗？

Strogatz：正确的。过去，生物具有一些至关重要的本质，使它们与非生物的事物不同。但是，当我们开始相信原子，并且我们都属于各种组织状态时，很难看到灵魂或生命的本质在那里适合的位置。因此，现在我们撤退了说，在那个层面上，是的，我们都是原子，但是智力的其他东西。只有我们才能聪明。这些机器只是在做数学。

莱文：是的，听起来您不买它。

Strogatz：我不会，但是我对埃莉（Ellie）提出的评论感兴趣，这也许是谈论数字与数字的方法，我不知道什么，模拟了吗？我们可以在某种程度上保留特殊的情报所有权，因为我们是模拟的？我们的神经元的工作方式并不完全是数字化的，我的意思是，她似乎不相信这一点，但是如果我听到她的正确性，听起来像是有些人认为这可能是逃生的舱口。

莱文：是的，我得到了她对这些数字机器的敞开态度的印象，我们开始了解如何甚至现在提出问题。我们对这些进步的迫使我们更加提出问题。进行计算意味着什么？我认为我们做一些神奇的事情。我们做得很愚蠢，也许是神奇的，对吗？这种意识是这种魔术的想法，因为我们对我来说不是无限的计算对我来说真的很有趣。

但是我确实认为思想是计算的。因此，为什么不能实现类似思想的数字机器。我只是想知道我们是否能够认识到，它是否需要您和我的方式需要意识？

Strogatz：啊哈。那是另一个问题吗？

莱文：是的。它会在我们之前就知道吗？它会知道吗？会进行对话吗？而且，即使是我说的，我们也必须开始以不同的方式思考。这甚至不是一个实体，对吗？有多台计算机可以进入单个大型语言模型。通过厚度，我认为我们开始变得更加精确，并意识到，哇，我们从未真正解决过。

Strogatz：美丽的。

莱文：好吧，还有很多要考虑的事情。因此，请在休息期间考虑一下，我们会回来。

[音乐播放这是给出的

莱文：欢迎回到为什么的喜悦。我们一直在与计算机科学家Ellie Pavlick谈论AI，语言和人类思想。

莱文：现在，当这些语言模型首先接受这些庞大的数据集培训时，他们是否会继续学习和发展他们的关系，让我们与用户说，还是当新想法被送入互联网中？还是他们冻结了，直到有一项重大的新培训计划？

帕夫利克：一切都归结为定义，对吗？这取决于您通过学习和发展的含义。我们称之为权重，基本上，它解决了一些真正复杂的方程组，以真正擅长预测下一个单词。这些方程存储在文件中的某个地方，对吗？而且，如果您想与Chatgpt的这个特定实例或Claude的特定实例交谈，则基本上是从该文件中加载这些方程式，以及您与谁交谈。因此，这些被称为权重。通常，我们认为将权重更新为这种初始学习。

并且有许多更新这些权重的方法。那里自己更新了权重。就像基本上添加一个小侧面文件一样，它告诉您如何假装您更新这些权重。So that can allow you to spawn different models that feel like different models, but you could argue about whether they’re like clones of the same model or they’re different models.

That’s a conceptual question.But, also a lot of the things that are being sold as learning and adapting have to do with storing a side knowledge base that could be specific to you.You have a chat with the model and say I’m planning my daughter’s birthday, and I have a whole discussion about budget and her name and her friend’s names and who I want to invite and where I live and that.And then I come back the next day and it like remembers this stuff.It’s not like everyone who’s using Claude or chat GPT now has access to my daughter’s name and my address.That didn’t get pushed into the main model, but it still feels like it learned or developed because it has information now that didn’t have yesterday, and it’s retained that information.

So, there’s different mechanisms for models to learn and adapt.And depending on the particular tool and the endpoint you’re using, it might be any combination of these different things.

LEVIN:是的。I’m wondering if chat GPT is going to behave differently after lots of interaction with me than yours will with you, for instance.And as though, you know, I have my dog, and my dog is trained to behave a certain way and react to me in a certain way, it’s sort of wondering if it keeps learning and keeps feeding back in that way.

PAVLICK:是的。There’s lots of ways to customize a model to you and maybe a useful differentiating factor is like how easy it is to reset the model so that we have the same model.In some of these versions, if there’s like this add-on file that contains some information about you, that this model is reading from maybe some small things that adapt weights, you could basically delete that file and get straight back to the exact same base model that I have.

There’s another version in which, like, if I take ChatGPT yesterday and I train it on today’s news and it updates the weights, it would actually be really hard for me to, like, get back to yesterday’s version.I don’t know which weights to go and reset.I would have to, like, go retrain the whole thing exactly as it was up until I retrained it today in order to get back.And even then, it might be hard.

And both types of things are learning.Both things have made a change and allowed the model to develop and adapt and stuff.But like some of them we can easily undo and others you can’t.So, they’re qualitatively very different types of learning that probably have different consequences and different interpretations.

LEVIN:It is fascinating in the human analogy where I can teach a group of students a subject, even a very mathematical subject that we consider concrete and objective, and we don’t really understand how they learn it.Why some understand it more deeply and can take it further than what you taught them.And it’s just fascinating that this is happening in parallel in a machine.

PAVLICK:Absolutely, like I think an area that I haven’t really collaborated with yet, but would like to is the cognitive science of education because there’s so much interesting about like how do humans learn and how do we teach them and what’s going on there and how do people misunderstand things.And I think there’s like a lot to be shared in like when we’re thinking about the black box of a LLM and the black box of a human from like, education sciences.

LEVIN:迷人。So you use large language models as well as study them.What’s your relationship like with these large language models?

PAVLICK:I mostly use them when I study them.I’ve tried to use them for a few things.I would be embarrassed to be on the record, but I’ve already admitted, I recently got tenure and as a consequence became involved in administration.

LEVIN:哦是的。No good deed goes unpunished.

PAVLICK:确切地。And so as soon as I got involved in administration instead of research, I was like, oh, I start to see the use for large language models.So I tried to do it, to do things like generate the minutes of a faculty meeting, help me sort through some data I was trying to process.And actually, they weren’t good enough, like for even these very basic tasks.

But beyond that, I haven’t actually used them for many things in my day-to-day life.And I don’t know if it’s because a few experiences weren’t quite good enough, or because I’m like jaded and cynical about them despite everything I just said.

LEVIN:Let’s say there was never another update.就是这样。These are the models that we’re all gonna be using.So, we trained them on all of our examples.For instance, translating English to French to Swahili in back again, and now it’s training us.Where does that put us in this chain?And will we cease to expand?Language modernizes all the time.We speak differently than we did a hundred years ago?Are we gonna kind of freeze in time because we’re in a loop with something?Now, all our students are learning to write and speak from the ChatGPTs or the Claudes as opposed to the other way around.

PAVLICK:The classic academic answer is, like, nothing is that new.I actually remember a talk.I saw like early in grad school about how basically Google had trained people to use keyword searches.And this was an example of humans adapting their language to technology.Early information retrieval would just delete out all of your words.

If you said, “Who was Thomas Jefferson’s wife?”, it would just say “Thomas Jefferson wife”, right?And just scramble it.Alphabetize it, right?Like that’s what got you the best result out of the system at the time.

Now they actually wanted the full language back and they were really struggling to get people to write full questions.And so, there’s already, this example of people talking to a computer and adapting their language to get the best results out of that computer.

And so, I think you will see this.People are getting good at prompting language models and talking to language models in this way.I haven’t yet seen it carry over into how people talk to each other, but technology definitely does influence how people talk to each other.Like, my Gen Z students say punctuation when they’re talking.They’ll say something like, “Do you think this is a good idea, question mark?” Like, they’ll say that.And I’m like, I think this is like a spillover from, like, texting.

It almost makes me optimistic.Language has always been very dynamic and very responsive to the technology and the context.And still, I think as long as we continue talking to humans as humans, I think it’s really cool and like cute when you see things like people saying the word “question mark” and “dot dot dot” out loud.It’s like a sign of how plastic and dynamic and interesting language is.

I would worry about the kind of collapse of linguistic diversity and innovation if people start talking to language models almost exclusively.I don’t know, I guess I’m an optimist.I imagine that people do like to talk to people.Even speaking as an introvert who doesn’t particularly love talking to people, like, I think that people will continue to have human interactions and that will save language.

LEVIN:I appreciated when you pushed back at this idea that when computers are just doing math, that was different than when computers create poems or novels or artwork or songs.What do you think this means for human creativity?This is of course, a question that people are semi-panicked about.

PAVLICK:是的。So, I’ve been teaching this class this semester with a professor at Brown named John Kaley, who’s a literary artist, does poetry and other language arts projects, and has always used technology in the course of doing that.

And I think it’s exactly this question about are humans mathematical objects.Like even if you agree or grant that some neurons firing in your brain in a particular way caused you to write this poem, it doesn’t devalue the poem in a particular way.Like I don’t think you have to assert divine intervention was involved in the creation of the poem to believe that the poem itself has aesthetic and artistic value.

Like, I don’t think we have to reduce it to the thing that created it in a human.And even if I understood the brain activations, it doesn’t mean there’s not value in analyzing this poetry.

And I think the same argument could apply to language models.There is a way of thinking about what they create on its face without caring about what math and whether it was math that caused it.

And there’s probably room for criticism.Depending on what you’re going for, depending on what you care, depending on who you’re talking to in the context, there’s a sense in which you can say, this came from a language model and therefore it’s not interesting… it’s meaningless and everything in between.but I don’t think like humans being mathematical devalues our creativity in any particular way.

LEVIN:嗯。It reminds me of the sort of infinite loops of the free will and soul arguments that were unresolvable and are still debated and might be forever.But here we are, and we care if people intentionally do harmful things or not, or intentionally make beautiful things.That’s just how we are.That’s the human condition.

PAVLICK:确切地。Again, everyone kind of relates to these situations differently.But like, if I’m thinking about a time, I was like particularly connected to a piece of literature, piece of art.I don’t think I spent a ton of time thinking about how causal the person was in it.正确的？Sometimes you care about the person’s story.But I’m rarely like hung up on whether this was preordained by the universe.Like that’s not interfering with my ability to appreciate it.

LEVIN:You can be a physical determinist and still right, enjoy the Tate Modern.So, I wonder if even though you were thinking about these things and deep in this subject, if the revelation of the functional LLMs that came out practically as tools, if you were surprised by them?And also do you feel in a position to predict what the future’s gonna be like, how rapid is this change gonna be?

PAVLICK:Hmm, I don’t think I’ve been like super-surprised by the technology, but I think I’ve been a little surprised by the pace of the rollout.I wouldn’t even say surprised because I think it’s economically driven.not technologically driven, right?It’s not like the technology is moving faster than I realized, or at least not now, maybe.

My early surprise moments were back in like 2018, 2019, with what would say were the precursors to the large language models.There’s one called ELMO, one called BERT.There was a little cute period where we had a Sesame Street theme going, unfortunately died after a stretch of a few models.It was like very exciting time where it felt like research was turning a corner, and I think a lot of people in academia would point back to that time as being like, “Oh, we’re at a pivoting moment in NLP.”

And then there was like the chat GPT moment, which is where it was like suddenly pulling back the curtain and like now everyone’s involved.And so that was a really important time that I think surprised me in that pace at which then the world was paying attention and the reaction and then the deployment.

It does surprise me how quickly people are pushing things out and how willing people are.I’m generally an optimist, but it does scare me a little bit.I think we’re gonna have a few, like, ‘oh crap’ moments that could have been avoided, right?

LEVIN:What would you imagine would be moment like that?

PAVLICK:I could imagine some kind of big security things, some kind of either intentional or unintentional glitch or attack where a lot of systems are implicated.AI, it seems like it’s lots of different technologies, but they’re actually all the same technology, which makes you think they’re deeply correlated errors or vulnerabilities.There’s like a small amount of open-source software that many things are based on.And I mean, it could be overblown because a lot of things are based on the Linux kernel, and that’s quite safe.

LEVIN:The Linux kernel being pre-Unix, which a lot of our Apples run on this kind of operating system.

PAVLICK:确切地。It’s like kind of core operating system code that is then repurposed and reused.

LEVIN:But Linux was free, right.And it was open source, and it was part of that utopian idealistic movement.

PAVLICK:And obviously could still have bugs in it, and things, but was like understood at a level that is different from large language models.I think there’s also the obvious one that people talk about, which is just the proliferation of scams and this lack of trust.Because if you don’t know that language is coming from a human anymore, you can just fundamentally start doubting everything.Like, I’ve already felt myself do this every time I see a news story or an image.If I didn’t see it on kind of mainstream media, then I just preface everything with I haven’t fact checked it myself.So, I think there are a lot of these things that it’s surprised me how willing people are to try things out so far.

LEVIN:We go right back to it.Human beings, man, we try to be suspicious and we just kind of can’t help ourselves.

PAVLICK:Yeah, yeah, right, exactly.

LEVIN:So there’s a question I always like to ask of our guests, what about your work brings you joy?

PAVLICK:I’m glad we turned that, because now we just talked about the pessimistic thing, but I think I ultimately am extremely optimistic, right?Like, I think the potential value of the systems far outweighs the costs.A lot of people come into AI more as dreamers than anything else.It is just very exciting.It’s fascinating.Like, there’s nothing more fascinating than the human mind and brain.Of course we’re obsessed with this thing.We’re like a narcissistic species.It’s like, we’re so great.We’re so incredible.Like, how do we work?Then the concept that we would stumble upon something computational that replicates parts of that.Being able to study these things and ask questions that seem like they don’t have answers, but then take them seriously as though they do have answers.I feel like it feels like a big privilege.

LEVIN:Treating these philosophical questions is rigorous, scientific, concrete questions that you can actually make progress on.

PAVLICK:A lot of people get a few late nights in college to like think about these things, you like stay up late with your roommate, like having this, and then you go and have a real job where you don’t get to think about it again.Yeah, that’s my whole real job.And that’s wonderful.

LEVIN:Ellie, thanks so much for joining us.It’s been a real pleasure.

PAVLICK:Oh, it’s a pleasure.

[Music plays这是给出的

STROGATZ:What a charming take on this, that she gets to think about what she wanted to think about as a college student.I think a lot of scientists feel this way, that it’s a privilege to be able to really spend our time doing what we want to do.Our hobby is our job.

LEVIN:Yeah, and hers seems to me particularly elusive in the science space.It’s getting so philosophical, right.That how do you make progress in the same way that you do in science?I mean, philosophy can really spin your wheels for a very long time.

STROGATZ:Yeah, that makes me wonder, does philosophy always turn into science, just a matter of time?It used to be a question, how is life different from non-life?But after Watson and Crick it started to really look like it’s gonna boil down to molecules and atoms.

LEVIN:And Bertrand Russell, of course, famous British philosopher, also turned to science in many ways.I mean, he was trying to write a kind of mathematical principia, right?Logic, science were involved with things that we’re setting up what Turing, did, what Cantor did, what Godel did.I don’t know.It’s an interesting question.You can send all your mail to Steve…

STROGATZ:But, seriously let’s just ask what are gonna be the longest holdouts?For instance, most people would say values are not something that can be quantified.But I’m not even sure about that because with morality being studied nowadays through evolution of cooperation, from a biological perspective.I’m not even sure that values are outside of science.I guess I’m espousing what the critics call scientism.

LEVIN:Mmmm… uh-oh…

STROGATZ:That it’s all science at the bottom.And that’s a big naughty thing to do, isn’t it?嗯？Okay, just, just thinking out loud here.

LEVIN:I feel like you’re lost in thought.And I need to give you some space to ponder and process.Always great talking to you.

[Music plays这是给出的

STROGATZ:Can’t wait to see you again.这很有趣。

LEVIN:是的。下次见。

LEVIN:Still have questions about AI’s impact?Wondering how researchers devise experiments or how mathematicians think about proofs?前往quantamagazine.org/aifor a special series that looks beyond prosaic AI-based research tools to explore how AI is changing what it means to do science and what it means to be a scientist.

STROGATZ:感谢您的聆听。If you’re enjoying The Joy of Why and you’re not already subscribed, hit the subscribe or follow button where you’re listening.You can also leave a review for the show.It helps people find this podcast.Find articles, newsletters, videos, and more at quantamagazine.org.

LEVIN:The Joy of Why is a podcast from Quanta Magazine, an editorially independent publication supported by the Simons Foundation.Funding decisions by the Simons Foundation have no influence on the selection of topics, guests, or other editorial decisions in this podcast or inQuanta Magazine。The Joy of Why is produced by PRX productions.The production team is Caitlin Faulds, Livia Brock, Genevieve Sponsler, and Merritt Jacob.

The executive producer of PRX Productions is Jocelyn Gonzalez.Edwin Ochoa is our project manager.

从Quanta Magazine。Simon Frantz and Samir Patel provide editorial guidance with support from Matt Carlstrom, Samuel Velasco, Simone Barr, and Michael Kanyongolo.Samir Patel is Quanta’s editor in chief.

Our theme music is from APM Music.The episode art is by Peter Greenwood, and our logo is by Jaki King and Kristina Armitage.Special thanks to the Columbia Journalism School and the Cornell Broadcast Studios.I’m your host, Janna Levin.If you have any questions or comments for us, please email us at[email protected]。感谢您的聆听。