句子中的意思在哪里？数学可能会告诉我们。|Quanta杂志

有许多不同的方法可以在数学上研究语言。例如，您可以将语言视为具有代数结构的语言。当我乘以两个数字时，我会得到另一个数字。以同样的方式，我可以用英语乘以两个短语，然后得到另一个短语。

您还可以从类别理论方面考虑语言。

什么是类别理论？

一个类别由一些对象以及它们之间的关系组成，称为形态主义。可以设置对象，或组或向量空间。形态学将一个对象与另一个对象相关联。说您的对象是集合的。然后，形态是将一个设置映射到另一个设置的函数。

我喜欢将类别理论视为数学的疯狂库。在《疯狂的libs》中，您有一个故事，但是根据您填写的不同单词，您会得到故事的不同版本。事实证明，在整个数学景观中都有某些故事或构造。数学的不同分支可能会对事物使用不同的单词，而不是vector space'，但是当您以正确的方式交换单词时，您会看到基础框架或故事确实相同。

当我第一次在研究生院学习一些类别理论时，我认为这只是最糟糕的。我记得在想，这就是为什么人们不喜欢数学的原因。这是抽象的抽象，没有直觉的基础。令人沮丧。直到我的博士学位才顾问，约翰·特里拉（John Terilla），帮助我看到一个强大的工具类别理论可以是什么。

是什么使它如此强大？

它使您的脚从地面上抬起，并为您提供了数学景观的鸟眼视图，因此您可以看到在地面上无法察觉的连接。现在，这是我最喜欢思考的一件事 - 看到它只是花了更多的数学背景和成熟度。

什么类别理论可以让您看到您可以否则？

数学中的一个真正有意义的问题是：何时两件事相同？相同的含义是什么？它如何根据您所说的数学类型而改变？

例如，一组有点像一袋大理石：它没有真正的结构。因此，我们说两组具有相同数量的元素时相同。另一方面，小组是一个通过某些规则相互作用的集合。现在，您的相同性概念必须考虑到这种额外的结构。

类别理论提供了一个通用模板，用于描述这些不同的相同概念。然后，您可以在尝试解决问题时使用该模板在这些不同的上下文之间跳跃。

你能举个例子吗？

我最喜欢的例子之一来自拓扑结构。形状称为拓扑空间形成类别。您可以将一个伸展到另一个，而这种伸展是将它们相互关联的形态。

假设您有两个拓扑空间，您想知道它们是否相同。如果是，那么当您将一个空间延伸到另一个空间时，它的孔数不会改变。直接处理这些空间可能是超级毛茸茸的，因此这可能真的很难弄清楚。

但是，该孔的数量总是与完全不同类别的数字相同。

类别理论使您可以从拓扑空间的类别跳到另一个类别。如果您发现向量空间的尺寸不同 - 更容易测量的东西 - 那么您知道两个空间可能是相同的。您通过使用类别理论在拓扑结构和线性代数之间传递了这一点。

那么，您如何使用类别理论理解语言呢？

语言和类别理论齐头并进。我们不希望将任何特定的刚性数学模型强加于语言。我们可以从简单的频率开始，例如cat词在某些其他单词旁边出现多少次。如果我说好奇心杀死了____，我可以计算下一个单词将是猫而不是直升机的可能性。”

然后，我们可以将每个可能的单词或短语（或字母的组合）视为一种更通用的类别中的对象，称为丰富类别。每个对象都会通过它遵循的概率与其他所有对象相关 - 这些是您的形态的丰富版本。您可以将它们视为单词之间的箭头，每个箭头都标有一个数字。

为什么在这样的类别中构架语言有帮助？

如果您喜欢某种东西，那么您就会随处可见。因为它是如此抽象，并且因为它将数学跨数学的思想联系起来，所以数学家熟悉的许多事情都可以根据类别理论重新表达。

但是它比这更深。一旦将语言视为类别，您就可以访问人们开发的数十年构造。因此，您可以翻阅这本食谱书，发现一些可能有助于学习人类语言或了解大语言模型中发生的事情。

您如何使用这些食谱之一理解新事物？

人们想知道的一件事是，您如何仅从有关单词倾向于组合的基本信息开始，才能获得更多的抽象概念。如果我要求Chatgpt列出五个也是家用宠物的爬行动物，那么它如何知道如何加入这两件事？您如何从符号字符串及其统计数据转变为这种逻辑关系？

我们可以使用我们的食谱之一，使我们对此有潜在的见解。首先，我们将每个单词都关联到一个类别理论构建，该构建构建了该单词可以出现的每个短语，以及该短语的普遍性。然后，我们可以采用与两个不同单词相关联的构造，并对它们进行一些非常简单的操作，这些操作又在类别理论中再次非常经典。

我们得到的是一种自动关联两个原始单词的结构。如果我们的原始单词是大和黄色的，那么我们就会得到一些大概的话，将大量的短语分配给了诸如大黄色的太阳，较少的短语和较少的短语。

因此，使用类别理论，您可以在数学上显示高级概念如何从真正简单的统计信息中出现。我认为这也许是思想的形成方式。我不想说在人的思想中形成，因为谁知道大脑的工作原理。但是，这种概念性内容在使用语言的原始数据中存在，因为我们开始的只是这些频率。

您认为这可能是LLM在做什么？

在LLM接管之前，我加入了该研究项目。但是它们从我们相同的频率开始。我不知道变形金刚内部发生了什么。我不确定有人会这样做。但是也许这可能是对话的开始。

您的工作更普遍地暗示着什么？

我认为这表明只有裸露的语法中存在有意义的信息，就像什么相关。如果您查看哪些单词倾向于以蓝色的蓝色大理石或蓝色的蓝色来，但不是蓝色的鳄梨 - 您能感觉到蓝色的含义吗？

在语言社区中，这不是一个商定的事实。作为一个人，我可以从页面上的句子中获得意义，但是纸上的单词我可以访问。我可以进入世界。语言学家就您是否需要世界模型从书面语言中提取含义进行了辩论。在语言中，含义生活在语言上的想法是一种古老的语言学，但近几十年来，这在很大程度上已经脱离了时尚。

但是，这项工作和LLMS的最新成功支持了以下观点：在统计数据中，单词如何一起使用。因此，这可能有助于语言学家所进行的更大的对话。

在最近的论文中，您还使用类别理论将全新的概念带入语言研究。

正确的。我们正在研究一种类别的大小 - 一种与拓扑相关的大小量度，并且是该类别的特征。我的合着者Juan Pablo Vigneaux最近发现了一种新的计算幅度的方法。因此，我们决定在一项其他工作之后，在语言形成的类别上尝试它。

令人惊讶的是，当我们确定该类别的幅度公式将是什么样子时，我们最终得到了一个数学表达式，其中包含信息理论中发现的中心数量。熵 - 衡量其中包含多少信息的量度。

这种连接告诉您什么？

它指出了熵和拓扑之间的有趣联系。这些事情通常不会互相交谈 - 他们在科学景观的完全不同的目的上。但是近年来，这种联系开始弹出，这可能是另一个例子。我对这种现象非常感兴趣，因为这种现象感觉与众不同。

我们还盯着答案，例如，这是什么？熵在语言的背景下是什么意思？那会告诉我们什么？然后，计算幅度可以用作比较不同语言的结构的一种方式，例如，将人类语言与LLM生成的语言进行比较？

这感觉就像是一个非常高的梯子中的第一个梯级。还有很多事情要做。

您希望您的工作能带您去哪里？

我希望它能使我们对数学本身有更深入的了解。

它可以教会我们有关语言现象的知识，因此我们可以更好地了解周围的世界。但是，真正很酷的是，也许缺少一些数学思想，这就是为什么这种现象是如此神秘且难以理解。

也许以这种方式学习语言会帮助我们发现我们刚刚发现的一些新数学结构。这一直在数学上发生。数学家遇到了尚未有名字的事物，这些结构供您使用。

我认为五年后，我们可能会有受语言启发的新数学思想。