本文最初由 Quanta Magazine 发表。
一张图片可能抵得上一千个单词，但一个单词抵得上多少个数字？这个问题可能听起来很愚蠢，但它恰好是大型语言模型或大语言模型的基础，并通过它们实现了人工智能的许多现代应用。
每个大语言模型都有自己的答案。在 Metas 开源的 Llama 3 模型中，单词被分割成由 4,096 个数字表示的 token；对于 GPT-3 的一个版本，它是 12,288。单独而言，这些被称为嵌入的长数字列表只是难以理解的数字链。但总的来说，它们对单词之间的数学关系进行编码，这些关系看起来惊人地相似。
词嵌入背后的基本思想已有数十年历史。要在计算机上建模语言，首先要获取字典中的每个单词，并列出其基本特征，多少个由您决定，只要每个单词都相同即可。你几乎可以把它想象成一个 20 个问题的游戏，在布朗大学和 Google DeepMind 研究语言模型的计算机科学家艾莉·帕夫利克 (Ellie Pavlick) 说。动物、植物、物体——这些特征可以是人们认为有助于区分概念的任何东西。然后为列表中的每个功能分配一个数值。例如，“狗”这个词在毛茸茸的方面得分较高，但在金属方面得分较低。结果会将每个单词的语义关联及其与其他单词的关系嵌入到唯一的数字字符串中。