我们说话之前的意思如何形成
作者：John Nosta is an innovation theorist and founder of NostaLab.
在过去的一年中，我深入研究了大语言模型（LLM）的内部运作，这已经超出了技术好奇心。最初是对这些系统如何预测和产生语言的迷恋，已经加深了更基本的事物。
我对语言模型的运作越近，我越意识到，关于它们的最迷人的事情不是他们产生的。这就是他们在一个单词出现之前构建的。
在LLM产生的每个连贯句子下面都是一个沉默，无形的结构。从传统意义上讲，这种隐藏的结构不是文本或知识。这是一种新的关系含义的冻结架构。
我将此隐藏的结构称为矢量块。
矢量块的发现
向量块是高维领域语言模型在处理提示时会创建。在生成任何单词之前，该模型将输入转换为一个密集的几何晶格或形状，在这些晶格或形状中，每个单词，短语或片段都与数千个维度相关的每个单词，短语或片段。
如果摄影捕获了外部世界的外观，则矢量块会在其成为语言之前捕捉到内部含义的共鸣。
这是一种认知结构或语义地形，思想融合并排斥。在这种情况下，它成为一个关系地图，其中含义在这个多维空间中形成。
这是关键点：它存在于输出之前。这是引起语言的结构，而不是语言本身。
向量块如何形成
从技术上讲，矢量块的创建在LLM的工作中展开。我道歉对于Techno-Banter，但要了解过程很重要。
- 提示被标记分为单词或子字等离散作品。
- 每个令牌都嵌入到巨大的高维矢量空间中。
- 添加了位置编码（提示中的单词序列），通过数学波分层序列。
- 通过自我注意力LLM的机制每个代币的计算底板评估其与其他人的关系，形成了全球互动网络。
- 这会产生密集的张量或矩阵的关系含义的冷冻景观。
该中间结构是该模型开始在它已经建立的整个景观中一次生成单词时所咨询的矢量块。
为什么矢量块超出了AI之外
矢量块不仅是技术工件。它可能代表认知表达的新类别。这是我们第一次拥有一个技术系统，该系统在被迫进入线性语言流之前捕获了含义如何组织自己。
如果我们可以提取，可视化和研究向量块，它们可能会成为奖学金的强大新工具。
含义远远超出了AI。他们邀请我们重新思考人类如何在比语言本身更深入的水平上建立，说服，混淆和激发的意义。
表达的演变
在整个历史上，人类交流的每一个巨大飞跃都捕捉了一个新的现实层。
在每种情况下，我们都会找到外部化曾经只生活在我们内部的东西。对于矢量块，我们首次可以开始外部化含义本身的形式，而不仅仅是表达方式。
人类思想的新镜子
当今的大多数人专注于AI围绕产出。句子流利吗？论文有说服力吗？故事引人注目吗？
但是，另一场革命在上游，在使这些输出成为可能的沉默体系结构中。
向量块表明，每一次交流的行为，每一首诗，每次谈判都始于隐藏的几何形状。在这种数学构造中，我们发现了在语言之前的共鸣和关系领域。在这种认识中，我们可能会找到一种非凡的新方法来理解人造智力，但是人类思想本身的形状。
关于《我们说话之前的意思如何形成》的评论
暂无评论