Karpathy 共享“LLM 知识库”架构,该架构通过由 AI 维护的不断发展的 Markdown 库绕过 RAG
AI 氛围程序员还有另一个值得感谢的理由安德烈·卡帕蒂,这个词的创造者。
特斯拉前人工智能总监、OpenAI 联合创始人,最近正在运营自己的独立人工智能项目张贴在 X 上描述“LLM 知识库”他用来管理各种研究兴趣主题的方法。
通过建立一个持久的、由法学硕士维护的项目记录,Karpathy 正在解决“无状态”人工智能开发的核心挫败感:可怕的上下文限制重置。
任何使用 Vivi 编码的人都可以证明,达到使用限制或结束会话通常感觉就像对您的项目进行了脑白质切除术。你被迫花费宝贵的代币(和时间)为人工智能重建上下文,希望它“记住”你刚刚建立的架构细微差别。
Karpathy 提出了比矢量数据库和 RAG 管道的典型企业解决方案更简单、更宽松、更优雅的方案。
相反,他概述了一个系统,其中法学硕士本身充当全职“研究图书馆员”,积极编译、检查和互连 Markdown (.md) 文件,这是对法学硕士最友好且紧凑的数据格式。
通过将其“令牌吞吐量”的很大一部分转移到结构化知识而不是样板代码的操作上,卡帕西已经为“第二大脑”的下一阶段绘制了蓝图——一个具有自我修复、可审计且完全人类可读的蓝图。
超越RAG
在过去的三年里,让法学硕士访问专有数据的主导范例是检索增强生成 (RAG)。
在标准 RAG 设置中,文档被切成任意“块”,转换为数学向量(嵌入),并存储在专门的数据库中。
当用户提出问题时,系统会执行“相似性搜索”以找到最相关的块,并将其输入 LLM.Karpathy 的方法中,他称之为法学硕士知识库,拒绝中等规模数据集矢量数据库的复杂性。
相反,它依赖于法学硕士日益增强的结构化文本推理能力。
X 用户可视化的系统架构@himanshu 在对卡帕蒂帖子的更广泛反应中,它分为三个不同的阶段:
数据摄取:原材料——研究论文、GitHub 存储库、数据集和网络文章——被转储到
原始/目录。卡帕蒂利用黑曜石网页剪辑器将网页内容转换为 Markdown (.md)文件,确保图像也存储在本地,以便法学硕士可以通过视觉功能引用它们。编译步骤:这是核心创新。LLM 不只是对文件建立索引,而是“编译”它们。它读取原始数据并编写结构化维基。这包括生成摘要、识别关键概念、撰写百科全书式的文章,以及——至关重要的是——创建反向链接之间相关的想法。
主动维护(Linting):该系统不是静态的。Karpathy 描述了运行“健康检查”或“linting”过程,其中 LLM 扫描 wiki 是否存在不一致、丢失数据或新连接。作为社区成员查理·沃格尼尔观察到,“它就像一个活生生的人工智能知识库,实际上可以自我修复。”
通过将 Markdown 文件视为“事实来源”,Karpathy 避免了矢量嵌入的“黑匣子”问题。AI提出的每一个主张都可以追溯到特定的.md人类可以读取、编辑或删除的文件。
对企业的影响
虽然卡帕蒂的设置目前被描述为“黑客脚本集合”,但对企业的影响是立竿见影的。
作为企业家Vamshi Reddy (@tammireddy) 在回复中指出公告中写道:“每个企业都有一个 raw/ 目录。没有人编译过它。这就是产品。”
卡帕蒂对此表示同意,并表示这种方法代表了“令人难以置信的新产品”类别。
目前,大多数公司都“淹没”在非结构化数据中——Slack 日志、内部 wiki 和 PDF 报告,没人有时间综合。
“Karpathy 风格”的企业层不仅会搜索这些文档,还会搜索这些文档。它会积极创作一本实时更新的“公司圣经”。
作为人工智能教育家和时事通讯作者奥莱·莱曼 (Ole Lehmann) 将其放在 X 上:“我认为,无论是谁为普通人打包这个应用程序,都在坐拥巨大的东西。一个与您已经使用的工具、您的书签、您的稍后阅读应用程序、您的播客应用程序、您保存的线程同步的应用程序。”
Eugen Alpeza,人工智能企业代理构建器和编排初创公司 Edra 的联合创始人兼首席执行官,在 X 帖子中指出:“从个人研究维基到企业运营的转变是残酷的。数千名员工,数百万条记录,不同团队之间相互矛盾的部落知识。事实上,新产品有空间,我们正在企业中构建它。”
随着社区探索“Karpathy 模式”,重点已经从个人研究转向多代理编排。
最近的架构分解@jumperz,AI智能体创建平台创始人二副,通过“群知识库”说明了这一演变,该知识库将 wiki 工作流程扩展到通过 OpenClaw 管理的 10 代理系统。
多智能体群体的核心挑战——一种幻觉可以复合并“感染”集体记忆——在这里通过专用的“质量门”来解决。
使用 Hermes 模型(由 Nous Research 进行结构化评估训练)作为独立监督者,每篇文章草稿在升级到“实时”维基之前都会经过评分和验证。
该系统创建了一个“复合循环”:代理转储原始输出,编译器组织它们,Hermes 验证真相,并在每次会话开始时将经过验证的简报反馈给代理。这确保了群体永远不会“醒来时一片空白”,而是通过对集体所学到的一切进行过滤的、高度完整的简报来开始每项任务
扩展和性能
对非矢量方法的一个常见批评是可扩展性。然而,Karpathy 指出,在约 100 篇文章和约 400,000 个单词的规模下,法学硕士通过摘要和索引文件进行导航的能力就足够了。
对于部门 wiki 或个人研究项目,“花哨的 RAG”基础设施通常会引入比其解决的更多的延迟和“检索噪音”。
科技播客莱克斯·弗里德曼 (@lexfridman)确认他使用了类似的设置,添加了动态可视化层:
“我经常让它生成动态 html(带有 js),使我能够对数据进行排序/过滤并以交互方式修补可视化。另一个有用的事情是我让系统生成一个临时的集中迷你知识库……然后我将其加载到 LLM 中,以便在 7-10 英里的长跑中进行语音模式交互。”
这种“短暂的维基”概念预示着未来用户不仅仅与人工智能“聊天”;而是与人工智能“聊天”。他们催生了一个代理团队来为特定任务构建自定义研究环境,然后在报告编写完成后就解散。
许可和“应用程序上的文件”理念
从技术上讲,Karpathy 的方法建立在开放标准 (Markdown) 之上,但通过专有但可扩展的镜头(笔记和文件组织应用程序)进行查看黑曜石)。
降价(.md):通过选择 Markdown,Karpathy 确保他的知识库不会被特定供应商锁定。它是面向未来的;如果 Obsidian 消失,任何文本编辑器都可以读取这些文件。
黑曜石:虽然 Obsidian 是一款专有应用程序,但其“本地优先”理念和 EULA(允许个人免费使用,商业使用需要许可)符合开发者对数据主权的渴望。
“Vibe-Coded”工具:Karpathy 提到的搜索引擎和 CLI 工具是自定义脚本(可能基于 Python),弥补了 LLM 和本地文件系统之间的差距。
这种“文件覆盖应用程序”的理念是对 Notion 或 Google Docs 等 SaaS 密集型模型的直接挑战。在 Karpathy 模型中,用户拥有数据,而人工智能只是一个高度复杂的编辑器,“访问”文件来执行工作。
图书馆员与搜索引擎
人工智能社区的反应是技术验证和“氛围编码”热情的结合。争论的焦点是,业界是否对向量数据库过度索引,以解决从根本上讲与结构有关的问题,而不仅仅是相似性问题。
贾森·保罗·迈克尔斯 (@SpaceWelder314),一位使用克劳德的焊工,呼应了这样的观点:更简单的工具通常更强大:
“没有矢量数据库。没有嵌入......只有 markdown、FTS5 和 grep…每个错误修复…都会被索引。知识复合。”
然而,最重要的赞扬来自史蒂芬·安戈(@Kepano),Obsidian 的联合创始人,他强调了一个名为“污染缓解”的概念。
他建议用户应该保持他们的个人“金库”干净,并让代理在“混乱的金库”中玩耍,只有在面向代理的工作流程提炼出有用的工件后才将其带入。
哪种解决方案适合您的企业氛围编码项目?
特点 | 矢量数据库/RAG | Karpathy 的 Markdown Wiki |
数据格式 | 不透明向量(数学) | 人类可读的 Markdown |
逻辑 | 语义相似度(最近邻) | 显式连接(反向链接/索引) |
可审计性 | 低(黑匣子) | 高(直接可追溯性) |
复利 | 静态(需要重新索引) | 主动(通过 linting 进行自我修复) |
理想规模 | 数以百万计的文档 | 100 - 10,000 个高信号文档 |
“Vector DB”方法就像一个巨大的、无组织的仓库,有一个非常快的叉车司机。您可以找到任何东西,但您不知道它为什么在那里,也不知道它与旁边的托盘有何关系。Karpathy 的“Markdown Wiki”就像一个精心策划的图书馆,其馆长不断地编写新书来解释旧书。
下一阶段
Karpathy 的最终探索指向了这些数据的最终目的地:合成数据生成和微调。
随着 wiki 的发展,数据通过持续的 LLM linting 变得更加“纯粹”,它成为完美的训练集。
用户最终可以在 wiki 本身上微调更小、更高效的模型,而不是法学硕士只是在其“上下文窗口”中阅读 wiki。这将使法学硕士能够按照自己的权重“了解”研究人员的个人知识库,从本质上将个人研究项目转变为定制的私人情报。
底线:Karpathy 不仅分享了剧本,还分享了剧本。他有着共同的理念。通过将法学硕士视为保持自身记忆的主动代理,他绕过了“一次性”人工智能交互的限制。
对于个体研究者来说,这意味着“被遗忘的书签”的终结。
对于企业来说,这意味着从“原始/数据湖”到“编译知识资产”的转变。正如卡帕蒂本人总结的那样:“你很少手动编写或编辑维基;这是法学硕士的领域。”我们正在进入自主档案时代。