Anthropic 宣布推出上下文检索，这是人工智能系统与广泛知识库交互的重大进步。该技术通过在嵌入或索引之前用上下文信息丰富文本块来解决检索增强生成 (RAG) 系统中上下文丢失的挑战。
上下文检索包括上下文嵌入和上下文 BM25，上下文 BM25 是传统的 BM25 算法考虑嵌入的扩展上下文。这种双重方法通过提高语义理解和准确的词汇匹配来减少检索失败。
性能增强包括仅使用上下文嵌入将检索失败减少 35%，而通过上下文嵌入和上下文集成将检索失败减少 49%BM25。添加重新排序步骤可进一步减少高达 67% 的错误。
Anthropic 还引入了提示缓存，通过缓存文档块并最大限度地减少重复处理，显着降低了处理成本。此功能允许从提示中的特定前缀恢复，从而优化 API 使用，有效减少重复任务或具有一致元素的提示的处理时间和成本。此外，上下文检索已被证明在各个领域都有效，使其成为处理大型数据集的企业的宝贵工具。
人工智能社区对上下文检索表达了热情，强调了它重新定义人工智能系统如何管理和处理数据的潜力。解释数据，特别是在减少上下文丢失和增强人工智能响应的可靠性方面。
Christophe Bouvard 在他的 X 帐户上做出了反应：
Anthropic 的上下文检索：RAG 增强了！
用户 Kamesh.eth 发布：
上下文检索是将人工智能系统扩展到大型知识库的游戏规则改变者。
这种方法创新为人工智能如何更智能地处理信息开创了先例，有可能带来更加自主和情境感知的人工智能系统。