Meta AI 推出 EWE（显式工作记忆）：一种通过集成工作记忆来增强长文本生成真实性的新颖方法

大型语言模型 (LLM) 彻底改变了文本生成功能，但它们面临着幻觉的严峻挑战，生成实际上不正确的信息，特别是在长格式内容中。研究人员开发了检索增强生成（RAG）来解决这个问题，它通过将可靠来源的相关文档合并到输入提示中来提高事实准确性。虽然 RAG 已显示出希望，但各种迭代提示方法（例如 FLARE 和 Self-RAG）的出现可以进一步提高准确性。然而，这些方法仍然受到对传统 RAG 架构的依赖的限制，其中检索到的上下文是集成到输入字符串中的在线反馈的唯一形式。

传统的文本生成方法已经通过几种关键方法不断发展，以提高事实准确性和上下文相关性。迭代检索方法分段生成响应，每个片段利用新检索的信息。ITER-RETGEN 通过使用先前的输出来制定后续知识检索的查询来举例说明这种方法。FLARE 和 DRAGIN 等自适应检索系统通过基于置信度的验证实现逐句生成，从而完善了这一过程。此外，长上下文法学硕士已经探索了基于内存的方法，例如 Memory3，它使用 KV 缓存作为内存来编码知识块。其他系统（例如 Memorizing Transformers 和 LongMem）已经尝试了内存检索机制。

Meta FAIR 的一组研究人员提出了 EWE（显式工作记忆），这是一种创新的人工智能方法，通过实施动态工作记忆系统来提高长文本生成的事实准确性。该系统独特地结合了来自外部资源的实时反馈，并采用在线事实检查机制来不断刷新其内存。关键的创新在于它能够在生成过程本身中检测和纠正错误声明，而不是仅依赖于预先检索的信息。此外，EWE 的有效性已通过对四个事实寻求的长格式生成数据集的全面测试得到证明，显示出事实性指标的显着改进，同时保持了响应质量。

EWE 的架构代表了一种多功能框架，可以适应各种配置，同时保持效率。EWE 的核心采用了可以在生成过程中动态更新的多单元内存模块。这种设计允许 EWE 以不同的模式运行，从使用单个存储单元而不停止时的简单 RAG，到实现句子级验证时的类似 FLARE 的功能。与 Memory3 等类似方法不同，EWE 不需要对所有段落进行预编码，并且在生成过程中具有动态内存更新的独特功能。这种灵活性使得能够通过不同的存储单元并行处理不同形式的外部反馈。

实验结果表明多个数据集的事实准确性显着提高。使用 Llama-3.1 70B 基本模型，检索增强持续增强事实性指标。虽然竞争方法显示出不同的结果，Nest 仅在 Biography 数据集上表现良好，而 DRAGIN 显示出与基本检索增强相似的性能，但 EWE 在所有数据集上实现了最高的 VeriScore F1。尽管 CoVe 的精确度很高，但它产生的响应较短，导致召回性能较低。EWE 保持了与基本模型相当的性能，通过 AlpacaEval 测量，帮助胜率约为 50%。

总之，Meta FAIR 的团队推出了 EWE（显式工作记忆），它代表了在解决长文本生成中事实准确性挑战方面的重大进步。该系统的创新工作记忆机制通过基于检索和事实核查反馈的定期暂停和记忆刷新来运行，展示了人工智能生成内容更可靠的潜力。这项研究确定了关键的成功因素，包括及时的记忆更新、集中注意力机制和高质量的检索数据存储，为事实文本生成系统的未来发展铺平了道路。

查看这纸。这项研究的所有功劳都归功于该项目的研究人员。另外，不要忘记关注我们 叽叽喳喳并加入我们的 电报频道和 领英 集团奥普。不要忘记加入我们的 60k+ ML SubReddit。

ðě 即将举行的免费人工智能网络研讨会（2025 年 1 月 15 日）：利用综合数据和评估情报提高法学硕士的准确性—参加本次网络研讨会，获得可操作的见解，以提高 LLM 模型的性能和准确性，同时保护数据隐私。