日益流行的生成人工智能技术,称为检索增强生成(简称 RAG) -- 一直是企业的宠儿项目,但现在它正走向人工智能的主舞台。
谷歌上周推出了DataGemma,它是谷歌Gemma开源大语言模型(LLM)及其公开可用数据的数据共享项目。DataGemma 使用 RAG 方法来获取数据,然后再对查询提示给出答案。
其前提是奠定生成式人工智能的基础,以防止“幻觉”,谷歌表示,“通过利用数据共享的知识来增强 LLM 的事实性和推理能力。”
另外:o1 和 o1-mini 是什么?OpenAI 的神秘人工智能模型终于来了
虽然 RAG 正在成为一种流行的方法,使企业能够在其专有的企业数据中建立 LLM,但使用 Data Commons 代表了迄今为止 RAG 在云规模上的首次实施 -基于 Gen AI。
Data Commons 是一种开源开发框架,可让人们构建公开可用的数据库。它还从联合国等向公众提供数据的机构收集实际数据。
谷歌指出,在将两者联系起来时,它采取了“两种不同的方法”。
第一种方法是使用 Data Commons 公开的统计数据对提示中输入的具体问题进行事实核查,例如“世界上可再生能源的使用是否有所增加?”谷歌的杰玛将通过引用特定统计数据的断言来回应提示。Google 将此称为“检索交错生成”或 RIG。
在第二种方法中,使用完整的 RAG 来引用数据源,“并实现更全面、信息更丰富的输出”。谷歌表示。Gemma AI 模型借鉴了 Google 闭源模型 Gemini 1.5 的“长上下文窗口”。上下文窗口表示 AI 模型可以存储在临时内存中以进行操作的标记(通常是单词)输入量。
另外:了解 RAG:如何将生成式 AI LLM 与您的业务知识相集成
Gemini 在 128,000 个令牌的上下文窗口中宣传 Gemini 1.5,尽管它的版本可以处理多达一百万个输入令牌。拥有更大的上下文窗口意味着从 Data Commons 检索到的更多数据可以保存在内存中,并在准备对查询提示的响应时由模型仔细阅读。
“DataGemma 在执行操作之前从 Data Commons 检索相关上下文信息。模型启动响应生成,”谷歌表示,“从而最大限度地减少幻觉的风险并提高响应的准确性。”
该研究仍在开发中;您可以在 Google 研究员 Prashanth Radhakrishnan 及其同事的正式研究论文中深入了解详细信息。
Google 表示,在 Gemma 和 Google 的闭源模型中公开提供 DataGemma 之前,还需要进行更多测试和开发,Gemini。
Google 声称,RIG 和 RAG 已经提高了输出质量,“用户在研究、决策或仅仅满足好奇心时将体验到更少的用例幻觉”。
此外:先是 Gemini,现在是 Gemma:Google 新的开放式 AI 模型面向开发人员
DataGemma 是 Google 和其他主导 AI 公司如何利用物联网构建其产品的最新示例超越大语言模型。
OpenAI 上周公布了其内部代号为“草莓”的项目,作为两个模型,使用称为“思想链”的机器学习技术,其中人工智能模型旨在阐明在陈述中涉及其做出的特定预测的因素。