我们很高兴地宣布 精灵代码，Databricks Genie 家族的最新成员。在过去的六个月中，代理编码工具从根本上改变了软件工程； 精灵代码给数据团队带来同样的转变。Genie Code 可以自主执行复杂的任务，例如构建管道、调试故障、运输仪表板和维护生产系统。

与只专注于编写代码的代理不同，Genie Code 还充当主动生产代理。它在后台监控您的 Lakeflow 管道和 AI 模型，对故障进行分类，处理例行 DBR 升级，并在您的团队注意到之前调查异常情况。

它通过与 Unity Catalog 深度集成来实现这一切，以便了解您企业的数据、语义和治理策略。在实际数据科学任务中，Genie Code 的性能明显优于领先的编码代理 2 倍以上。

代理数据工作的兴起

代理编码工具已经改变了软件工程，使开发人员超越自动完成，转向代理驱动的开发。只需一个提示，工程师现在就可以在几秒钟内构建功能、重构代码并部署原型。这种转变是由法学硕士的进步和可以解释现代软件代码库复杂上下文的代理系统推动的。

市场上大多数代理商都将代码作为最终产品。然而，对于数据团队来说，代码只是操作和理解底层数据的工具。这正是以软件为中心的代理经常难以处理数据工作的原因。在数据生态系统中，上下文不仅存在于脚本中，还存在于使用模式、沿袭和业务语义中。 

了解这一背景至关重要，因为风险很高。仪表板驱动业务决策，管道为生产系统提供动力，机器学习模型影响现实世界的结果。对于数据团队来说，代理提供的速度和影响力必须与绝对的准确性、可重复性和治理相结合。

精灵代码的作用：

• 担任专家机器学习工程师：Genie Code 端到端处理完整的 ML 工作流程。它通过复杂的问题进行推理来规划、编写和部署模型，同时将实验记录到 MLflow 并微调服务端点以获得最佳性能。
• 深厚的数据工程专业知识：虽然新手工程师可能会编写适用于测试数据的脚本，但 Genie Code 的设计就像高级架构师一样。它考虑了暂存环境与生产环境之间的差异，构建变更数据捕获的工作流程并应用数据质量期望。
• 主动维护和优化：Genie Code 在后台监控 Lakeflow 管道和 AI 模型，以对故障进行分类并调查异常情况。它会自动分析代理痕迹，以在人类干预之前修复幻觉并调整资源分配。
• 了解企业背景：Genie Code 与 Unity Catalog 集成，强制执行现有的治理策略和访问控制。它理解业务语义和审计要求，并联合企业数据，包括来自外部平台的数据。
• 随着时间的推移而改善：使用 Genie Code 的团队越多，它就会变得越智能。通过持久内存，它可以根据过去的交互和编码偏好自动更新内部指令。在内部数据科学任务中，Genie Code 的质量比领先的编码代理高出 77.1% 到 32.1%。

借助 Genie Code，数据团队从提示副驾驶转变为委派实际工作：构建管道、调试故障、发送仪表板以及端到端地自主维护生产系统。

在 SiriusXM，Genie Code 支持从编写笔记本和复杂 SQL 到通过表关系进行推理和调试管道的一切。它作为实践开发合作伙伴，帮助我们的数据团队在更短的时间内交付高质量的工作。 – Bernie Graham，Sirius XM 数据工程副总裁

数据和人工智能工作的最高质量代理

Genie Code 不由单一模型提供支持。它是一个代理系统，可以跨多个模型和工具路由任务，自动为每个作业选择最佳模型，无论是前沿 LLM、开源模型还是 Databricks 上托管的自定义模型。这样用户就无需手动在模型之间切换或猜测哪个模型会产生最佳结果。

Genie Code 还与 Databricks API 深度集成，使其能够识别正确的数据资产、组合丰富的上下文并生成更高质量的查询。Databricks Research 不断调整系统，对领先人工智能实验室的最新模型以及平台上运行的自定义模型进行基准测试。

在我们最近从内部用户收集的实际数据科学和分析任务的性能基准测试中，Genie Code 的性能显着优于配备 Databricks 模型上下文协议 (MCP) 服务器的领先编码代理。

• 精灵代码：77.1% 解决了任务
• 领先的编码代理 + Databricks MCP：32.1% 解决了任务

Genie Code 支持数据工作的全生命周期

训练和评估机器学习模型

Genie Code 充当嵌入您工作流程中的专门 ML 工程师。要求它“训练一个预测模型来预测销售额@销售表“它将通过整个管道进行推理： 

• 识别和分析特征
• 正确分割训练、验证和测试数据集
• 训练多种模型类型并进行比较，运行超参数扫描以训练最佳模型。
• 评估 AUC、F1、RMSE 和 R² 等指标的结果
• 生成特征重要性、混淆矩阵和 ROC 曲线图
• 在 MLflow 中跟踪实验
• 根据模型诊断提出改进建议

一旦部署在 Databricks Model Serving 上，Genie Code 就会处于循环状态：它可以检查端点运行状况、分析跟踪并提出优化建议。您可以在下面的“从代码到生产：使用 Genie 代码实现可观察性”部分中阅读更多相关内容。

Genie Code 改变了我们数据团队的运作方式。我们可以将复杂的工作流程交给了解我们的数据、治理、业务环境和内部库（例如雷普索尔人工智能产品）的人工智能合作伙伴，而不是手动将笔记本、管道和模型拼接在一起。它加速了从时间序列预测到生产部署的一切，而不牺牲严谨性或控制力。 – Emilio Martín Gallardo，Repsol 数据管理与分析首席数据科学家

创建生产就绪的数据管道

Genie Code 是您的专家数据工程师，旨在帮助您设计和发展可靠的数据管道。

• 从自然语言创建管道：描述您的需求，Genie Code 会生成完整的 Spark 声明式管道，其中内置了摄取、转换和数据质量期望。
• 扩展现有管道：添加数据集、修改转换、编写 AutoCDC 流、配置 Auto Loader 以及应用数据质量期望，所有这些都在当前管道的上下文中。
• 了解管道行为：检查输出、跟踪流入下游表的数据流以及显示行计数或架构中的意外变化。

Genie Code 让我们超越了辅助编码，进入了真正的代理数据工程。它可以分析我们的 Lakeflow 管道，提出具有差异的多文件更改，执行具有保护措施的运行，并迭代故障直至问题得到解决。它感觉不太像自动完成，而更像是嵌入在我们工作流程中的协作者。 – Nishit Gajjar，全球基础设施技术提供商技术主管

创建具有可重用语义定义的仪表板

Genie Code 可以生成可视化效果、配置过滤器并组织多页仪表板布局，所有这些都具有可重用的语义定义。它将这些定义连接到过滤器、计算和布局，这些过滤器、计算和布局随着仪表板的增长而扩展，帮助团队更快地行动，同时保持一致性。

借助 Genie Code，我们的团队可以在几周而不是几个月内提供人工智能驱动的分析和自动化工作流程。低代码代理帮助我们更快地行动，同时与治理保持一致，使项目和工程团队能够从复杂的数据中获得自然语言的见解，而不会减慢交付速度。 – Russell Singer，Bechtel 公司首席数据架构师

自主多步骤规划和执行 

提供一个高层次的目标，例如 “识别航班延误风险并构建监控仪表板”。Genie Code 通过需求进行推理，制定多步骤计划，并在单个对话线程中跨所有 Databricks 笔记本、AI/BI 仪表板和 Lakeflow 执行该计划。

我们在丹佛斯看到的是 Genie Code 改变了数据团队内部的角色，支持我们对数字化和人工智能的战略重点。数据科学家仍然提供指导和审查，但工程师、分析师和领域专家现在可以与助手一起在笔记本中积极工作，并为高级分析工作流程做出贡献。它将数据科学变成了更具协作性的团队活动。 – Radu Dragusin，丹佛斯数据与人工智能首席工程师

通过深度上下文搜索进行探索性数据分析

Genie Code 使用流行度、沿袭、代码示例和 Unity Catalog 元数据来查找最相关的数据集以进行任何分析。这种深入的上下文搜索消除了手动寻找数据的工作，并确保您的工作基于组织内最准确和最常用的表格。

我真的被迷住了。Genie Code 感觉就像是对数据工作如何完成的未来的一瞥。 – Sameer Yasser，Sundt Construction 高级数据工程师

定制和可扩展性

Genie Code 是一个灵活的平台，旨在根据您团队的特定标准和外部技术堆栈进行定制。扩展其功能的主要方法有以下三种：

1. 通过模型上下文协议 (MCP) 的外部工具
   Genie Code 支持 模型上下文协议 (MCP)，一个开放标准，允许它安全地与外部工具、API 和文档进行交互。这使得自主工作流程能够扩展到 Databricks 工作区之外。

例如，当您被分配 Jira 任务来训练新的 ML 模型时，Genie Code 可以自动从中收集上下文、执行任务并使用结果更新票证。

通过 MCP 将 Genie 连接到您的内部 Confluence、Google Drive、GitHub 或 Notion，以便在故障排除时参考您团队的特定运行手册和数据字典。

2. 代理技能：定义 特定领域的能力教 Genie Code 如何一致地执行复杂的任务。无论是您的公司处理 PII 屏蔽的特定方式还是用于数据验证的自定义框架，技能都可确保 AI 每次都遵循您组织的最佳实践。技能遵循开放的特工技能 格式。
3. 内存：使用次数越多，Genie Code 就会变得越聪明。通过持久记忆，代理会根据您过去的交互自动更新其内部指令。它会了解您的编码偏好，记住您最常使用的数据集，并保留跨会话的上下文。

从代码到生产：Genie Code 的可观察性

编写代码只是第一步。维护它是真正的挑战。Genie Code 充当可观察性代理，以保持您的数据和 AI 工作流程健康。虽然成千上万的客户使用 Databricks 来服务复杂的 AI 应用程序，但在生产中调试这些模型通常是生命周期中最耗时的部分。

Genie Code 现在直接与 Databricks Model Serving 和 MLflow 3.0 集成，以自动化此过程。您可以使用 Genie 来执行以下操作，而不是手动搜索日志和跟踪：

• 端点健康检查：在单个提示中获取跨计算、请求处理和服务器日志的完整状态报告。

• 代理质量分析：实时显示复杂代理跟踪中的幻觉、不正确的工具调用以及用户沮丧模式等微妙问题。

• 生产故障排除：当事件发生时，Genie 会交叉引用服务器日志和指标，以自动执行第一轮诊断并缩短解决问题的时间。
• 端点优化：根据 Databricks 最佳实践获取有关预配置并发、硬件配置和自动扩展的建议。

保持工作负载健康的后台代理

Genie Code 设计为在后台运行，因此即使在关闭笔记本电脑后，您的数据仍保持健康。您可以并行部署多个代理来处理通常需要数据工程师一周时间的操作工作。这些后台代理通过处理重复性任务（例如响应作业故障和管理例行升级），超越了被动支持，转向主动维护。当管道中断时，代理会识别根本原因，并仅在安全沙箱环境中验证后才提出修复建议。 

例如，如果生产管道由于架构不匹配而失败，例如列从 INT (150) 更改为 STRING (€150 USD–)，Genie Code 将查明故障并自动修复损坏的管道。 

后台特工即将到来。 

立足于 Unity 目录：集成安全和治理

Genie Code 直接构建在 Unity Catalog 上。这种集成可确保代理遵循与 Databricks 平台其他部分相同的安全和治理规则。

当 Genie Code 搜索数据时，它仅显示用户有权访问的资产。当它构建管道时，它会遵守现有的沿袭和访问控制。

• 本机修订历史： 每次编辑都通过 Databricks 版本控制系统进行跟踪。您可以满怀信心地回滚笔记本、查询、文件和 Lakeflow 管道之间的更改。
• 内置护栏：Genie Code 旨在在执行可以修改基础表的代码之前主动请求确认。
• 访问控制执行：Genie Code 绝不会公开用户无权查看的数据资产。
• 综合审计日志记录：您的组织可以通过现有的审计基础设施全面了解 Genie Code 的使用情况。

立即在您的工作区中可用

精灵代码是 一般可用现在在您的 Databricks 工作区中。您现在可以在笔记本、SQL 编辑器和 Lakeflow Pipelines 编辑器中找到 Genie Code 面板，无需进行复杂的配置。

了解更多

如果您想了解有关 Genie Code 的更多信息：

• 访问我们的 网页了解 Genie Code 的关键功能和用例，并了解它如何在 Databricks 平台上工作
• 观看 演示查看 Genie Code 计划并端到端执行真实数据工作流程
• 阅读 文档立即开始在您自己的工作空间中使用 Genie Code

我们很高兴看到您使用 Genie Code 构建的内容以及自治代理将如何重塑您的数据团队在 Databricks 中的工作方式。