Firebase中的Vertex AI旨在简化Gemini驱动的移动应用程序的创建过程

2024-10-17 16:01:37 英文原文

作者:Sergio De Simone

目前测试版可用,的Firebase的Vertex AI SDK启用创建超越简单聊天模型和文字提示的应用程序谷歌刚刚发布了一个Colab帮助开发人员完成将其集成到他们应用程序所需的操作。

新的协作涵盖了几个关键主题,包括提示设计、如何设置一个Firebase项目以使用Vertex AI、配置您的Android Studio项目以及使用Kotlin将其集成到代码中。

谷歌工程师Thomas Ezan解释说,为了构建有效的提示设计,开发人员可以使用 vertex AI工作室一个基于云的工具,旨在快速对Gemini模型进行原型设计和测试。

Vertex AI的一个特点是承诺使开发人员更容易让其应用程序的行为专业化。系统指令.

系统指令作为“前言”,您会在用户提示之前将其纳入。这使得可以塑造模型的行为以符合您的特定要求和场景。

使用系统指令,开发人员可以一次性预定义期望的输出风格或语气、一个角色或身份(例如,“像在跟五岁孩子解释一样”),任务的目标或规则(例如,“仅返回代码片段而不作进一步解释”),以及与应用程序用户相关的任何其他上下文。

系统指令在初始化时设置,如下片段所示:

val 生成模型 = Firebase.vertexAI.生成模型(
  modelName = "gemini-1.5-flash",
  ...
  systemInstruction =
    content { text("你是一位知识渊博的导师。使用苏格拉底教学法回答问题。") }
)

SDK还允许开发人员指定一个responseMimeType对于生成的输出。这在某些情况下可能很有用,例如,在生成JSON输出时,排除任何不需要的非JSON内容。

Ezan表示,将Gemini API集成到移动应用中不仅仅局限于提供对话界面,这得益于Gemini的多模态能力。确实,除了文本之外,Gemini还可以处理多种类型的输入,包括图像、音频和视频。这意味着你可以为图片生成描述文字,总结音频文件,描述视频中的场景等等。

Ezan 强调的另一个强大功能是创建函数以扩展模型的功能的可能性。例如,一个函数可以从 SQL 数据库中获取一些数据并将其添加到提示上下文中。或者,您可以定义一系列工具,供模型生成输出时使用,如下图所示。

在这里,模型通过两次调用您的数据来检索日期和订单列表以回答用户的问题。

所有这些功能都得到了Firebase中Vertex AI的完美支持,因此开发人员可以使用他们偏好的编程语言(包括Swift、Kotlin、Flutter和JavaScript)来利用它们。

Firebase SDK中的Vertex AI允许Android和iOS开发者直接从他们的应用访问Gemini API,而无需编写一个中间的后端服务层(该服务层使用Python、Java或Go语言)。

关于《Firebase中的Vertex AI旨在简化Gemini驱动的移动应用程序的创建过程》
暂无评论

摘要

目前处于测试阶段的Vertex AI SDK for Firebase使得创建超越简单聊天模型和文本提示的应用程序成为可能。Google工程师Thomas Ezan解释说,开发者可以使用Vertex AI Studio(一个基于云端的工具),该工具有助于快速对Gemini模型进行原型设计和测试提示。这使您可以根据特定的需求和场景来塑造模型的行为。例如,你可以生成图像的标题、总结音频文件、描述视频中的场景等。在这里,模型通过两次调用您的数据以检索日期和订单列表来回答用户的问题。