微软推出适用于.NET的Azure AI推理SDK - InfoQ.com

2024-09-24 19:00:09 英文原文

Microsoft 推出了适用于 .NET 的 Azure AI Inference SDK,简化了对 Azure AI Studio 模型目录中生成式 AI 模型的访问。此目录包括来自 Azure OpenAI Service、Mistral、Meta、Cohere、NVIDIA 和 Hugging Face 等提供商的模型,分为三个集合:Azure AI 策划、Azure OpenAI 模型和 Hugging Face Hub 的开放模型。用户可以通过托管计算解决方案请求新模型并部署现有模型。

适用于 .NET 的 Azure AI 推理 SDK。简化了从 Azure AI 模型目录对模型的访问,支持推理任务,例如将聊天集成到应用程序中。

使用适用于 .NET 的 Azure AI 推理 SDK 涉及几个关键步骤:

  • 应用程序设置:在开发环境中创建新的 .NET 应用程序。
  • SDK 安装:Azure.AI.Inference SDK 可以从 NuGet 安装。这通常可以通过 NuGet 包管理器来实现,从而允许访问 SDK 功能。
  • 模型请求的代码实现:安装后,下一步是合并便于向模型服务发出请求的代码。

Azure AI Studio 包含一个模型目录,它是发现和利用生成 AI 应用程序的各种模型的中心枢纽。该目录展示了来自不同提供商的数百个模型,包括 Azure OpenAI Service、Mistral、Meta、Cohere、NVIDIA 和 Hugging Face,以及 Microsoft 开发的模型。


Azure AI Studio模型目录(来源:微软博客)

Azure AI Studio 模型目录将其产品分为三个集合,以便更轻松地访问生成式 AI 模型:

  • 由 Azure AI 策划:该集合包含流行的非 Microsoft 开放权重和专有模型,并针对这些模型进行了优化Azure 平台,并由 Microsoft 根据适用的服务级别协议 (SLA) 提供支持。
  • Azure OpenAI 模型:这些模型仅通过 Azure OpenAI 服务提供,包括符合特定产品条款的 Microsoft 支持,以及SLA。
  • 来自 Hugging Face Hub 的开放模型:该集合包括数百个用于实时推理的模型,由 Hugging Face 维护,并通过其论坛和支持渠道提供支持。

用户还可以通过指定表单请求添加新模型,方便创新人工智能应用的开发和部署。此外,开发人员可以选择使用托管计算解决方案来部署这些模型,包括具有灵活的按需付费计费的无服务器 API。

更多详细信息请参阅 Azure AI 模型目录文档。

关于《微软推出适用于.NET的Azure AI推理SDK - InfoQ.com》
暂无评论

摘要

Microsoft 推出了适用于 .NET 的 Azure AI Inference SDK,简化了对 Azure AI Studio 模型目录中生成式 AI 模型的访问。此目录包括来自 Azure OpenAI Service、Mistral、Meta、Cohere、NVIDIA 和 Hugging Face 等提供商的模型,分为三个集合:Azure AI 策划、Azure OpenAI 模型和 Hugging Face Hub 的开放模型。简化了从 Azure AI 模型目录对模型的访问,支持推理任务,例如将聊天集成到应用程序中。Hugging Face Hub 的开放模型:该集合包括数百个用于实时推理的模型,由 Hugging Face 维护,并通过其论坛和支持渠道提供支持。Azure AI 模型目录文档中提供了更多详细信息。