Together AI 通过私有云企业 AI 平台实现更快的推理和更低的成本 - VentureBeat

2024-09-23 17:00:00 英文原文

加入我们的每日和每周时事通讯,了解有关行业领先人工智能报道的最新更新和独家内容。了解更多

在公有云中运行人工智能可能会让企业对数据隐私和安全产生诸多担忧。

这就是为什么一些企业会选择在私有云或本地云上部署人工智能。场所环境。Together AI 是寻求解决挑战的供应商之一,使企业能够以经济高效的方式在私有云中部署 AI。该公司今天宣布推出 Together 企业平台,支持在虚拟私有云 (VPC) 和本地环境中部署 AI。

Together AI 于 2023 年首次亮相,旨在简化企业对开源 LLM 的使用。该公司已经拥有全栈平台,使企业能够在自己的云服务上轻松使用开源LLM。新平台将人工智能部署扩展到客户控制的云和本地环境。Together 企业平台旨在解决采用 AI 技术的企业的关键问题,包括性能、成本效率和数据隐私。

当您扩大 AI 工作负载时,企业的效率和成本问题也得到了重视,他们也真正关心Together AI 首席执行官 Vipul Prakash 向 VentureBeat 表示,关于数据隐私。企业内部也有完善的隐私和合规政策,这些政策已经在自己的云设置中实施,公司也关心模型所有权。

如何通过 Together AI 降低私有云企业 AI 成本

Together Enterprise Platform 的主要承诺是组织可以在自己的私有云部署中管理和运行人工智能模型。

这种适应性对于已经在人工智能领域投入巨资的企业至关重要。他们的 IT 基础设施。该平台通过在私有云中工作并允许用户扩展到 Togethers 云来提供灵活性。

Together Enterprise 平台的一个主要优势是能够显着提高 AI 推理工作负载的性能。

Prakash 说,我们通常能够将推理性能提高两到三倍,并将用于推理的硬件数量减少 50%。这为企业创造了显着的节省和更多的能力来构建更多产品、构建更多模型并推出更多功能。

性能提升是通过优化软件和硬件利用率的结合来实现的。

灵活的模型编排和代理混合方法

Together Enterprise 平台的另一个关键功能是它能够在单个应用程序或工作流程中协调使用多个人工智能模型。

我们在企业中看到的是,他们通常使用普拉卡什说,不同模型的组合——开源模型、定制模型和不同来源的模型。Together 平台允许编排所有这些工作,根据特定时间对特定功能的需求来上下扩展模型。

组织可以通过多种不同的方式编排模型来工作一起。一些组织和供应商会使用LangChain等技术将模型组合在一起。另一种方法是使用模型路由器(例如 Martian 构建的路由器)将查询路由到最佳模型。SambaNova 使用专家组合模型,结合多个模型以获得最佳结果。

AI 正在使用一种不同的方法,称为混合代理。Prakash 表示,这种方法将多模型代理人工智能与可训练系统相结合,以实现持续改进。它的工作方式是使用较弱的模型作为提议者,每个模型都会对提示做出响应。然后使用聚合器模型以产生更好的整体答案的方式组合这些响应。

我们是一个计算和推理平台,代理人工智能工作流程对我们来说非常有趣,他说。在接下来的几个月里,您将看到 Together AI 提供的更多有关围绕它所做的事情的内容。

关于《Together AI 通过私有云企业 AI 平台实现更快的推理和更低的成本 - VentureBeat》的评论


暂无评论

发表评论

摘要

加入我们的每日和每周时事通讯,了解有关行业领先人工智能报道的最新更新和独家内容。如何利用Together AI降低私有云企业AI成本Together企业平台的主要承诺是组织可以在自己的私有云部署中管理和运行AI模型。Prakash 说,我们在企业中看到的是,他们通常使用不同模型的组合:开源模型、定制模型和来自不同来源的模型。一些组织和供应商会使用LangChain等技术将模型组合在一起。SambaNova 使用专家组合模型,结合多个模型以获得最佳结果。