英语轻松读发新版了,欢迎下载、更新

Lambda 推出“推理即服务”API,号称人工智能行业成本最低

2024-12-12 19:19:14 英文原文

作者:Carl Franzen

A cartoon style AI image in blue hues of a male software developer working in front of a large screen monitor displaying glowing circuitry and GPU fan and neon glowing dollar signs

图片来源:VentureBeat 使用 ChatGPT 制作

加入我们的每日和每周时事通讯,了解有关行业领先人工智能报道的最新更新和独家内容。了解更多


拉姆达是一家拥有 12 年历史的旧金山公司,以向机器学习研究人员、人工智能模型构建者和培训师提供按需图形处理单元 (GPU) 服务而闻名。

但今天,随着推出拉姆达推理应用程序编程接口(应用程序编程接口),它声称这是市场上同类服务中成本最低的。该 API 允许企业将人工智能模型和应用程序部署到最终用户的生产中,而无需担心采购或维护计算。

此次发布补充了 Lambda 现有的重点,即提供用于训练和微调机器学习模型的 GPU 集群。

“我们的平台是完全垂直化的,这意味着与 OpenAI 等其他提供商相比,我们可以为最终用户节省大量成本,”Lambda 的营收副总裁 Robert Brooks 在接受 VentureBeat 的视频采访时表示。– 此外,没有限制扩展的速率限制,您无需与销售人员交谈即可开始。 –

事实上,正如布鲁克斯告诉 VentureBeat 的那样,开发人员可以前往Lambda 的新推理 API网页,生成 API 密钥,然后在五分钟内即可开始使用。

Lambda 的推理 API 支持前沿模型,例如梅塔的骆驼 3.3和3.1,努斯的 Hermes-3, 和阿里巴巴的 Qwen 2.5,使其成为机器学习社区最容易访问的选项之一。这完整列表可以在这里找到,包括:

  • deepseek-coder-v2-lite-指令
  • dracarys2-72b-指令
  • 爱马仕3-405b
  • 爱马仕3-405b-fp8-128k
  • 爱马仕3-70b
  • 爱马仕3-8b
  • LFM-40B
  • llama3.1-405b-指令-fp8
  • llama3.1-70b-指令-fp8
  • llama3.1-8b-指令
  • llama3.2-3b-指令
  • llama3.1-nemotron-70b-指令
  • 美洲驼3.3-70b

Llama-3.2-3B-Instruct 等小型模型的定价为每百万代币 0.02 美元,Llama 3.1-405B-Instruct 等大型最先进模型的定价为每百万代币 0.90 美元。

正如 Lambda 联合创始人兼首席执行官 Stephen Balaban 最近在 X 上所说,“别再浪费钱了,开始使用 Lambda 进行 LLM 推理吧。”Balaban 发布了一张图表,显示了与竞争对手相比,其通过推理提供 AI 模型的每个代币成本空间中。

此外,与许多其他服务不同,Lambda 的即用即付模式确保客户只需为他们使用的代币付费,从而无需订阅或限速计划。

关闭人工智能循环

Lambda 拥有十多年利用基于 GPU 的基础设施支持人工智能进步的历史。

从硬件解决方案到培训和微调能力,该公司已成为企业、研究机构和初创公司可靠的合作伙伴。

– 了解 Lambda 十多年来一直在向我们的用户群部署 GPU,因此我们实际上拥有数以万计的 Nvidia GPU,其中一些可能来自较旧的生命周期,也可能来自较新的生命周期,使我们能够以更低的成本,从这些 AI 芯片中为更广泛的 ML 社区获得最大效用,”Brooks 解释道。– 随着 Lambda Inference 的推出,我们正在关闭全栈 AI 开发生命周期的循环。新的 API 正式化了许多工程师已经在 Lambda 平台上所做的事情(使用它进行推理),但现在提供了简化部署的专用服务。

Brooks 指出,其深厚的 GPU 资源储备是 Lambda 的显着特征之一,并重申“Lambda 在过去十年中部署了数万个 GPU,使我们能够为两者提供经济高效的解决方案和最大效用”较旧和较新的人工智能芯片。

这种 GPU 优势使该平台能够支持每月扩展到数万亿个代币,为开发人员和企业等提供灵活性。

开放灵活

Lambda 将自己定位为云巨头的灵活替代方案,提供不受限制的高性能推理访问。

– 我们希望让机器学习社区不受限制地访问速率受限的推理 API。您可以即插即用、阅读文档并快速扩展到数万亿个代币。”Brooks 解释道。

该 API 支持一系列开源和专有模型,包括流行的指令调整 Llama 模型。

该公司还暗示在不久的将来将扩展到多模式应用,包括视频和图像生成。

“最初,我们专注于基于文本的法学硕士,但很快我们将扩展到多模式和视频文本模型,”布鲁克斯说。

为开发者和企业提供隐私和安全服务

Lambda Inference API 面向媒体、娱乐和软件开发领域的广泛用户,从初创公司到大型企业。

这些行业越来越多地采用人工智能来支持文本摘要、代码生成和生成内容创建等应用。

– 我们的平台上不会保留或共享用户数据。Brooks 强调,我们充当向最终用户提供数据、确保隐私的渠道,这强化了 Lambda 对安全和用户控制的承诺。

随着人工智能采用率的不断上升,Lambda 的新服务有望吸引寻求经济高效的解决方案来部署和维护人工智能模型的企业的关注。通过消除速率限制和高运营成本等常见障碍,Lambda 希望帮助更多组织充分利用人工智能的潜力。

Lambda Inference API 现已推出,详细定价和文档可通过拉姆达 (Lambda)网站。

使用 VB Daily 每日了解业务用例

如果您想给老板留下深刻印象,VB Daily 可以满足您的要求。我们为您提供有关公司在生成人工智能方面所做的事情的内幕消息,从监管转变到实际部署,以便您可以分享见解以实现最大投资回报率。

阅读我们的隐私政策

感谢您的订阅。查看更多VB 时事通讯在这里

发生错误。

关于《Lambda 推出“推理即服务”API,号称人工智能行业成本最低》的评论


暂无评论

发表评论

摘要

Lambda 是一家拥有 12 年历史的旧金山公司,以根据机器学习研究人员和 AI 模型构建者的需求提供 GPU 而闻名,该公司推出了 Lambda Inference API,声称这是同类服务中成本最低的。新的 API 允许企业将人工智能模型部署到生产中,而无需采购或维护计算资源。它支持高级模型,例如 Meta 的 Llama 3.1、Nous 的 Hermes-3 和阿里巴巴的 Qwen 2.5,较小模型的定价为每百万代币 0.02 美元,较大模型的价格高达 0.90 美元。Lambda强调其按需付费模式、深厚的GPU资源池以及对用户隐私和安全的承诺,将自己定位为云巨头的灵活替代品。该服务现已通过 Lambda 网站提供。