订阅我们的每日和每周通讯，获取最新的更新和独家行业领先的人工智能报道内容。了解更多
企业看好代理应用能够理解用户指令和意图以在数字环境中执行不同任务。这是生成式人工智能新时代的浪潮，但许多组织仍然在其模型上面临着低吞吐量的问题。今天，卡塔内莫一家致力于为AI原生应用构建智能基础设施的初创公司采取了一步措施来解决这一问题。开源Arch-Function。这是一组最先进的大型语言模型（LLM），在功能调用任务中承诺超快的速度，这些任务对于代理工作流程至关重要。
但是，我们这里所说的速度究竟是怎样的？根据萨尔曼·帕拉查Katanemo的创始人兼首席执行官表示，新的开源模型比OpenAI的GPT-4快近12倍。它甚至在性能上超过了Anthropic的所有产品，同时还能大幅降低成本。
这一举措可以轻松为处理特定领域用例的超级响应式代理铺平道路，而不会让企业的钱包受损。根据Gartner到2028年，企业软件工具中将有33%使用代理型人工智能，而目前这一比例不足1%，这将使日常工作中15%的决策能够自主完成。
Arch-Function带来了什么具体的东西？
一周前，Katanemo 开源了架构，一个智能提示网关，使用专门的（数十亿参数以下）大模型来处理与提示处理相关的所有关键任务。这包括检测和拒绝越狱尝试、智能调用“后端”API以满足用户请求，并集中管理提示和大模型交互的可观测性。
该服务允许开发人员构建快速、安全且个性化的生成式AI应用程序，无论规模大小。现在，作为这项工作中的下一步，该公司已将网关背后的部分“智能”以Arch-Function大语言模型的形式开源。
正如创始人所说，这些新的大规模语言模型（基于Qwen 2.5，参数量为3B和7B）被设计用来处理函数调用，这基本上允许它们与外部工具和系统交互，以执行数字任务并访问最新信息。
使用一组自然语言提示，Arch-Function 模型可以理解复杂的函数签名，识别所需的参数，并生成准确的函数调用输出。这使得它可以执行任何所需的任务，无论是 API 交互还是自动化后端工作流。反过来，这可以使企业开发代理应用程序成为可能。
“简单来说，Arch-Function 帮助您通过用户提示触发的应用程序特定操作来个性化您的 LLM 应用。使用 Arch-Function，您可以构建快速的‘代理式’工作流，专门针对特定领域的用例——从更新保险索赔到通过提示创建广告活动。Arch-Function 分析提示、提取其中的关键信息、进行轻量级对话以收集用户缺失的参数，并调用 API 以便您专注于编写业务逻辑。”Paracha 解释道。
速度和成本是最大的亮点
虽然函数调用并不是一项新的能力（许多模型都支持它），但Arch-Function LLMs在这方面处理得如何却是亮点。根据Paracha在X上分享的细节，这些模型在质量方面击败或匹敌前沿模型，包括来自OpenAI和Anthropic的模型，但在速度和成本节约方面提供了显著的好处。
例如，与GPT-4相比，Arch-Function-3B的吞吐量提升了约12倍，并且成本节约了惊人的44倍。类似的结果也与其他模型进行了观察。GPT-4o和克劳德3.5 十四行诗该公司尚未分享完整的基准测试结果，但帕拉查确实提到，在使用L40S英伟达GPU来托管30亿参数模型时，观察到了吞吐量和成本节约的效果。
“标准是使用V100或A100来运行/基准测试大语言模型，而L40S实例比这两者都便宜。当然，这是我们量化版本，在性能质量上与它们类似，”他指出。
https://twitter.com/salman_paracha/status/1846180933206266082
通过这项工作，企业可以拥有一系列更快且更经济实惠的功能调用大模型（LLM），以支持其代理应用程序。该公司尚未分享这些模型如何被利用的案例研究，但高吞吐量性能与低成本的组合非常适合实时生产应用场景，例如处理传入数据进行活动优化或向客户发送电子邮件。
根据marketsandmarkets MarktandsMarkets的名称保持不变，因为这是一个公司名或品牌，在没有具体语境说明的情况下，通常不进行翻译。如果是指报告或者分析中的市场研究机构名称，请根据实际情况使用中文习惯称呼或官方提供的中文译名，如果没有具体的中文译名，则保留原英文名称。此处原文输出：Markets and Markets全球而言，AI代理市场的年复合增长率预计将达到近45%，到2030年将成为一个价值470亿美元的机会。