加入我们的每日和每周时事通讯，了解有关行业领先人工智能报道的最新更新和独家内容。了解更多
随着企业越来越多地采用人工智能技术，他们面临着严峻的挑战：如何为每项任务自动选择最佳的人工智能模型，同时优化性能和成本。输入模型路由，这是一种尖端方法，很快成为最大限度提高企业人工智能效率的秘密武器。
模型路由技术允许公司在逐个查询中动态选择最合适的人工智能模型基础上，可能会彻底改变企业利用人工智能资源的方式。与依赖单一的通用模型相比，这种方法不仅提高了性能，而且还显着降低了成本。
走在这项技术最前沿的初创公司是 Martian，它开发了一种大型语言模型 (LLM)）路由器引起了科技行业主要参与者的关注。事实上，全球专业服务公司埃森哲最近宣布投资 Martian，凸显了模型路由在企业人工智能战略中日益增长的重要性。
埃森哲计划将 Martian 集成到其总机服务中，这有助于企业选择机型。Martian 于 2023 年 11 月从隐身状态中脱颖而出，并在过去一年中稳步发展其技术。除了埃森哲部署之外，该公司还推出了新的人工智能模型合规性功能，作为其路由器平台的一部分。
埃森哲总机迄今为止已帮助组织选择企业部署模型。Martian 添加的功能是动态路由到最佳模型的能力。
我们可以自动选择正确的模型，甚至不是逐个任务地选择，而是逐个查询 -Martian 联合创始人 Shriyash Upadhyay 告诉 VentureBeat。这可以降低成本并提高性能，因为这意味着您不必总是使用单一模型。
埃森哲首席人工智能官兰关在一份声明中评论说，埃森哲的许多客户都希望通过考虑需求、性能和成本的方式获得生成式人工智能的好处。
埃森哲总机服务和 Martians 动态 LLM 路由的功能简化了用户体验，并使企业能够尝试生成式 AI 和 LLMguan 表示，为了找到最适合其业务需求的产品。
Martian 构建可以动态选择最佳模型的模型路由器用于给定的查询。
路由器背后的核心技术专注于预测模型行为。
我们采取了一种相对独特的方法来做到这一点，我们专注于尝试理解Upadhyay 说，这些模型内部发生的事情的内部原理。模型包含足够的信息来预测其自身的行为，因为它会执行该行为。
该方法允许 Martian 选择要运行的单个最佳模型，并针对成本、输出质量和延迟等因素进行优化。Martian 使用模型压缩、量化、蒸馏和专用模型等技术来进行这些预测，而无需运行完整的模型。Martian 路由系统可以集成到使用语言模型的应用程序中，使其能够动态选择用于每个查询的最佳模型，而不是依赖于单个预先选择的模型。与静态模型选择相比，这有助于提高性能并降低成本。
使用最佳工具来完成工作的想法是一个常见的业务这是习语，但不常见的是组织中的知识，即人工智能有很多非常具体的选择。
通常这些大公司可能有不同的组织，而组织中的某些部分甚至不知道这一事实Upadhyay 表示，世界上存在着各种不同的模型。
要真正有效地使用人工智能模型，Upadhyay 强调，定义成功指标至关重要。组织需要确定真正定义成功的指标是什么，以及组织在特定应用中真正关心的是什么。
成本优化和投资回报也至关重要。Upadhyay 指出，组织需要能够优化成本并能够展示某种形式的模型部署投资回报。在他看来，模型路由在这些领域至关重要，因为它服务于这两个目的。
合规性始终是企业关注的一个问题，而这正是 Martian 现在通过其模型路由器承担的一个领域。Martian 中的新合规性功能可帮助公司审查和批准在其应用程序中使用的人工智能模型。Upadhyay 表示，该功能将允许公司自动设置一套合规策略。
驱动用例之一企业用例中的 AI 模型路由是代理 AI 不断发展的领域。
通过代理 AI，AI 代理将多个模型和操作链接在一起以实现结果。代理工作流程中的每个步骤都取决于之前的步骤，因此错误可能会呈指数级增长。Martians 路由有助于确保每一步都使用最佳模型，以保持高精度。
代理就像路由的杀手级用例，Upadhyay 说。在这种情况下，你真的非常关心步骤是否正确，否则之后你会遇到一连串的失败。