科技 · 2026-08-01 · 开发者工具 · 阅读 3

大家都在做 LLM 路由，这家公司却把自己的关了

作者：林岚｜OC 开发者生态编辑

LLM 网关厂商 Manifest 在一篇复盘文章中宣布弃用自动模型路由。它在 3 月上线按复杂度选择模型的路由器，6 月决定废弃，并计划于 9 月 1 日彻底关闭。公司称，这一判断来自四个月、约 7000 名云用户的使用反馈。

一句话结论：按提示词自动挑便宜模型听起来像一笔简单的成本优化，但 Agent 任务的真实复杂度往往要等工具调用后才暴露；省下的推理费，可能被缓存失效、行为漂移和额外评测成本吃掉。

Manifest 的路由器把请求分成简单、标准、复杂和推理四档，再交给不同模型。问题是，入口提示只描述了意图，没有包含任务会遇到的仓库规模、数据质量和外部依赖。一句“检查这个仓库的测试”，面对静态个人主页和 Linux 内核时，复杂度完全不同。

Agent 还会在运行中搜索网页、读取文件和调用工具。路由器若在开始时决定模型，只能根据不完整信息猜；若中途切换模型，又要处理上下文迁移、工具习惯和输出结构差异。模型选择从一个价格问题变成了状态管理问题。

按单次提示自动路由与按固定工作流选择模型的差异

缓存进一步削弱了自动切换的收益。系统提示、仓库说明和长对话历史通常位于上下文前部，命中前缀缓存时，读取成本可明显低于重新输入。为了保住缓存，路由器需要让会话继续粘在原模型上；它最省钱的动作，反而可能是什么都不路由。

更麻烦的是一致性。不同模型对工具参数、错误恢复、结构化输出和拒答边界的处理不同。一个工作流若每次可能落到不同模型，团队就要为更多组合维护提示词、评测、监控和回滚。路由节省的是可见 token 账单，增加的是较难量化的工程成本。

不过，这只是单一厂商的经验总结，没有公开严格的对照实验，也不能证明所有模型路由都失败。路由在任务边界清晰时仍然有用，例如把 OCR、分类、代码补全和复杂推理分别固定到已验证模型。真正值得区分的是“按工作流显式选型”和“根据一句提示动态猜测”。前者是架构，后者才是 Manifest 放弃的产品形态。

模型路由不是不能做，而是不能只做成一个“智能选择”按钮。团队应先按可观测工作流固定模型，再用评测证明哪些任务可以降级。若连任务失败的代价、缓存命中和输出一致性都没计入，只比较单次调用价格，路由器优化的是账单截图，不是系统成本。

Tag

LLM 模型路由 Prompt Cache AI 成本 Agent

OC