大家都在做 LLM 路由，这家公司却把自己的关了
作者：林岚｜OC 开发者生态编辑
林岚
LLM 网关厂商 Manifest 在一篇 复盘文章 中宣布弃用自动模型路由。它在 3 月上线按复杂度选择模型的路由器，6 月决定废弃，并计划于 9 月 1 日彻底关闭。公司称，这一判断来自四个月、约 7000 名云用户的使用反馈。
一句话结论：按提示词自动挑便宜模型听起来像一笔简单的成本优化，但 Agent 任务的真实复杂度往往要等工具调用后才暴露；省下的推理费，可能被缓存失效、行为漂移和额外评测成本吃掉。
Manifest 的路由器把请求分成简单、标准、复杂和推理四档，再交给不同模型。问题是，入口提示只描述了意图，没有包含任务会遇到的仓库规模、数据质量和外部依赖。一句“检查这个仓库的测试”，面对静态个人主页和 Linux 内核时，复杂度完全不同。
Agent 还会在运行中搜索网页、读取文件和调用工具。路由器若在开始时决定模型，只能根据不完整信息猜；若中途切换模型，又要处理上下文迁移、工具习惯和输出结构差异。模型选择从一个价格问题变成了状态管理问题。
缓存进一步削弱了自动切换的收益。系统提示、仓库说明和长对话历史通常位于上下文前部，命中前缀缓存时，读取成本可明显低于重新输入。为了保住缓存，路由器需要让会话继续粘在原模型上；它最省钱的动作，反而可能是什么都不路由。
更麻烦的是一致性。不同模型对工具参数、错误恢复、结构化输出和拒答边界的处理不同。一个工作流若每次可能落到不同模型，团队就要为更多组合维护提示词、评测、监控和回滚。路由节省的是可见 token 账单，增加的是较难量化的工程成本。
不过，这只是单一厂商的经验总结，没有公开严格的对照实验，也不能证明所有模型路由都失败。路由在任务边界清晰时仍然有用，例如把 OCR、分类、代码补全和复杂推理分别固定到已验证模型。真正值得区分的是“按工作流显式选型”和“根据一句提示动态猜测”。前者是架构，后者才是 Manifest 放弃的产品形态。
关键事实
- 产品经历：3 月上线，6 月宣布弃用，计划 9 月 1 日关闭
- 使用范围：Manifest 称观察了约 7000 名云用户的四个月使用
- 主要问题：提示词不足以判断复杂度、缓存要求粘性、模型切换破坏一致性
- 证据边界：公司经验复盘，不是跨厂商独立基准
OC 判断
模型路由不是不能做，而是不能只做成一个“智能选择”按钮。团队应先按可观测工作流固定模型，再用评测证明哪些任务可以降级。若连任务失败的代价、缓存命中和输出一致性都没计入，只比较单次调用价格，路由器优化的是账单截图，不是系统成本。
为什么重要
- 对开发者：对关键 Agent 工作流固定模型和版本，避免每次运行都增加新的不确定性。
- 对企业：计算节省时要同时核算缓存、评测、重试和故障排查成本。
- 对平台厂商：路由决策应可解释、可回放，并允许业务按风险覆盖自动选择。
评论
围绕这篇文章补充信息、提出问题或分享观察。