没有 GPU 也能做 AI 服务？Reame 押注廉价 CPU 和重复任务

开源项目 Reame 把自己定位成“CPU 优先”的 LLM 推理服务器。它基于 llama.cpp，目标不是在通用聊天上取代前沿模型，而是在文档提取、分类、批处理和私有 SaaS 等重复任务中，尽量复用已经算过的内容。

一句话结论：Reame 不是证明 CPU 全面打败 GPU，而是提醒开发者：如果任务窄、前缀重复、并发不高，闲置 CPU 加小模型可能比按 token 付费更划算。

它的核心思想是“同样的东西不要计算两次”。系统提示词和公共文档前缀会保存为磁盘 KV cache，重启后也能复用；已经生成过的片段进入 n-gram 存档，后续请求可以拿它做推测草稿；如果推测解码在当前机器上反而变慢，控制器会自动关闭。

项目还提供名为 Conclave 的多数投票模式：同一提示生成多个候选，共享一次 prefill，然后对明确答案投票，并在形成绝对多数后提前停止。作者很克制地承认，这只能减少随机失误，不能让 1.5B 模型获得 3B 模型没有的知识和推理能力。

作者公布的测试包括：Oracle Cloud 免费 2 核 ARM 机器上，Qwen2.5 7B 量化模型约 3.3 token/s；Apple M3 Pro 上，Qwen2.5 1.5B 约 52 token/s；某些重复任务的磁盘缓存或存档推测可带来 2 倍以上提升。这些数字都来自项目方，硬件、模型、提示长度和缓存命中率不同，结果会有巨大差异。

读者最该问的是：既然 llama.cpp 本身已经有服务器，为什么还要 Reame？答案不在“能不能跑模型”，而在它针对 CPU 设计的持久缓存、自适应推测、多用户交错和重复任务工作流。代价是项目更年轻、只做 CPU、一次进程只服务一个模型，也缺少成熟平台的管理生态。

关键事实

• Reame 基于 llama.cpp，提供 OpenAI 兼容的 completion、chat 和流式接口。
• 它重点优化持久化 KV cache、推测解码、重复生成存档和多用户交错。
• 项目明确不适合替代通用 ChatGPT、复杂编程 Agent 或大规模创意写作。
• 性能数字主要由项目作者提供，目前缺少独立、同条件复测。

OC 判断

“CPU 还是 GPU”不是信仰选择，而是工作负载选择。重复文档处理和隐私敏感的小模型服务，完全值得先在已有 CPU 上测一次；高并发、长上下文和复杂推理则不要为了省显卡强行忍受低吞吐。

为什么重要

• 对开发者：已有 VPS 可能足以承载低频分类、提取和内部自动化任务。
• 对企业：本地 CPU 推理可以降低数据外发和按 token 成本，但运维责任随之增加。
• 对用户：小模型在窄任务上正确，不代表它在开放问题上等同于前沿模型。

参考来源

• GitHub：swellweb/reame
• GitHub：ggml-org/llama.cpp
• Red Hat：llama.cpp 与 vLLM 的适用场景