科技 · 2026-09-03 · AI 与开发者生态 · 阅读 17

104GB 模型塞进小内存 Mac 不是魔法，而是把内存墙换成 SSD 账单

开源项目 slotstream 尝试在 Apple Silicon Mac 上运行 104GB 的 Qwen3.8-Flash-Next 四位量化模型。它不要求全部权重常驻内存，而是保留稠密主干，把每个 token 真正用到的专家权重从 SSD 读取，从而把计划中的最低内存门槛压到 8.1GB。

作者：林岚｜OC 开发者生态编辑

一句话结论：slotstream 没有让 104GB 消失，它只是把容量问题从内存转移到存储空间、SSD 带宽、首 token 延迟和硬盘寿命；这是有价值的系统取舍，不是无代价突破。

项目利用 MoE 的稀疏性。模型拥有 512 个专家，每个 token 只激活其中 10 个；约 3.8GB 的稠密主干常驻内存，68GB 路由专家和 32GB n-gram 表按需读取。实现使用 pread 和跨层共享的固定专家池，避免把全部专家映射进统一内存。权重分成 24 个文件，支持断点下载和 SHA-256 校验。

目前真正测量的硬件只有一台 48GB M5 Pro：预热后约 12 token/秒，首 token 约 3 秒，峰值内存约 32GB。其他 8GB、16GB 和 24GB 配置是项目估算，不能写成已经验证。模型文件约占 110GB，可用磁盘最好至少 512GB；长提示的 prefill 仍慢，低内存机器更容易受 SSD 与缓存抖动影响。

容量被分解为常驻主干、按需专家、前缀缓存和磁盘读取

slotstream 提供兼容 Ollama/OpenAI 风格的聊天与生成端点，默认在 11434 端口服务，但并非完整替代。工具调用、图片、JSON Schema、logprobs 等功能不支持并返回 400；上下文上限为 32768。它还用前缀缓存缩短多轮对话，项目示例中第八轮从 25.8 秒降到约 6 秒，但缓存路径不保证逐 bit 相同，需要可复现结果时应关闭。

真正适合它的场景，是偶尔在本地做高能力文本推理、不能把数据发到云端、又愿意等更久的个人工作站。高并发服务、超长上下文或高频交互仍更适合足够内存或云端 GPU。把模型“跑起来”和把它“稳定服务”是两件事。

关键事实

104GB 是量化权重规模，不是运行时内存需求；专家按 token 从 SSD 流式读取。
48GB M5 Pro 是当前唯一实测机器，约 12 token/秒；低内存结果仍属估算。
项目需要约 110GB 存储，并只实现部分 Ollama/OpenAI 接口。

OC 判断

本地模型的新空间不一定来自更小模型，也可能来自更聪明的数据移动。slotstream 的价值是把硬件限制显式变成可选择的性能曲线。开发者应测自己的提示长度、会话频率、SSD 写读负载和功能依赖，而不是只看“8GB 可运行”。

为什么重要

对个人开发者：旧 Mac 可能获得更大模型的低频本地能力。
对工具作者：稀疏专家与前缀缓存为端侧推理提供新的系统设计。
对采购者：内存节省会转化为存储、延迟与兼容性成本。

参考来源

GitHub：carloslfu/slotstream

发表评论

继续看看 OC 用户围绕这个话题说了什么、做了什么。

相关帖子

做 AI 语音产品时，授权、撤回和审计日志应该怎么落地？

<p>最近看到越来越多关于声音授权的讨论。对开发者来说，真正麻烦的往往不是“模型能不能模仿”，而是授权如何进入系统、生成结果如何追溯，以及授权撤回后该怎么办。</p> <p>我们在做 FlowSpeech 时也碰到过类似问题。我的体会是，不要把“用户勾选过同意”当成一个布尔字段，而应该把它做成一组可以审计的业务对象。</p> <h2>1. 把声音资产和授权分开</h2> <p>声音文件只描述技术属性，例如哈希、上传者、存储位置和创建时间。授权记录则至少要包含授权主体、用途范围、地域、有效期、来源证据和当前状态。这样同一份声音用于个人试听、商业广告、公开播客时，可以绑定不同的授权，而不是共用一个模糊的 consent=true。</p> <h2>2. 每次生成都保存授权快照</h2> <p>生成任务不要只引用当前授权 ID。授权内容以后可能变更，如果任务只查最新状态，历史结果就无法解释。更稳妥的做法是在任务创建时保存授权版本、文本哈希、声音版本、模型版本和操作者。生成出的音频再记录 artifact_id，并反向关联任务。</p> <p>我会把最小链路设计成：</p> <ol> <li>voice_asset：原始声音及版本；</li> <li>consent_grant：授权范围与证据；</li> <li>generation_job：请求参数和授权快照；</li> <li>audio_artifact：输出文件、校验值和公开状态；</li> <li>audit_event：谁在什么时候创建、下载、公开或撤回了内容。</li> </ol> <h2>3. 撤回不是简单删除一行</h2> <p>授权撤回后，系统至少要阻止新任务，并把相关公开音频进入下架队列。已经交付给客户的文件是否能删除，要按照合同和产品能力区分，不能在界面上承诺技术上做不到的“全球删除”。更现实的状态机是 active、suspended、revoked、expired，并明确每个状态允许哪些动作。</p> <h2>4. 对外展示也要可验证</h2> <p>除了后台日志，公开音频最好带上来源标记或可查询的生成记录。水印不是万能方案，但“可识别的音频 + 可验证的元数据 + 清晰的举报入口”组合起来，比一句“AI 生成”更有用。</p> <p>我们现在做的 <a href="https://flowspeech.io/zh">FlowSpeech</a> 主要解决上下文感知、情绪和停顿控制。越往产品化走，越觉得声音效果只是前半程，权限边界和可追溯性才决定这类工具能不能长期使用。</p> <p>大家在实际项目里会把授权证据放在业务数据库、对象存储，还是单独的审计系统？如果授权撤回，你们通常怎么处理已经生成并交付的音频？</p>

FlowSpeech 0 1

你们的Codex额度提前耗完了没？戒断反应如何？

<p>我在第三天就消耗了只剩1%，忍了一天，然后今天干脆用这最后的1%，开着5.6 Sol 极高强推我一个提示词笔记本应用的功能落地。最终用时3小时，居然还是跑完了。但是现在还是出现一些戒断反应，感觉啥也做不了，就无精打采的，困。</p> <p>我做了一个Prompt Notebook，专门用来收藏或者记录自己手搓的生图提示词。带Chrome一键收藏插件。支持AI优化提示词。支持提示词中提取常用字段作为提示词百科词汇。也自带生图功能用来测提示词。但是要搭配Cloudflare R2+Worker的图床。</p> <p>今天主要是做一个AI模特的资产库。将常用的AI模特固定下来，进行身份设定，以及模特的一些角色定妆图。之后生图可以直接调用AI模特自动作为垫图。</p> <p>这是AI模特资产库的界面： <img src="/upload/thread/202608/42b5f73e-938f-45de-b74e-da69da9d72a8.webp" alt="1bb0d28b-c7dd-4327-bafa-26b60323cbed" /> 这是主界面的提示词瀑布流，支持关键词或标签搜索： <img src="/upload/thread/202608/3e15b6e7-345f-48b4-aeff-1bbd89afe9d3.webp" alt="ab998e2f-9ccc-4173-832f-223aa6c6fa81" /> 这是提示词笔记的预览界面，可以复制提示词，分享提示词，点击分享还有分享短链：（https://prompt.jintao.co.uk/share/20260806LfsmY） <img src="/upload/thread/202608/bab31972-0468-4582-b873-6309233254a6.webp" alt="20260806-201213" /> 可惜现在没额度了，我又不想换模型折腾。现在还有些界面细节和小功能需要落地完善，可能还要虫子要抓。弄好了，打算放GitHub开源。</p> <p>有朋友想试试的么？</p>

shynloc 2 4

你为什么不移民？

<p>我是一定要移了，在这里连正常呼吸都不行了。以前正常呼吸指的是言论自由，现在是生物学意义的正常呼吸问题了。</p> <p>你为什么不移民？</p>

tinyfool 741 48

104GB 模型塞进小内存 Mac 不是魔法，而是把内存墙换成 SSD 账单