27B 模型塞进 iPhone，苹果正在谈的 PrismML 到底压掉了什么？

OC 原创示意图。

据 CNBC 报道，苹果正与模型压缩初创公司 PrismML 进行早期接触。PrismML 同日发布基于 Qwen3.6 27B 的 Bonsai 27B，称其三进制版本只有 5.9GB，一比特版本为 3.9GB，已经小到可以放进高端手机的内存预算。

一句话结论： PrismML 展示的是“27B 模型的权重能够装进手机”，不是“27B 模型已经在 iPhone 上达到云端助手的完整体验”；苹果若真的采用这项技术，价值在于扩大端侧 AI 的能力上限，但速度、内存峰值、发热和电量仍要逐项过关。

先看这个数字为什么吸引人。一个以 16 位保存的 270 亿参数模型，光权重就大约需要 54GB；PrismML 给出的常规 4 位版本仍有 18GB。Bonsai 使用覆盖整个网络的极低比特表示，把大部分权重限制在少数几个可能值，三进制版降到 5.9GB，一比特版进一步压到 3.9GB。它不是把 270 亿个参数删成 30 亿个，而是用更少的位数记录每个参数。

PrismML 宣称，三进制版在 15 项测试中保留了原模型约 95% 的表现，一比特版保留约 90%，同时继续支持图片理解、工具调用和多步骤推理。公司还展示了模型在手机端处理已经预填充的图片上下文。不过这些结果目前主要来自 PrismML 自己的测试和演示，缺少独立机构在真实 iPhone 上对生成速度、首 Token 延迟和持续负载的复核。

OC 原创解释图：压小权重只是第一关，运行时还需要为 KV Cache、激活值和系统本身留内存。

“文件有 3.9GB，手机有 12GB 内存，为什么不能直接说已经解决了？”因为模型运行时不只装权重。长对话需要不断增长的 KV Cache，图片和长文会产生激活值，推理引擎还要占用缓冲区，手机系统和其他应用也不能被清空。模型即使成功加载，内存带宽、芯片算力和散热仍会决定它是一秒吐出十几个 Token，还是几秒才动一下。

低比特量化还会以精度换体积。平均测试只掉 5% 或 10%，并不表示每种任务都均匀下降；数学、代码、少数语言、视觉细节和长链工具调用可能受到不同影响。对手机助手来说，偶尔把一个知识题答差和偶尔执行错应用操作，风险也完全不同。苹果需要看的不会只是一张 benchmark 总表。

那么苹果为什么值得谈？苹果当前公开的端侧基础模型规模大约在 30 亿参数级。若 270 亿参数模型能够在可接受的速度和功耗下运行，本地助手可处理的复杂任务会明显增加，更多私人邮件、照片和文件也不必为了推理离开设备。它还可以让 Siri 在网络差或云端成本过高时保留更多能力。

这桩合作目前仍只是“谈”。PrismML CEO 向 CNBC 表示双方处于早期讨论，苹果没有发表评论。技术评估、授权合作、收购和最终进入产品之间隔着很长距离，不能从一次接触直接推导出“下一代 iPhone 将内置 Bonsai”。

周白认为，PrismML 最值得关注的不是它会不会被苹果买下，而是端侧模型的竞争指标正在改变。过去大家首先问参数量和跑分，现在还必须问每一个有效能力占多少内存、耗多少电、能不能在掌心大小的散热条件下持续运行。真正的“智能密度”，应该把质量、速度、功耗和隐私一起算进去。

参考来源

• CNBC：Apple in talks with startup that shrinks AI models：苹果与 PrismML 接触的报道及公司说法。
• PrismML：Announcing Bonsai 27B：模型大小、量化方法与基准声明。
• Apple：Apple Intelligence Foundation Language Models：用于比较苹果现有公开端侧模型规模与架构。
• Qwen：Qwen3 技术文档：用于理解 Bonsai 所基于的模型家族。