小模型什么时候该闭嘴？Cactus 给设备端 AI 加了一个“我不确定，交给云端”

据 Cactus Hybrid GitHub 项目 介绍，Cactus 推出了一种设备端混合推理方案：小模型在本地回答问题，同时给出置信度评分；当置信度较低时，再把任务交给云端更大模型处理。项目示例中，Gemma 4 E2B Hybrid 会结合 Gemini 3.1 Flash-Lite 做路由。

一句话结论：端侧 AI 的关键不是让小模型硬撑所有问题，而是让它知道什么时候该回答，什么时候该把任务交出去。

很多手机和电脑厂商讲端侧 AI，容易讲成“所有智能都在本地完成”。听起来隐私好、速度快、成本低。但真实用户不会因为模型在本地运行，就容忍它答错重要问题。小模型的能力边界必须被产品看见。

Cactus Hybrid 有意思的地方，是它不只追求本地模型分数，而是把“自知之明”做进系统：简单、高置信度的问题本地答；复杂、低置信度的问题交给云端。这比单纯宣传“端侧模型多强”更接近真实产品。

读者可能会问：模型怎么知道自己错了？严格说，它不是像人一样“意识到错误”，而是通过训练和隐藏状态特征估计答案可靠性。项目摘要提到，模型可从隐藏状态中提取跨模态正确性信号，并在音频、视觉任务中取得 0.79 到 0.88 的 AUROC。这个指标不是准确率，而是衡量模型区分“可能对”和“可能错”的能力。

林岚觉得，这条路线对普通 AI 产品很重要。未来手机、浏览器、办公软件里的 AI，不应该只有两个模式：全本地或全云端。更合理的是三层：本地小模型处理隐私和低成本任务；云端大模型处理困难任务；产品层告诉用户哪些答案经过本地处理，哪些上传到了云端。

真正难的地方也在这里：路由本身不能太慢，置信度不能过度自信，隐私提示不能藏在服务条款里。否则所谓混合 AI 只是把成本优化包装成用户利益。

这和传统搜索里的“没搜到就换源”不一样。AI 的问题是它可能自信地给出一个错答案。如果本地小模型在低能力区间还保持高自信，云端交接就不会发生，用户看到的反而是更便宜但更危险的回答。因此混合推理的关键指标，不只是本地命中率，还包括错答时能否及时触发交接。

另外，云端交接也应该被产品清楚展示。比如“这个请求将发送到云端模型处理”，或者至少在隐私设置里给用户可见控制。端侧 AI 如果把“本地处理”当营销卖点，却在关键问题上静默上云，用户迟早会不信任它。

关键事实

• 来源：Cactus Hybrid GitHub
• 涉及模型：Gemma 4 E2B Hybrid、Gemini 3.1 Flash-Lite
• 核心技术：设备端推理、置信度评分、云端交接、混合路由
• 关键数字：部分音频和视觉任务 AUROC 约 0.79–0.88

OC 判断

端侧 AI 的成熟标志不是“永不上云”，而是产品能清楚判断哪些任务适合本地，哪些任务必须交给更强模型，并让用户理解这个边界。

为什么重要

• 对开发者：本地模型要配合置信度、fallback 和评测，而不是单独上线。
• 对企业：混合推理能降低成本，但要处理隐私、延迟和责任边界。
• 对用户：端侧 AI 不等于永远更安全，关键看什么时候上传、上传什么、能否控制。

参考来源

• GitHub: cactus-compute/cactus-hybrid