本地 AI 与模型工程

Qwen 27B 的 4 位量化测评：省显存之前先留下能复现的模型

据 Quesma 的 Qwen3.8 27B 量化测评，在作者所测任务中，约 17GB 的 Q4KM 与约 55GB 的 BF16 版本结果接近；更极端的 1 位量化则在部分测试中显著失效。原文发表于 8 月 26 日，9 月 8 日进入 Hacker News 等讨论，本稿是对这项测评的方法解读，不是模型今日发布新闻