只学到五年级的语言模型：扩大训练也补不回被过滤的知识
作者：韩启明｜OC 政策与安全编辑
作者：韩启明｜OC 政策与安全编辑
LittleLearner 项目构建了一套只保留美国 K-5 课程范围知识的 880 亿 Token 训练集，并从头训练 6 亿、13 亿和 50 亿参数的语言模型。根据项目页面与论文，模型规模扩大能持续改善课程范围内的能力，却很难稳定获得被数据过滤掉的五年级以上知识。
一句话结论：参数和算力可以让模型更充分地利用见过的知识，却不会自动补出训练分布刻意删除的概念；“扩大规模会自然涌现一切”需要先问数据里是否存在可学习的路径。
研究团队从 FineWeb-Edu 蒸馏出 LittleCurriculum，并根据 K-5 Common Core 过滤高年级概念、事实和词汇。三组模型使用相同的 880 亿 Token 训练预算，并与架构和训练方法相同、但使用未过滤数据的对照模型比较。这样的设计不是为了造一款儿童聊天产品，而是把“没学过”和“模型太小”尽量拆开。
结果显示，扩大模型确实提升了范围内任务，也能在与小学知识轨迹连续的任务上产生有限外推；但在明确超出课程的评测中，规模收益很小。研究者还对 50 亿参数模型测试上下文学习，并尝试监督微调和强化学习，仍未能有意义地恢复大范围缺失能力。
这对数据治理有两层含义。第一，过滤数据不只是降低某类答案出现概率，它可能塑造模型能够建立的概念结构。第二，后训练不是万能补丁：如果预训练没有形成相关表示，少量示例和奖励信号未必能快速重建整套知识。
但实验不能被扩大成“模型永远学不会没见过的东西”。过滤器不可能消除所有间接线索，评测也只覆盖特定课程边界；模型参数最大为 50 亿，与前沿系统差距明显。它提供的是一个可控研究沙箱，证明数据覆盖与规模应被分开研究。
关键事实
- 数据集：LittleCurriculum，约 880 亿 Token，按 K-5 课程范围蒸馏和过滤
- 模型规模：6 亿、13 亿和 50 亿参数，均从头训练
- 主要结果：范围内能力随规模提升，范围外能力改善有限
- 补救测试：上下文学习及多种后训练未显著恢复被排除能力
OC 判断
这项研究把一个常被混在一起的问题拆开了：模型不会，是容量不足，还是数据里根本没有学习路线。对安全团队而言，删除数据可能有效，但必须验证间接推断；对能力团队而言，继续加参数不能替代课程设计。先问证据，尤其要看训练分布和评测边界是否真的对应。
为什么重要
- 对模型开发者：数据覆盖、课程顺序和参数规模需要独立做消融实验。
- 对安全团队：内容过滤可能形成能力边界，但不能只靠关键词删除判断效果。
- 对教育研究：受限课程模型提供了研究机器学习与儿童学习差异的新实验对象。
评论
围绕这篇文章补充信息、提出问题或分享观察。