ARC-AGI-3 公开题接近 99 分：先别庆祝，真正的考试还没开始
林岚｜OC 开发者生态编辑
林岚｜OC 开发者生态编辑
Schema 团队在项目页面公布，其系统在 ARC-AGI-3 的公开交互游戏上取得 98.98% 的 RHAE 分数。这个数字非常醒目，但 ARC Prize 官方把公开游戏用于开发和熟悉环境，最终能力需要在未公开的私有游戏上评估。
一句话结论： 98.98% 说明团队很会解决已公开的 ARC-AGI-3 环境，不说明系统已经通过私有测试，更不说明 AGI 已被实现。
ARC-AGI-3 不再只是看几张格子图猜答案，而是让 Agent 操作陌生小游戏。系统要通过动作观察反馈、推断规则，再尽量高效地完成目标。RHAE 会同时考虑任务成功和行动效率，所以它比单纯“过了几关”更严格。
问题出在公开集的角色。公开关卡会被所有研究者反复观察、调试和针对性优化。一个系统可以真正学到通用探索方法，也可以混入关卡特化策略，甚至利用环境漏洞。只看最终分数，很难分辨两者各占多少。
已经有研究者对公开集提出强烈警告。一篇分析认为，25 个公开游戏中的许多可以通过简单、非智能策略取得很高成绩，其中一个坐标处理问题甚至能绕过 18 个游戏。另一项可执行世界模型研究在公开集上的平均 RHAE 为 32.58%，同时明确表示私有集仍未测试。这些差异恰好说明，同一个榜单数字背后的方法可能完全不同。
关键事实
- Schema 报告的是 ARC-AGI-3 公开游戏上的 98.98% RHAE。
- ARC Prize 保留了 55 个私有游戏，用来评估系统面对真正未知环境时的泛化能力。
- 公开集可用于开发，因此高分可能同时包含通用能力、人工经验和关卡特化。
- 有论文指出公开环境存在可被简单策略或实现漏洞利用的问题。
OC 判断
Schema 的成绩值得报道，因为接近满分的公开集结果会迫使基准设计者检查题目、评分和漏洞，也让其他团队看到哪些工程方法有效。但把它写成“AGI 基准被攻克”，就把开发集当成了高考真题提前泄露后的模拟成绩。
真正决定含金量的有三件事：系统能否在没有人为查看的新游戏上保持表现；是否限制每关的调试和计算预算；修复已知漏洞后成绩还能剩多少。私有集结果出来前，最准确的说法就是“公开集接近满分”。
为什么重要
- 对研究者： 必须区分公开开发分数与私有泛化能力，并披露调试和计算预算。
- 对企业： 基准高分不能直接换算成产品在陌生业务中的可靠性。
- 对普通读者： 标题里的“99%”不是人类智能完成度，更不是 AGI 的百分比。
评论
围绕这篇文章补充信息、提出问题或分享观察。