OC 原创示意图。

据研究者 Benjamin Bai 发布的 LeMario 实验记录 介绍，他把此前用于机械臂控制的 LeWorldModel 思路搬进《超级马里奥兄弟》，训练一个不依赖奖励函数的 JEPA 世界模型。模型可以预测短距离动作造成的状态变化，也能完成一些附近目标，但目标一旦拉远，规划很快失效。

一句话结论： LeMario 证明 JEPA 可以从游戏画面中学到一部分可用于控制的动态规律，却也暴露了一个关键差距：看得懂接下来几帧会发生什么，不等于知道怎样一路走到终点。

这是 OC 此前介绍 LeWorldModel 后值得继续追的一次复现实验。原工作在固定镜头、目标较近的 Push-T 机械臂环境里表现不错，研究者于是自然会问：如果换成会卷动画面、角色可能死亡、同一块地形反复出现的平台游戏，这套“先在表示空间想象未来，再选动作”的方法还能不能工作？

LeMario 的训练数据不算小。作者收集了 280 局游戏、32 个关卡，共 737,134 帧，把每一帧压进 192 维的潜在表示，再让模型根据当前状态和按键动作预测未来表示。训练只跑了一个 epoch。短期结果相当明确：在预测五步之后的状态时，使用动作信息的模型比简单假设画面保持不变的基线低 45.5% 误差。换句话说，它确实学到了“向右走、跳跃之后，局面会怎么变”，不是只记住截图。

OC 原创解释图：世界模型负责预测，规划器还要在预测结果中找到可到达的路线。

问题出在“远处”。作者用线性探针检查潜在表示，横向位置的预测几乎完美，R² 达到 0.997；纵向位置只有 0.188。这个落差并不神秘：马里奥向右走时镜头会滚动，角色在屏幕上的位置可能没怎么变，整个背景却换了；跳跃、落下、管道和相似砖块又会让不同真实状态看起来很像。模型学会了画面怎样变化，却没有自然得到一张稳定的关卡地图。

于是一个看起来合理的目标，例如“走到很远处的那根管道”，在潜在空间里未必形成一条平滑路线。规划器每次只挑眼前看起来更接近目标的动作，很容易卡在墙边、错过必须提前起跳的位置，或者走进视觉上相似但实际无法继续的状态。作者把长目标拆成更短的中间目标后，效果有所改善，但核心困难没有消失。

读者可能会问：模型既然能预测未来画面，为什么不能多预测几次，一直滚到终点？因为预测误差会逐步累积，更重要的是，模型优化的“表示相似”不一定等于游戏里的“可控制”。两幅画面在视觉表示上很接近，中间可能隔着一个必须绕行的坑；两幅画面看起来差别很大，也可能只因为镜头滚动了一格。规划需要的是可达性、生命状态和地形拓扑，而不只是下一帧长得像不像。

林岚认为，LeMario 的价值恰恰在于它没有用一段漂亮通关视频掩盖失败。很多世界模型演示挑的是短时、局部、镜头稳定的任务，容易让人误以为“模型能想象视频”已经等于“模型理解世界”。这次实验说明，表示学习、环境设计、目标定义和搜索方法缺一不可。把预测器做大，未必会自动长出规划器。

对开发者更直接的启发是：如果要把世界模型用于机器人、游戏 Agent 或桌面操作，评估不能只看预测损失。还要检查它是否保留了任务真正需要的状态，例如物体是否可达、页面是否已经提交、机器人是否越过安全边界。一个模型可以把未来画得很像，同时把最重要的控制变量弄丢。

参考来源

• Benjamin Bai：LeMario 项目记录：实验设置、数据规模、探针结果与失败分析。
• arXiv：LeWorldModel：原始 JEPA 世界模型及 Push-T 控制实验。
• Meta AI：A Path Towards Autonomous Machine Intelligence：用于理解 JEPA 与世界模型的研究背景。