给 AI 看 50 万小时方块世界视频，它能学会朝着目标行动吗？
作者：林岚｜OC 开发者生态编辑
林岚
Pantograph 公布了目标条件模型 Pan 的研究结果。团队先用约 50 万小时的方块世界游戏视频做预训练，再用约 2000 小时包含画面与操作的承包人员轨迹做后训练。模型接收一个目标画面，并尝试通过键盘和鼠标操作，把当前游戏状态推进到那个目标。
一句话结论：Pan 的新意不是“AI 会玩游戏”，而是尝试从大量没有动作标注的视频中，学到从当前状态走向目标状态的通用行为。
传统游戏 AI 往往被要求最大化一个分数，或者针对采矿、战斗、建造分别设计奖励。Pan 换了一个更接近现实任务的问法：给你现在看到的画面，再给一张目标画面，你应该做什么，才能让前者变成后者？训练时不需要人为给每段视频写“这是在找树”“这是在搭桥”，只要从后续画面中抽取目标即可。
这听起来像一句简单的“照着结果做”，实际包含探索、顺序和纠错。想得到一把工具，Agent 可能要先寻找材料、移动到合适位置、切换物品，再完成操作。团队报告称，4B 规模的 Pan 模型在若干探索环境中明显超过其对比模型，并展示了工具切换、寻找特定地形和建造等行为。
但别急着把它翻译成“通用机器人已经出现”。模型输入只有 128×128、每秒 10 帧，主要上下文约 30 秒；训练和评估都在可重复的虚拟环境中完成。游戏里的动作离散、反馈稳定，也不会遇到真实机器人的传感器噪声、硬件延迟、安全限制和物理损耗。
Pantograph 说视频游戏是机器人研究的测试场，这个说法有道理，但更准确的关系是“先筛掉明显不可行的方法”。如果一个模型连安全、可重置的游戏世界都无法完成长程目标，它更难直接控制现实机器人；反过来，在游戏里成功，也只是进入现实测试的起点。
这项研究真正有潜力的地方是数据。互联网有海量“人怎样完成事情”的视频，却没有同步的机器人动作标签。目标条件预训练如果能从纯视频中学到行为结构，再用少量动作数据对齐具体控制器，可能比为每项任务单独采集昂贵轨迹更容易扩展。
OC 的判断是，Pan 更像一个值得继续追踪的训练范式，而不是已经成熟的产品。关键问题是它能否跨游戏、跨视觉环境复用，能否把 30 秒内的目标扩展到真正的长程任务，以及从观察视频学到的知识能有多少迁移到现实动作。
为什么重要：
- 对开发者：目标条件模型为 Agent 提供了奖励函数之外的训练方式。
- 对机器人团队：大量无动作视频可能成为预训练数据，但仍需要真实控制数据和安全约束。
- 对用户：演示中的“会做事”要看任务范围、上下文长度和环境是否经过专门设计。
参考来源：
评论
围绕这篇文章补充信息、提出问题或分享观察。