X(以前的 Twitter)用户安德烈·大卫刚刚在一台已有近 20 年历史的 Xbox 360 主机上安装并运行了一个基于 Andrej Karpathy 的 llama2.c 的 AI 模型。尽管模型已经很旧了,David 还是使用引导加载程序将模型加载到旧控制台上,并运行“Sleep Joe said”提示。根据该帖子,EXO Lab 的成功尝试在 Windows 98 PC 上运行 Llama激发大卫进行实验。
尽管 Xbox 360 使用的 AI LLM 与 EXO Lab 的 Windows 98 Pentium II PC 中的相同,但 David 表示,他必须针对游戏机的 PowerPC 架构和独特的(当时)内存管理来优化代码特征。最显着的区别是 PowerPC 是一家大端公司,首先存储最重要的值。
同时,EXO Lab 植入使用的 Intel Pentium II 处理器是小尾数法,即优先存储最小值。因此,为了确保模型正常工作,他必须实现字节交换系统,并确保创建和存储的任何数据都具有正确的 128 字节内存对齐方式,按照 Xbox 360 内存子系统的要求。
法学硕士在 Xbox 360 上运行,配备 Xenon CPU(3.2GHz PowerPC,带 3 核)和 512MB 统一 RAM。基于 @karpathy'sð©·llama2.c,从 2005 年起移植到 Microsoft 强大的控制台上运行。纯 C 实现针对 PowerPC 架构和 Xbox 内存管理进行了优化。灵感来自… pic.twitter.com/e9oMLaWIyi2025 年 1 月 10 日
David 面临的另一个挑战是控制台对统一内存的使用。虽然这在当今的现代游戏机和 APU 中很常见,但当 Xbox 360 推出时,这是一个新领域,迫使游戏开发人员确保他们的游戏能够最好地使用游戏机硬件。因此,即使它有 512MB RAM,Andrei 也必须确保 60MB 模型适合系统分配给 CPU 或 GPU 的空间量,因为它们共享相同的 RAM 池。
然而,通过仔细的内存管理和对 PowerPC 工作方式的调整,他使古老的 Xbox 360 控制台运行了 LLM。这是 EXO Lab 朝着让普通人接触人工智能的目标迈出的又一步,而不仅仅是那些花费数十亿美元购买顶级设备并消耗兆瓦电力的大公司。
在几十年前的设备上运行基于 Llama 2 的 AI 模型已经是一项了不起的壮举,但一位用户评论说,512MB 统一 RAM 应该足以运行 Hugging Face 的 SmolLM 或 4 位 0.5B Qwen2.5型号。安德烈·大卫 (Andrei David) 回复道:“挑战已接受!”:)——所以我们期待未来看到更强大的 AI 模型在 Xbox 360 上运行。