使用具有 1998 年处理器和仅 128 MB RAM 的 AI,27 年后才可实现 - 3DVF
当人工智能竞赛追逐 40,000 美元的 GPU 时,一款拥有 27 年历史、仅有 128 MB RAM 的处理器正在奋力冲上赛道。该实验揭示的内容可能会颠覆关于谁可以运行人工智能以及运行人工智能的成本的假设。
1998 年的 350 MHz Pentium II 配备 128 MB RAM,由牛津大学研究人员创建的 EXO Labs 诱使以每秒 39.31 个令牌的速度运行基于 LLama2.c 的语言模型。该演示甚至制作了一个由“瞌睡乔”和“Spot”主演的简单、连贯的故事。与 Nvidia 的 Blackwell B200(一款价值 30,000 至 40,000 美元的部件)等数据中心芯片相比,其结果挑战了只有尖端硬件才能处理 AI 的信念。如果这种方法能够推广,它就意味着老化的个人电脑和日常电子产品将获得经济实惠、节能的智能。
An experiment that breaks expectations
1998 年的 128 MB 处理器真的可以运行 AI 吗?Yesâaccording to researchers at牛津, who dusted off a Pentium II and made it talk.Their goal wasnât nostalgia.这是为了证明精心的软件设计可以从普通的硬件中榨取令人惊讶的功能,并表明表现isnât the only path to progress.结果挑战了将人工智能等同于庞大的服务器群的本能。
- 14 年前,凯蒂·赫尔姆斯 (Katie Holmes) 拒绝了 2010 年代一部重要剧集中的关键角色,这让所有人都感到困惑14 年前,凯蒂·赫尔姆斯 (Katie Holmes) 拒绝了 2010 年代一部重要剧集中的关键角色,这让所有人都感到困惑
86 年 135 部影片没有获得奥斯卡奖,这位世界电影传奇的命运是不公正还是合乎逻辑的?
- 86 年 135 部影片没有获得奥斯卡奖,这位世界电影传奇的命运是不公正还是合乎逻辑的?
A stark contrast with modern AI hardware
当今的人工智能热潮是在 Nvidia 等芯片上运行的
布莱克韦尔 B200,价格通常介于$30,000 - $40,000每单位。这些处理器擅长跨海量数据集训练和服务大型模型。相比之下,350 MHz Pentium II 感觉就像是一个遗迹。然而,这种对比才是重点:效率提升可以释放效用,而无需优质 GPU 带来大量成本、能源预算和供应链摩擦。
非常规设置的解释
该团队位于EXO实验室,一个由牛津大学研究人员创建的团体,使用 LLama2.c(精简、效率优先的代码)在具有 128 MB RAM 的 350 MHz 奔腾 II 上运行紧凑的语言模型。设置达到39.31 令牌/秒在具有 260,000 个参数的模型上。标记是人工智能处理的小块文本(字母、音节或短单词片段)。将其扩展到 1,000,000,000 个参数,吞吐量会下降到 0.0093 令牌/s — 证明优化仅在合理范围内才能击败蛮力。
低技术含量的人工智能可以生产什么
尽管受到严格的限制,该模型仍产生了可理解的语言。它讲述了一个关于“瞌睡乔”和一只名叫 Spot 的狗在 Windows 98 机器上的离奇故事,虽然算不上获奖,但足够连贯。在这种情况下,实用性源于简单:小型模型可以总结日志、自动完成表单或引导界面(不是最先进的,但适合目的),而无需持续访问云。
- 《霹雳娇娃》正准备卷土重来,新翻拍正在进行中《霹雳娇娃》正准备卷土重来,新翻拍正在进行中
美国私营部门创造新的核聚变记录
- 美国私营部门创造新的核聚变记录
The bigger picture: democratizing AI
降低硬件门槛意味着更广泛的准入和更低的排放。
较旧的电脑可能会获得新的角色,而基础设施稀缺的地区可能会采用本地人工智能来执行日常任务。除了成本之外,本地推理还意味着弹性和隐私(想想学校、图书馆、诊所)。考虑潜在的好处:
- 在传统或低功耗设备上的部署成本更低
- 减少能源消耗并延长设备生命周期
- 离线功能确保隐私和可靠性
牛津大学的探索并没有取代尖端模型。它重新构建了画布。通过证明人工智能可以在昨天的芯片上运行,它迎来了一个有用的智能被广泛分布的未来,并且进步不仅以规模来衡量,而且以访问和克制。