人工智能的计算差距：学术界无法获得研究所需的强大芯片

许多大学科学家对可用于研究的计算能力有限感到沮丧人工智能（人工智能），根据对全球数十家机构的学者进行的调查。

人工智能驱动的科学搜索引擎如何加速您的研究

研究结果¹于 10 月 30 日发布到预印本服务器 arXiv 上，表明学术界缺乏使用最先进计算系统的机会。这可能会阻碍他们的发展能力大语言模型 (LLM)并进行其他人工智能研究。

特别是，学术研究人员有时没有资源来获得足够强大的能力图形处理单元 (GPU) – 常用于训练 AI 模型的计算机芯片这可能要花费数千美元。相比之下，大型科技公司的研究人员预算更高，可以在 GPU 上投入更多。“每个 GPU 都会增加更多的功能，”该研究的合著者、罗德岛州普罗维登斯布朗大学的计算机科学家 Apoorv Khandelwal 说道。“虽然这些行业巨头可能拥有数千个 GPU，但学术界可能只有几个。”

尖端计算机芯片如何加速人工智能革命

“学术模型和行业模型之间的差距巨大，但可能会小得多，”华盛顿特区非营利人工智能研究机构 EleutherAI 的执行董事 Stella Biderman 表示。她说，对这种差异的研究“非常重要”。

漫长的等待

为了评估学术界可用的计算资源，Khandelwal 和他的同事对 35 个机构的 50 名科学家进行了调查。在受访者中，66% 的人对自己的计算能力的满意度为 3 分或更低（满分 5 分）。“他们根本不满意，”Khandelwal 说。

大学对于 GPU 访问有不同的设置。有些可能有一个由院系和学生共享的中央计算集群，研究人员可以在其中请求 GPU 时间。其他机构可能会购买机器供实验室成员直接使用。

一些科学家表示，他们必须等待数天才能使用 GPU，并指出在项目截止日期前后等待时间特别长（请参阅“计算短缺”）。结果还凸显了全球在获取信息方面的差异。例如，一位受访者提到在中东寻找 GPU 很困难。只有 10% 的受访者表示他们可以访问NVIDIA H100 GPU，专为人工智能研究而设计的强大芯片。

这一障碍使得预训练过程——向法学硕士提供大量数据——特别具有挑战性。“它是如此昂贵，以至于大多数学者甚至不考虑在预训练上进行科学研究，”坎德尔瓦尔说。他和他的同事认为，学术界为人工智能研究提供了独特的视角，而缺乏计算能力可能会限制该领域。

人工智能的核能：如何安全地重新开放三哩岛

“拥有一个健康、有竞争力的学术研究环境对于长期增长和长期技术发展来说非常重要，”合著者、布朗大学计算机科学和语言学研究人员埃莉·帕夫利克 (Ellie Pavlick) 说道。– 当您进行行业研究时，就会存在明显的商业压力，这有时会激励您更快地利用并减少探索。”

高效的方法

研究人员还调查了学者如何更好地利用功能较弱的计算资源。他们计算了使用低资源硬件（具有 1 到 8 个 GPU）预训练多个法学硕士所需的时间。尽管资源有限，研究人员仍然能够成功训练许多模型，尽管需要更长的时间并且需要他们采用更有效的方法。

人工智能模型输入人工智能生成的数据后，很快就会吐出无稽之谈

“实际上，我们可以更长时间地使用我们拥有的 GPU，因此我们可以弥补行业之间的一些差异，”Khandelwal 说。

“看到您实际上可以在有限的计算资源上训练比许多人想象的更大的模型，真是太酷了，”德国萨尔布吕肯萨尔大学研究神经显式模型的 Ji-Ung Lee 说道。他补充说，未来的工作可以关注小公司行业研究人员的经验，他们也在获取计算资源方面遇到困难。“并不是每个有权使用无限计算的人都能获得它，”他说。