对利润驱动的机器学习的愤怒 - Nature.com

2024-09-18 14:06:31 英文原文

如果不是学术界开始的工作,目前人工智能 (AI) 的繁荣可能不会存在。现在日常使用的许多技术,例如机器学习和自然语言处理,都是以几十年前的人工神经网络学术研究为基础的。但确实可以说,人工智能领域的许多最新前沿和引人注目的研究并不是在大学实验室中进行的,而是在私营公司的闭门后面进行的。

我们越来越多地关注德国亚琛工业大学的人工智能研究员霍尔格·胡斯 (Holger Hoos) 表示,顶尖的人工智能研究主要是在少数公司的研究实验室内完成的,这些公司大多是美国公司。

自然索引 2024 人工智能

这项工作的大部分内容并未发表在领先的同行评审科学期刊上。2023年,企业研究仅占美国自然指数人工智能总产出的3.84%。但其他来源的数据显示,公司在研究中发挥的影响力越来越大。在去年《Science1》杂志上发表的一篇论文中,在剑桥麻省理工学院研究创新和人工智能的努尔·艾哈迈德 (Nur Ahmed) 和他的同事发现,与一名或多名行业合著者合作的研究文章从 22% 的演讲中增加了出来。领先的人工智能会议从 2000 年上升到 2020 年的 38%。最大、因此最有能力的人工智能模型的行业份额从 2010 年的 11% 上升到 2021 年的 96%。以及用于评估人工智能性能的一组 20 个基准图像识别、情感分析和机器翻译等模型的能力 行业单独或与大学合作,在 2017 年之前有 62% 的时间拥有领先模型,自 2020 年以来这一比例已增长至 91%。行业日益占据主导地位艾哈迈德表示,该领域的人工智能研究成果日益占据主导地位,这在很大程度上是行业在资金方面拥有巨大优势的结果。2021年,美国政府机构(不包括国防部)在AI研发上花费了15亿美元,欧盟委员会花费了10亿美元(约合11亿美元)。全球工业界花费超过 3,400 亿美元。

艾哈迈德表示,这种支出使工业界对三个最重要的投入产生了束缚:计算能力、大数据集和人才。

公司能够获得比学术机构强大得多的计算能力,包括能够购买他们需要的图形处理单元(人工智能中最常见的芯片),甚至能够设计和制造自己的图形处理单元。这使得公司能够创建比学术同行更大、更复杂的模型。到 2021 年,行业人工智能模型平均比学术模型大 29 倍。

公司还可以访问更大的数据集来训练这些模型,因为他们的商业平台自然会作为用户生成这些数据与他们互动。德国亥姆霍兹慕尼黑的计算生物学家 Fabian Theis 表示,在训练用于自然语言处理的最先进的大型语言模型时,学术界将很难跟上。

丰厚的薪水以及能够在人工智能技术前沿工作的承诺使公司能够从大学抢夺大量顶尖人才,而学术计算机科学系内部的招聘却基本持平。

人工智能学术研究需要为知识体系的发展做出贡献。英国爱丁堡大学研究人工智能伦理的香农·瓦洛尔 (Shannon Vallor) 表示,这源于商业需求。她说,学术界是研究人员在没有明显盈利路线图的情况下仍然有能力开展工作的唯一地方。

学术界可以对人工智能提出批判性和冷静的看法,并成为有关人工智能的独立信息来源。瓦洛尔说,什么不会,以及确定新技术的潜在危害以及如何减轻这些危害。学术界还可以帮助将人工智能研究与公共利益结合起来。瓦洛尔表示,目前,人工智能应用程序缺乏专注于我们最需要解决的问题,包括气候变化、医疗保健需求以及数字技术放大的社会和民主压力等挑战.

尽管关注人工智能的伦理和社会后果很重要,但许多学者担心,由于行业现有的激励结构,企业在负责任地使用人工智能的研究上投资不足,未能吸收此类研究的教训。艾哈迈德和其他同事的分析2证实了这一怀疑。与传统人工智能论文相比,领先的人工智能公司在负责任的人工智能研究方面的产出明显较低。他们所做的负责任的人工智能研究范围也较窄,并且所涉及的主题缺乏多样性。

主要人工智能公司在负责任的人工智能研究中表现出极少的公众参与,这表明人工智能的速度优先于安全艾哈迈德说,发展。他们还发现负责任的人工智能研究与其实际实施之间存在脱节。艾哈迈德表示,进入市场的人工智能产品显示出负责任的人工智能研究结果的影响有限。

瓦洛尔表示,公司过去在负责任的人工智能研究上投入了更多资金,但这种兴趣随着繁荣而减弱在生成人工智能领域,引发了一场竞逐以利用市场的竞争。她说,关于负责任的人工智能的知识都在那里,问题是大型人工智能公司没有动力去应用它。但我们可以改变激励措施。

她建议,负责任地开发和部署人工智能的公司可能会面临更轻的税收负担。瓦洛尔表示,那些不想采用负责任的人工智能标准的人应该支付赔偿金,以补偿他们所危害的公众以及他们的生计被牺牲的公众。

在我们等待新法规的过程中,学术界可以发挥重要作用密切关注行业同行。需要进行学术研究来识别人工智能系统固有偏见等问题并提供解决方案,以帮助该领域朝着更负责任的方向发展。胡斯表示,需要进行制衡,但仅靠监管是无法实现的,还需要独立专家的审查。至关重要的是,大学等公共资助机构必须拥有与工业界类似的专业知识。

然而,为了进行这种审查,学术界必须开放获取支撑商业人工智能的技术和代码模型。胡斯说,没有人,即使是最好的专家,也不能只看一个复杂的神经网络并弄清楚它到底是如何工作的。我们对这些系统的功能和局限性知之甚少,因此我们尽可能多地了解它们是如何创建的是绝对必要的。

Theis 表示,许多公司正在朝着开放获取的方向迈进。人工智能模型,因为他们希望更多的人能够与他们一起工作。他说,对人们进行工具培训是行业的核心利益。例如,Facebook 的母公司 Meta 一直在推动更开放的模式,因为它希望更好地与 OpenAI 和谷歌等公司竞争。科罗拉多大学博尔德分校的计算机科学家丹尼尔·阿库亚 (Daniel Acua) 表示,让人们接触其模型将有助于新的创意想法的流入。

但指望公司会放弃所有这些模型是不现实的。胡斯说,这是他们的秘密武器,这是学术界保留技术和人才能力以跟上行业发展的另一个重要原因。

互惠互利

并非每个人都过度关注关注行业主导人工智能开发的部分,因为他们期望学术界和公司找到平衡的方式。Theis 表示,需要明确的是,深度参与人工智能研究对工业界和学术界双方都有好处。

学术界必须追求意想不到或高风险的研究方向,公司可以从这种自由中受益,这可能会带来新的突破,解决他们的产品面临的一些问题。瓦洛尔说,如果没有完全不同的方法,当前人工智能工具的一些限制可能无法克服。这种方法更有可能被不太关心自己的想法能否转化为成功产品的研究人员发现。

就学术界而言,尽管他们是自由地追求好奇心驱动的项目,还可以获得行业的知识和支持,帮助他们解决有趣和棘手的问题。泰斯说,我和其他实验室的实习生去大型科技公司或制药公司学习行业经验是很常见的。两者之间实际上存在着来回和扩散。

Acua 和他的同事研究了行业和学术研究人员对 AI3 的不同方法。他们分析了 1995 年至 2020 年间在各种人工智能会议上发表的论文,以了解研究团队的组成与他们工作的新颖性有何关系,及其在引用和创建模型方面的影响。

他们发现,仅由行业研究人员组成的团队的工作往往会被更高的引用率,并产生最先进的模型。相比之下,学术团队往往会产生更高的新颖性,他们的论文更有可能包含非常规和非典型的想法。有趣的是,学术产业合作往往会看到与产业团队相似的结果,他们致力于解决吸引大量引用的困难工程问题,但失去了学术项目标志性的新颖性。

这种分工对许多人来说都很熟悉这就是为什么阿库亚说他对学术界人工智能研究的未来比其​​他一些人更加乐观。即使学术界没有资源或计算能力来构建最大的大型语言模型,他们也有能力开展更加新颖和开创性的工作。疯狂吧,他说。不要仅仅因为你在学术界就忽视一个领域,你有做任何你想做的事情的自由。

与行业保持同步

然而,为了充分利用这种自由,学术界将最重要的是需要资金形式的支持。泰斯表示,对更广泛的基础研究进行大力投资是有用的,因此这不仅仅发生在少数不拘一格的地方。

尽管政府不太可能能够提供与正在投入的巨额资金相匹配的资金。由于行业的广泛投资,规模较小、针对性更强的投资可以产生巨大的影响力。胡斯表示,加拿大的人工智能战略并未花费大量资金,但非常有效。自 2016 年以来,该国已在人工智能计划上投资了约 20 亿加元(14.6 亿美元),并于 2024 年宣布计划在未来几年内再投入 24 亿加元。其中大部分资金专门用于为大学研究人员提供人工智能应用所需的计算能力、支持负责任的人工智能研究以及招募和留住顶尖人才。这一战略有助于加拿大超越自身实力,并在学术研究和商业发展方面保持全球领先地位。2023 年人工智能研究自然指数产出排名全球第七,自然科学整体排名第九。

人工智能领域十大新兴机构

排名

机构

国家/地区

份额变更 201923

<单元格>

1

中国科学院

中国

<单元格>

158.04

2

哈佛大学

美国

<单元格>

92.49

3

北京大学

中国

<单元格>

71.06

4

清华大学

中国

<单元格>

66.80

5

浙江大学

中国

<单元格>

63.95

6

麻省理工学院

美国

<单元格>

61.24

7

马克斯·普朗克学会

<细胞>

德国

<单元格>

57.35

8

亥姆霍兹德国研究中心协会

<细胞>

德国

<单元格>

53.39

9

中国科学技术大学

中国

<单元格>

49.99

<行><单元格>

10

上海交通大学

中国

<单元格>

49.04

招聘计划,例如加拿大卓越研究主席计划,该计划在八年内提供高达 800 万加元的资金,以吸引各个领域的顶尖研究人员移居或留在加拿大,以及德国的亚历山大·冯·洪堡人工智能教授职位在五年内价值 500 万美元,都有助于支持这些国家的人工智能研究。胡斯本人拥有洪堡教授职位之一。

欧洲也是推动人工智能学术研究的多项举措的发源地。泰斯是亥姆霍兹人工智能项目的科学总监,该项目由德国研究中心亥姆霍兹协会发起。该部门为研究实验室提供资金、计算访问和咨询,帮助他们将人工智能工具应用到工作中,例如寻找使用他们在药物发现和气候建模等领域产生的大数据集的新方法。泰斯表示,我们希望通过民主化的方式让人工智能领域的研究人员受益。为了真正加速这些研究实验室的发展。

欧洲人工智能研究实验室联盟 CLAIRE 提出了一项更为雄心勃勃的计划,该联盟由 Hoos 于 2018 年共同创立。该计划是受到物理科学中跨机构甚至国家共享大型、昂贵设施的方法的启发。胡斯说,我们的粒子物理学家朋友有正确的想法。他们由公共资金资助建造大型机器。

Hoos 和他在 CLAIRE 的同事提出了一项登月计划,旨在创建一个设施,为学术科学家提供必要的计算基础设施,以便在人工智能方面跟上行业的步伐研究一种人工智能的欧洲核子研究中心(CERN),指的是瑞士日内瓦附近的粒子物理实验室。他们估计,该项目将需要欧盟在六年内提供约 1000 亿美元的资金,胡斯表示,与最初的 NASA 登月计划阿波罗太空计划的成本相比,这一数额相当合理,该计划在今天的成本约为 2400 亿美元,欧洲核子研究中心本身。他说,这样的设施将用于公开进行人工智能研究,而不是在私人公司实验室中进行,从而使其对公众完全透明。他说,就像阿波罗计划和欧洲核子研究中心一样,这将为社会和行业带来巨大利益。

无论采取什么方法,让公共资助的独立学术研究人员走在人工智能进步的最前沿至关重要Vallor 说,为了技术的安全发展。她说,人工智能是一项技术,如果被滥用,如果没有正确的护栏和治理,如果不以负责任的方式开发,则可能会非常危险。我们应该关注任何人工智能生态系统,其中商业激励是唯一的驱动力。

摘要

如果不是学术界开始的工作,目前人工智能(AI)的繁荣可能不会存在。德国亥姆霍兹慕尼黑的计算生物学家 Fabian Theis 表示,在训练用于自然语言处理的最先进的大型语言模型方面,学术界将很难跟上。瓦洛尔表示,学术界可以对人工智能提出批判性和冷静的看法,并成为关于什么有效、什么无效的独立信息来源,以及识别新技术的潜在危害以及如何减轻这些危害的信息。胡斯表示,但期望公司放弃所有秘密武器是不现实的,学术界保留技术和人才能力以跟上行业发展的另一个重要原因是。尽管政府不太可能与工业界投入的巨额资金相匹配,但规模较小、更有针对性的投资可以产生巨大的影响力。