新方法预测可持续人工智能模型的计算和能源成本

当深度学习/人工智能模型面临新任务或必须适应数据变化时，更新深度学习/人工智能模型的过程可能会在计算资源和能源消耗方面产生巨大成本。研究人员开发了一种新方法来预测这些成本，使用户能够就何时更新人工智能模型以提高人工智能的可持续性做出明智的决定。该研究是发表在arXiv预印本服务器。

“有一些研究致力于提高深度学习模型训练的效率，”该研究论文的通讯作者、北卡罗来纳州立大学计算机科学助理教授 Jung-Eun Kim 说道。“然而，在模型的生命周期中，它可能需要多次更新。原因之一是，正如我们在这里的工作所示，重新训练现有模型比从头开始训练新模型更具成本效益。

“如果我们想解决与深度学习人工智能相关的可持续性问题，我们必须考虑模型整个生命周期的计算和能源成本，包括与更新相关的成本。如果您无法提前预测成本是多少，不可能参与使可持续发展工作成为可能的规划类型，这使得我们在这里的工作特别有价值。”

训练深度学习模型是一个计算密集型过程，用户希望训练时间尽可能长，而无需更新人工智能。然而，可能会发生两种类型的转变，使这些更新不可避免。首先，人工智能正在执行的任务可能需要修改。例如，如果模型最初的任务仅是对数字和交通符号进行分类，您可能需要修改任务以识别车辆和人员。这称为任务转移。

其次，用户提供给模型的数据可能会发生变化。例如，您可能需要使用一种新的数据，或者您正在使用的数据可能以不同的方式编码。无论哪种方式，人工智能都需要更新以适应变化。这称为分布转移。

“无论是什么推动了更新的需求，对于人工智能从业者来说，对更新所需的计算需求进行现实的估计都非常有用，”Kim 说。“这可以帮助他们就何时进行更新以及需要为更新预算多少计算需求做出明智的决定。”

为了预测计算和能源成本，研究人员开发了一种新技术，称为 REpresentation Shift Quantifying Estimator (RESQUE)。

从本质上讲，RESQUE 允许用户将深度学习模型最初训练的数据集与用于更新模型的新数据集进行比较。这种比较是通过估计与执行更新相关的计算和能源成本的方式进行的。

这些成本以单个指数值的形式呈现，然后可以与五个指标进行比较：时期、参数变化、梯度范数、碳和能量。历元、参数变化和梯度范数都是衡量重新训练模型所需计算量的方法。

“然而，为了深入了解这在更广泛的可持续发展背景下意味着什么，我们还告诉用户重新训练模型需要多少能量（以千瓦时为单位），”Kim 说。“我们预测有多少碳（以千克为单位）将被释放到大气中以提供这种能量。”

研究人员进行了广泛的实验，涉及多个数据集、许多不同的分布转变以及许多不同的任务转变来验证 RESQUE 的性能。

“我们发现 RESQUE 预测与进行深度学习模型更新的现实成本非常接近，”Kim 说。“此外，正如我之前指出的，我们所有的实验结果都告诉我们，从头开始训练新模型需要更多计算能力比重新训练现有模型更节省能源。”

从短期来看，RESQUE 对于任何需要更新深度学习模型的人来说都是一种有用的方法。

“RESQUE 可用于帮助用户预算更新的计算资源，允许他们预测更新需要多长时间，等等，”Kim 说。

“从更大的角度来看，这项工作让我们更深入地了解与深度学习模型的整个生命周期，这可以帮助我们就模型的可持续性及其使用方式做出明智的决策。因为如果我们希望人工智能可行且有用，这些模型不仅必须是动态的，而且必须是可持续的。”

论文“RESQUE：量化任务估计器和分布转移以实现可持续模型可重用性”将在第39届人工智能促进会（AAAI）人工智能大会，将于2月25日至3月举行。4 宾夕法尼亚州费城。该论文的第一作者是北卡罗来纳州立大学的研究生 Vishwesh Sangarya。