整数加法算法可以将人工智能的能量需求减少95%

2024-10-12 14:50:01 英文原文

image of computer screen with ai screen on it connected to a big energy source — 信用：AI生成的图像

比特能源AI（一家从事AI推理技术的公司）的一组工程师报告了一种可以将AI应用的能量需求减少95%的方法。该团队已发布了一份报告：纸张描述他们新方法的arXiv预印本服务器。

随着人工智能应用的普及，其使用量大幅上升，导致能源需求和成本显著增加。像ChatGPT这样的大型语言模型需要大量的计算能力，这意味着运行它们需要消耗大量电力。

以ChatGPT为例，它现在每天需要大约564兆瓦时的电力，相当于可以为18,000个美国家庭供电。随着科学技术的进步以及此类应用程序越来越受欢迎，批评者认为在未来几年内，人工智能应用每年可能消耗约100太瓦时的电量，与比特币挖矿操作相当。

在这一新的努力中，BitEnergy AI团队声称他们找到了一种方法，可以显著减少运行AI应用所需的计算量，而不会导致性能下降。

新的技术非常基础——它不用复杂的浮点数乘法（FPM），而是使用整数加法。应用程序使用FPM来处理极其大或小的数字，使应用能够以极高的精度进行这些数值的计算。这也是AI运算中能耗最大的部分。

Researchers find a way to reduce energy needs of AI by 95% — 16位、8位的IEEE 754定义的浮点数以及各种硬件上用于张量计算的16位整数。MSB表示最高有效位，LSB表示最低有效位。来源：*arXiv*(2024). DOI: 10.48550/arxiv.2410.00907

研究人员将他们的新方法称为线性复杂度乘法——它通过使用整数加法来近似FPMs。他们声称，迄今为止的测试表明，新的方法减少了电力需求百分之九十五

它的一个缺点是它需要不同的硬件比当前使用的更好。但研究团队也指出，新型硬件已经设计、建造并测试过。

这样的硬件如何被授权尚不清楚——目前，GPU制造商NVIDIA在AI硬件市场上占据主导地位。他们对这项新技术的反应可能会对该技术被采用的速度产生重大影响——如果该公司的说法得到证实的话。

更多信息：罗宏印等，只需加法即可实现高效能语言模型arXiv (2024). DOI: 10.48550/arxiv.2410.00907

期刊信息： arXiv

引用整数加法算法可将AI的能源需求减少95%（2024年10月12日）检索于2024年10月12日从 https://techxplore.com/news/2024-10-integer-addition-algorithm-energy-ai.html

本文件受版权保护。除个人研究或学习目的的合理使用外，未经书面许可不得复制任何部分内容。所提供的内容仅作信息用途。

关于《整数加法算法可以将人工智能的能量需求减少95%》
暂无评论

摘要

credits: 由AI生成的图像比特能源AI（BitEnergy AI）是一家从事AI推理技术的公司，其工程师团队报告了一种可以将AI应用程序所需的能耗降低95%的方法。在这项新的研究中，比特能源AI团队声称他们找到了一种方法，可以在不减少性能的情况下大幅减少运行AI应用所需的计算量。DOI: 10.48550/arxiv.2410.00907 研究人员将他们的新方法称为线性复杂度乘法——通过使用整数加法来近似FPMs（浮点运算）。然而，这种硬件如何被授权尚不清楚——目前，GPU制造商Nvidia在AI硬件市场上占据主导地位。除了为个人学习或研究目的合理使用外，未经书面许可不得以任何形式复制任何部分。

整数加法算法可以将人工智能的能量需求减少95%

摘要

相关新闻

相关讨论