计算方案加速机器学习,同时提高传统数据运算的能源效率 - Tech Xplore

2024-09-26 18:21:03 英文原文

本文已根据 Science X 的编辑流程和政策进行审阅。编辑在确保内容可信度的同时强调了以下属性:

事实核查

同行评审的出版物

可信来源

校对

计算方案加速机器学习,同时提高传统数据操作的能源效率

像 ChatGPT 这样的人工智能 (AI) 模型运行在算法上,对数据有很大的胃口,它们通过机器处理数据学习,但是他们的数据处理能力的限制又如何呢?北京大学集成电路学院和人工智能研究院孙忠教授领导的研究人员着手解决限制数据处理的冯诺依曼瓶颈。

他们的论文于9月12日发表在《Device》杂志上2024年,团队开发了双IMC(内存计算)方案,不仅加速了机器学习过程,还提高了传统数据运算的能源效率。

在策划算法时,软件工程师和计算机科学家依赖称为矩阵向量乘法 (MVM) 的数据运算,它支持神经网络。神经网络是人工智能模型中常见的一种计算架构,它模仿人脑的功能和结构。

随着数据集规模的快速增长,计算性能往往受到数据移动和速度不匹配的限制。处理和传输数据。这被称为冯·诺依曼瓶颈。传统的解决方案是单一内存计算(single-IMC)方案,其中神经网络权重存储在内存芯片中,而输入(例如图像)由外部提供。

但是,需要注意的是单IMC的最大问题是片内和片外数据传输之间的切换,以及数模转换器(DAC)的使用,导致电路占用空间大、功耗高。

为了充分发挥IMC原理的潜力,团队开发了双IMC方案,将神经网络的权重和输入都存储在内存阵列中,从而以完全内存中的方式执行数据操作。

该团队随后在电阻式随机存取存储器 (RRAM) 设备上测试了双 IMC,以进行信号恢复和图像处理。以下是双 IMC 方案应用于 MVM 操作时的一些好处:

  • 由于完全内存计算,实现了更高的效率,从而节省了片外动态随机带来的时间和能源-存取存储器(DRAM)和片上静态随机存取存储器(SRAM)
  • 通过完全内存方式消除了数据移动这一限制因素,从而优化了计算性能。
  • 由于消除了单 IMC 方案中所需的 DAC,从而降低了生产成本。这也意味着节省芯片面积、计算延迟和功耗要求。

随着当今数字时代对数据处理的需求迅速增长,这项研究的发现可能会带来新的突破计算架构和人工智能领域。

更多信息:Shiqing Wang 等人,用于加速神经网络的矩阵向量乘法的双内存计算,Device (2024)。DOI:10.1016/j.device.2024.100546

关于《计算方案加速机器学习,同时提高传统数据运算的能源效率 - Tech Xplore》
暂无评论

摘要

本文已根据 Science X 的编辑流程和政策进行审阅。随着数据集规模的快速增长,计算性能通常受到数据移动以及处理和传输数据之间速度不匹配的限制。为了充分发挥 IMC 原理的潜力,团队开发了一种双 IMC 方案,将神经网络的权重和输入存储在内存阵列中,从而以完全内存中的方式执行数据操作。由于消除了单 IMC 方案中所需的 DAC,因此生产成本更低。随着当今数字时代对数据处理的需求迅速增长,这项研究的发现可能会给计算架构和人工智能带来新的突破。