神经形态深度学习算法的部署可能预示着人工智能的低功耗处理解决方案。图片由 LANL 提供

兰兰新闻发布

最近几代机器学习（支持人工智能的方法）从自然神经系统中汲取了灵感。这些反映人脑复杂路径的算法方法通常与集成电路配对以提供快速处理。现在，由洛斯阿拉莫斯国家实验室研究人员领导的一个团队的新研究已经解决了以下领域的关键挑战： 在低功耗神经形态硬件上使用反向传播算法。

“长期以来，人们一直认为大多数现代机器学习算法在神经生理学上并不合理，”领导这项研究的洛斯阿拉莫斯科学家安德鲁·索恩博格 (Andrew Sornborger) 说。– 特别是在神经科学界，这被认为是现代深度学习的主力——反向传播算法。这项研究表明这种担忧是没有道理的。”

在首次演示中，该团队采用反向传播算法的尖峰神经网络实现来对两个常用数据集中的数字和服装进行分类。这项工作完全在芯片上，无需循环中的计算机，展示了使用神经形态处理器实现低功耗现代深度学习应用的路径。

低功耗下的推理精度令人印象深刻

反向传播算法通过确定如何将局部突触权重与网络产生的全局误差联系起来，为训练神经网络提供了一个框架，但目前的研究方法还无法在当前的硬件上直接实现该算法。该团队通过使用神经科学启发的概念（例如同步火门同步火链）来构建专门设计的用于协调信息的神经回路机制，从而在神经形态反向传播方面取得了成功。

使用常用的基准数据集 MNIST（修改后的国家标准与技术研究院手写数字数据库来训练算法识别和预测能力），该团队的反向传播算法实现了 96% 以上的平均推理精度。这一结果以及名为 Fashion MNIST 的类似数据集的基准测试，与使用标准计算硬件实现的相同算法的推理准确性得分具有竞争力。该团队的算法也以相同的速度处理数据集，但仅使用 2.5% 的功率。

该团队进步的最重要之处在于，他们的神经形态反向传播算法是多层的且完全在芯片上，这意味着所有处理都发生在“内存中”，无需任何片外辅助，从而解决了减少人工智能算法所需的大量能源使用的问题。这是从未实现过的。充其量，单层学习已经实现，通常是通过片外预训练。“片上神经形态反向传播算法”为团队成员赢得了 2022年研发百强奖科学和技术创新很大程度上是因为他们的方法对深度学习硬件的功耗未来的潜在影响。