Microsoft引入了一个在常规CPU上运行的AI模型
Microsoft Research的一组计算机科学家与中国科学院的一位同事合作，推出了Microsoft的新型AI模型，该模型在常规的CPU而不是GPU上运行。研究人员发布了纸在arxiv预印式服务器概述了如何构建新模型，其特征以及在测试过程中的表现如何。
在过去的几年中，LLMS已成为风暴。诸如Chatgpt之类的模型已向全球用户提供，介绍了智能聊天机器人的想法。他们中大多数人的共同点是，它们是在GPU芯片上训练和运行的。这是因为经过大量数据训练时，他们需要大量的计算能力。
在最近的时候，人们对使用大量能量的担忧引起了人们的关注数据中心支持所有用于各种目的的聊天机器人。在这项新的工作中，团队发现了它所描述的作为处理此数据的更聪明的方法，并且他们建立了一个模型来证明这一点。
运行的AI模型中最能量密集型的部分之一涉及使用权重的方式，并将其存储通常为8或16位浮数。这种方法涉及大量的内存和CPU处理，进而需要大量的能量。在他们的新方法中，研究人员已经消除了完全使用浮点数，而是提出了他们所描述的1位体系结构的使用。
在他们的创新中，权重仅使用三个值进行存储和处理：-1、0和1。这无非是使用基于CPU的计算机轻松完成处理过程中简单的加法和减法。
对新型号类型的测试表明，它能够对基于GPU的型号进行自行持有自己的班级规模，甚至超过了其中的一些模型，同时使用了较少的内存，最终的能量要少得多。
为了运行这样的模型，团队为其创建了一个运行时环境。新环境称为bitnet.cpp，旨在充分利用1位体系结构。
如果团队提出的索赔坚持下去，Bitnet B1.58 2B4T的发展可能会改变游戏规则。用户可以很快在其计算机上或手机上运行聊天机器人，而不是依靠大量的数据农场。除了减少能源需求之外，本地化LLM处理将大大改善隐私，并允许在不连接到互联网的情况下工作。
更多信息：Shuming Ma等，Bitnet B1.58 2B4T技术报告，arxiv（2025）。doi：10.48550/arxiv.2504.12285
期刊信息： arxiv
©2025科学X网络
引用：微软引入了一种AI模型，该模型在常规CPU上运行（2025年，4月22日）检索2025年4月22日摘自https://techxplore.com/news/2025-04-microsoft-ai-regular-cpus.html
该文档具有版权。除了为私人研究或研究目的的任何公平交易外，没有未经书面许可，可以复制部分。内容仅用于信息目的。
关于《Microsoft引入了一个在常规CPU上运行的AI模型》的评论
暂无评论