Microsoft研究人员构建了具有2B参数的1位AI LLM - 型号很小,可以在某些CPU上运行
2025-04-17 17:40:41
微软研究人员已经开发了B1.58 2B4T,这是一种开放式轻量级语言模型(LLM),其参数为20亿个参数。该模型仅允许三个值(-1、0,+1)允许使用三个值(-1、0,+1)的唯一功能,即使在CPU上也有效地运行,仅需要400MB的非填充内存,并且比较大模型所需的功率更少。尽管与更广泛的AI模型相比,精度较低,但Bitnet在基准测试中表现出色,并且可以通过拥抱脸进行实验。可以在GitHub上访问推理框架bitnet.cpp,对于其有效性能至关重要。