红帽宣布有意收购开源 vLLM 项目背后的主要开发商 Neural Magic。
此次收购被定位为红帽及其母公司 IBM 降低想要运营的组织进入门槛的一种方式机器学习无需部署配备图形处理单元 (GPU) 的服务器即可处理工作负载。这种依赖造成了进入壁垒，阻碍了人工智能 (AI) 在各个行业的广泛采用，并限制了其彻底改变我们生活和工作方式的潜力。
vLLM 的 GitHub 条目将该软件描述为： – 高吞吐量且内存高效的推理和分析LLM 的服务引擎[大型语言模型]。 –
在博客中讨论红帽总裁兼首席执行官马特·希克斯 (Matt Hicks) 表示，Neural Magic 已经开发出一种运行机器学习 (ML) 算法的方法，无需昂贵且通常难以获取的 GPU 服务器硬件。
他表示，Neural Magic 的创始人希望让任何人，无论其资源如何，都能利用人工智能的力量。“他们的突破性方法涉及利用修剪和量化等技术来优化机器学习模型，首先允许机器学习模型在现成的 CPU 上高效运行而不牺牲性能，”他写道。
希克斯谈到了向更小、更专业的人工智能模型的转变，这些模型可以以更高的效率提供卓越的性能。“这些模型不仅训练和部署效率更高，而且在定制和适应性方面也具有显着的优势，”他写道。
红帽正在推动稀疏化的理念，根据 Hicks 的说法，这种理念“战略性地消除了模型中不必要的连接”。他说，这种方法可以减少模型的大小和计算要求，而不会牺牲准确性或性能。然后使用量化来进一步减小模型大小，使 AI 模型能够在内存要求较低的平台上运行。
“所有这些都意味着更低的成本、更快的推理以及在更广泛的硬件上运行人工智能工作负载的能力，”他补充道。
红帽收购 Neural Magic 的意图符合母公司 IBM 帮助企业客户使用人工智能模型的战略。
在一个最近接受《计算机周刊》采访IBM 软件产品组合产品管理主管 Kareem Yusuf 表示，该供应商已经发现了一个商机，可以为那些希望“轻松地将数据整合到大型语言模型中”的客户提供支持。他说，这使他们能够利用大型语言模型来保护和控制企业数据。
IBM 开发了一个名为 InstructLab 的项目，该项目提供了创建和合并 LLM 更改的工具，而无需从头开始重新训练模型。它与 IBM Granite（企业数据集的基础 AI 模型）一起在开源社区中提供。
IBM 高级副总裁兼研究总监达里奥·吉尔 (Dario Gil) 表示：“随着我们的客户希望在其混合环境中扩展人工智能，基于开放基础的虚拟化、云原生法学硕士将成为行业标准。红帽在开源领域的领先地位，结合 IBM Granite 和 Neural Magic 等高效开源模型的选择，可跨平台扩展 AI，为企业提供跨平台部署 AI 所需的控制力和灵活性。企业。 –
