IBM 加大对开源人工智能的投资,推出新的 Granite 3.0 模型

2024-10-22 19:24:00 英文原文

作者:Written by

ibmlogo-gettyimages-503746912
埃森·米勒/盖蒂图片社

开源与人工智能有着微妙的关系。人工智能离不开开源技术,但很少有公司愿意开源他们的AI程序或大型语言模型(LLM)。不过值得注意的是,IBM此前曾这样做过。开源了其Granite模型现在,IBM通过发布其最新的开源人工智能加大了对开源AI的投入。Granite AI 3.0模型在Apache 2.0许可下。

IBM 使用公开可用的数据集(如 GitHub Code Clean、Starcoder 数据、公共代码库和 GitHub 问题)进行了预训练,并且 IBM 努力避免潜在的版权或法律问题。

也即:AI能开源吗?这很复杂。

为什么其他主要的AI公司没有这样做?一个重要的原因是他们的数据集中包含了大量的受版权或其他知识产权保护的数据。如果他们公开自己的数据,也会使自己面临诉讼的风险。例如,《华尔街日报》和《纽约邮报》等新闻集团的出版物是起诉Perplexity侵犯他们的版权内容.

相比之下,Granite模型是专门为企业用例设计的大语言模型,特别强调编程和软件开发。IBM声称这些新模型是在今年早些时候发布的模型所使用数据量的三倍上进行训练的。它们还提供了更大的建模灵活性以及对外部变量和支持滚动预测的支持。

特别是新的Granite 3.0 8B和2B语言模型被设计为企业的“主力”AI模型,能够提供诸如以下任务的稳定性能:检索增强生成(RAG)), 分类, 摘要, 实体提取和工具使用。

这些模型也有Instruct版本和守护者变体。首先,如其名称所承诺的那样,它帮助人们学习特定的语言。Guardian被设计用来检测用户提示和AI响应中的风险。这至关重要,因为正如安全专家Bruce Schindler在会议上指出的那样,安全开源软件(SOSS)融合在会议上,“提示注入[攻击]起作用是因为我发送的数据被AI解释为命令”——这可能导致灾难性的回答。

也:红帽公司公布了对红帽企业版Linux人工智能的重大改进

Granite代码模型的参数范围从30亿到340亿,并且在116种编程语言和3至4万亿字节的标记数据上进行了训练,结合了广泛的语言代码数据和自然语言数据集。这些模型可以通过多个平台访问,包括Hugging Face、GitHub、IBM自身的Watsonx.ai等。红帽企业Linux (RHEL) 人工智能一组精选的Granite 3.0模型也在Ollama和Replicate上提供。

此外,IBM发布了其新的版本沃森X代码助理用于应用程序开发。在那里,Granite提供了跨C、C++、Go、Java和Python等语言的通用编码辅助,并为企业级Java应用提供高级应用程序现代化功能。现在,通过Visual Studio Code扩展程序可以访问Granite的代码功能。IBM Granite.Code.

также: (由于“Also:”是一个简单的英文单词短语,在直接翻译时可能会显得不自然。根据中文的习惯表达,通常我们会将其放在句子中间或作为上下文的一部分来使用,如“此外:”,如果需要更具体的翻译请给出具体上下文) 原文:Also:如何使用ChatGPT编写代码:它擅长什么以及不擅长什么

Apache 2.0许可证允许进行研究和商业使用,这与其它主要的大型语言模型相比具有显著优势,因为后者可能声称是开源的,但实际上对其LLM施加了商业限制。最值得注意的例子是元公司的Llama.

通过将这些模型免费提供,IBM降低了人工智能开发和使用的门槛。IBM也认为,由于这些模型是真正开源的,开发者和研究人员可以迅速在此基础上进行建设和改进。

IBM也声称这些模型可以提供与更大、更昂贵的模型相当的性能。

把这一切结合起来,至少我是很佩服的。的确,Granite不会帮助孩子们做家庭作业或写伟大的AI美国小说,但它会帮助你开发有用的程序和基于AI的专家系统。

关于《 IBM 加大对开源人工智能的投资,推出新的 Granite 3.0 模型》的评论


暂无评论

发表评论

摘要

Ethan Miller/盖帝图像 开源与AI的关系并不稳定。Granite 3.0模型的精选集也在Ollama和Replicate上提供。另外:如何使用ChatGPT编写代码:它做得好以及不好的地方Apache 2.0许可证允许进行研究和商业用途,这与其他主要的大语言模型相比具有显著优势,后者可能声称是开源的,但实际上对其大语言模型施加了商业限制。IBM也认为,有充分的理由相信,由于它们真正是开源的,开发人员和研究人员可以迅速地构建并改进这些模型。综合来看,我对此印象深刻。