企业对人工智能模型的裁决：为什么开源会获胜

报道

虽然开源的前景是不可否认的，但它的采用速度相对缓慢。

但该公司告诉 VentureBeat，Meta 的公开可用模型现已下载超过 4 亿次，下载量比去年高出 10 倍，其中从 2024 年 5 月到 7 月，使用量翻倍。采用率的激增反映了从技术平等到信任考虑等多种因素的融合，这些因素正在推动先进企业转向开放的替代方案。“开放总是胜利”，Groq 首席执行官 Jonathan Ross 宣称。Groq 是一家专业人工智能处理基础设施提供商，已经看到大量客户使用开放模型。

– 大多数人确实担心供应商锁定。 –

甚至AWS，投资40亿美元对闭源提供商 Anthropic 的投资——其有史以来最大的投资——承认了这一势头。AWS 人工智能与基础设施副总裁 Baskar Sridharan 表示，“在过去的几个月里，我们确实看到了公开可用模型的吸引力不断增加”，该服务提供对尽可能多的模型（开放式和封闭式）的访问来源，通过其 Bedrock 服务。 

大型应用公司的平台转变加速了采用

确实，在初创公司或个人开发者中，OpenAI 等闭源模型仍然处于领先地位。但在企业中，情况却大不相同。不幸的是，没有第三方来源跟踪企业的开放式与封闭式 LLM 竞赛，部分原因是这几乎不可能做到：企业世界过于分散，而公司又过于私密，无法公开这些信息。民众。API 公司 Kong 在 7 月份对 700 多名用户进行了调查。但受访者既包括小公司也包括企业，因此偏向 OpenAI，毫无疑问，OpenAI 仍然在寻求简单选择的初创公司中处于领先地位。（该报告还包括其他人工智能服务，例如 Bedrock，它不是法学硕士，而是提供多个法学硕士的服务，包括开源法学硕士 - 所以它混合了苹果和橙子。）

但有趣的是，证据正在堆积起来。其一，各大商业应用程序提供商最近都积极整合开源法学硕士，从根本上改变了企业部署这些模型的方式。Salesforce 引领了最新浪潮上个月推出 Agentforce，认识到其客户关系管理客户需要更灵活的人工智能选项。该平台使公司能够在 Salesforce 应用程序中插入任何 LLM，从而有效地使开源模型像封闭模型一样易于使用。Salesforce 迅速收购 Slack纷纷效仿。

甲骨文也在上个月在其企业套件中扩展了对最新 Llama 模型的支持，其中包括 ERP、人力资源和供应链的大型企业应用程序。SAP，另一家商业应用巨头，宣布全面的开源 LLM 支持通过其 Joule AI 副驾驶，而 ServiceNow支持开放式和封闭式 LLM 整合用于客户服务和 IT 支持等领域的工作流程自动化。

“我认为开放模式最终会胜出，”Oracle 人工智能和数据管理服务执行副总裁 Greg Pavlik 说道。他说，修改模型和实验的能力，特别是在垂直领域，加上有利的成本，对企业客户来说非常有吸引力。

“开放”模型的复杂景观

虽然 Meta’s Llama 已成为领跑者，但开放的 LLM 生态系统已发展成为一个具有不同开放方式的细致入微的市场。其一，Meta’s Llama 在市场上拥有超过 65,000 个模型衍生品。企业 IT 领导者必须驾驭这些选项以及其他选项，从完全开放的权重和训练数据到具有商业许可的混合模型。

例如，Mistral AI 通过提供具有灵活许可条款的高性能模型来吸引需要不同级别支持和定制的企业，从而获得了巨大的吸引力。Cohere采取了另一种方法，提供开放模型权重，但需要支付许可费——一些企业更喜欢这种模型，因为它可以平衡透明度和商业支持。

开放模型环境的这种复杂性已成为成熟企业的优势。公司可以选择符合其特定要求的模型，无论是完全控制模型权重以进行大量定制，还是支持开放权重模型以实现更快的部署。领导人表示，检查和修改这些模型的能力提供了完全封闭的替代方案无法实现的控制水平。使用开源模型通常还需要技术更熟练的团队来有效地调整和管理模型，这是拥有更多资源的企业公司在使用开源时占据上风的另一个原因。

Meta 的 Llama 快速发展体现了企业拥抱开放模型灵活性的原因。AT&T 使用基于 Llama 的模型用于客户服务自动化、DoorDash 帮助回答其软件工程师的问题，Spotify 帮助内容推荐。高盛已将这些模型部署在受到严格监管的金融服务应用程序中。其他 Llama 用户包括 Niantic、野村证券、Shopify、Zoom、埃森哲、Infosys、毕马威、富国银行、IBM 和格莱美奖。 

Meta积极培育渠道合作伙伴。现在所有主要云提供商都采用 Llama 模型。Meta 产品副总裁 Ragavan Srinivasan 表示，“他们开始看到企业客户对 Llama 的兴趣和部署量一直在飙升”，特别是在 Llama 3.1 和 3.2 推出之后出去。特别是大型 405B 模型受到了很大的关注，因为非常精明、成熟的企业客户看到了能够在多个模型之间切换的价值。”他说，客户可以使用蒸馏服务来创建 Llama 的衍生模型405B，能够根据他们的数据对其进行微调。蒸馏是在保留核心功能的同时创建更小、更快的模型的过程。 

事实上，Meta 的其他型号组合很好地涵盖了这一领域，包括 Llama 90B 型号（可用作大多数提示的主力），以及 1B 和 3B（尺寸足够小，可以在设备上使用）。今天，元发布了这些较小模型的“量化”版本。量化是另一个使模型更小、功耗更低、处理速度更快的过程。这些最新产品的特别之处在于，它们在训练过程中进行了量化，这使得它们比其他行业的量化仿冒品更高效——代币生成速度比原始产品快四倍，使用的功率只有原来的四分之一。

技术能力推动复杂的部署

开放式和封闭式模型之间的技术差距基本上已经消失，但每种模型都显示出独特的优势，成熟的企业正在学习战略性地利用这些优势。这导致了一种更加细致入微的部署方法，公司根据特定的任务要求组合不同的模型。

“大型专有模型在高级推理和分解模糊任务方面表现出色，”Salesforce 人工智能执行副总裁 Jayesh Govindarajan 解释道。但对于那些轻于推理、重于精心设计语言的任务，例如起草电子邮件、创建活动内容、研究公司，“开源模型处于同等水平，有些甚至更好，”他说。此外，即使是高推理任务也可以分解为子任务，其中许多最终成为开源擅长的语言任务，他说。 

Intuit 是会计软件 Quickbooks 和税务软件 Turbotax 的所有者，几年前就开始了 LLM 之旅，使其成为财富 500 强公司中的先行者。其实施表明复杂的方法。对于 QuickBooks 中的交易分类等面向客户的应用程序，该公司发现其基于 Llama 3 构建的微调 LLM 表现出比封闭替代方案更高的准确性。“我们发现，我们可以采用其中一些开源模型，然后实际对其进行精简，并将其用于特定领域的需求，”Intuit 首席数据官 Ashok Srivastava 解释道。它们“尺寸可以小得多，延迟也可以低得多，并且准确度相同（如果不是更高）。”

银行业体现了从封闭式法学硕士到开放式法学硕士的转变。澳新银行 (ANZ Bank) 是一家为澳大利亚和新西兰提供服务的银行，它开始使用 OpenAI 进行快速实验。但当它开始部署实际应用程序时，它放弃了 OpenAI，转而微调自己的基于 Llama 的模型，以适应其特定的金融用例，这是由稳定性和数据主权需求驱动的。该银行发布了一份关于经验的博客，引用了 Llama 的多个版本、灵活的托管、版本控制和更轻松的回滚提供的灵活性。据我们所知，另一家美国三大银行最近也放弃了 OpenAI。

像这样的例子，公司希望离开 OpenAI 转而开源，从而引发了类似的事情 –来自 PostgresML 等公司的开关套件这使得退出 OpenAI 并拥抱开源变得很容易——只需几分钟。”

基础设施的发展消除了部署障碍

部署开源法学硕士的路径已大大简化。Meta 的 Srinivasan 概述了企业采用的三个关键途径：

1. 云合作伙伴集成：主要云提供商现在提供开源模型的简化部署，具有内置的安全性和扩展功能。
2. 定制堆栈开发：拥有技术专业知识的公司可以在本地或云端构建自己的基础设施，保持对其 AI 堆栈的完全控制 - Meta 正在帮助其所谓的骆驼栈。
3. API 访问：对于寻求简单性的公司来说，多个提供商现在提供对开源模型的 API 访问，使它们像封闭替代方案一样易于使用。Groq、Fireworks 和 Hugging Face 就是示例。它们都能够为您提供推理 API、微调 API 和基本上你需要的任何东西或者您可以从专有提供商处获得。

安全和控制优势显现

开源方法也意外地成为模型安全和控制领域的领导者，特别是对于需要对其人工智能系统进行严格监督的企业而言。“Meta 在安全方面非常谨慎，因为他们将其公开，”Groq’s Ross 指出。——他们实际上对此更加小心。而对于其他人，您无法真正看到发生了什么，并且无法轻松地对其进行测试。”

对安全的重视体现在 Meta 的组织结构中。罗斯援引几个月前与 Meta 的对话表示，相对于其工程团队，其专注于 Llama 安全性和合规性的团队规模更大。（Meta 发言人表示，公司不对人事信息发表评论）。Llama 3.2 九月发布推出 Llama Guard Vision，添加到七月发布的安全工具。这些工具可以：

• 在潜在有问题的文本和图像输入到达模型之前检测它们
• 监控和过滤输出响应以确保安全性和合规性

企业人工智能提供商建立在这些基本安全功能的基础上。例如，AWS 的 Bedrock 服务允许公司跨不同模型建立一致的安全护栏。“一旦客户设置了这些策略，他们就可以选择从一种公开可用的模型迁移到另一种模型，而无需实际重写应用程序，”AWS 解释说。Sridharan。这种标准化对于管理多个人工智能应用程序的企业至关重要。

领先的企业云数据提供商 Databricks 和 Snowflake 也为 Llama 的安全性提供保证：“Llama 模型保持了“最高的安全性和可靠性标准”，神经网络首席技术官 Hanlin Tang 表示

Intuit 的实施展示了企业如何分层额外的安全措施。该公司的 GenSRF（安全、风险和欺诈评估）系统是其“GenOS”操作系统的一部分，可监控大约 100 个信任和安全维度。“我们有一个委员会负责审查法学硕士并确保其标准与公司的原则一致，”Intuit 的 Srivastava 解释道。然而，他表示这些对开放模型的评论与公司对闭源模型的评论没有什么不同。

通过综合训练解决数据来源问题

法学硕士的一个主要问题是他们接受培训的数据。出版商和其他创作者提起的诉讼比比皆是，指控法学硕士公司侵犯版权。大多数法学硕士公司，无论是开放的还是封闭的，都没有完全透明地了解他们的数据来源。由于其中大部分来自开放网络，因此可能存在很大偏见，并且包含个人信息。 

许多闭源公司已向用户提供“赔偿”或保护，使其免受因使用其法学硕士而导致的法律风险或索赔诉讼。开源提供商通常不提供此类赔偿。但最近，这种对数据来源​​的担忧似乎有所减弱。模型可以通过微调进行接地和过滤，Meta 和其他人已经创建了更多的对齐和其他安全措施来消除这种担忧。对于一些企业来说，数据来源仍然是一个问题，特别是那些处于高度监管行业的企业，例如银行或医疗保健行业。但一些专家建议，这些数据来源问题可能会通过合成训练数据很快得到解决。 

“想象一下，我可以获取公共的专有数据，并以某种算法方式对其进行修改，以创建代表现实世界的合成数据，”Salesforce 的 Govindarajan 解释道。“那么我真的不需要访问所有此类互联网数据……数据来源问题就这样消失了。”

Meta 拥抱了这一趋势，将Llama 3.2 的 1B 和 3B 模型中的综合数据训练。一个 

区域模式可能揭示成本驱动的采用

开源法学硕士的采用显示出独特的区域和行业特定模式。“在北美，闭源模型肯定比开源模型得到更多的生产使用，”Oracle 的 Pavlik 说道。– 另一方面，在拉丁美洲，我们看到用于生产场景的 Llama 模型大幅上升。它几乎颠倒了。”

造成这些区域差异的原因尚不清楚，但它们可能反映了围绕成本和基础设施的不同优先事项。Pavlik 描述了一个在全球范围内发生的场景：“一些企业用户外出，他们开始使用 GPT-4 制作一些原型。”他们收到第一张账单时会说，“天哪。”这比他们预期的要贵得多。然后他们开始寻找替代方案。”

市场动态指向商品化

法学硕士部署的经济性正在发生巨大变化，有利于开放模式。– 去年，LLM 输出的每个代币价格下降了 100 倍， –风险投资家马克·安德森 (Marc Andreessen) 指出，他质疑闭源模型提供商的利润是否难以捉摸。这种潜在的“逐底竞争”给那些已经筹集了数十亿美元用于封闭模式开发的公司带来了特别的压力，同时也有利于那些能够通过其核心业务维持开源开发的组织。

Intuit 的 Srivastava 表示：“我们知道这些模型的成本将降至零。”他警告说，公司“在这些模型上过度投资可能很快就会承受后果。”动态尤其有利于 Meta，它可以提供免费模型，同时从跨平台和产品的应用程序中获取价值。

Groqâs Ross 说，LLM 竞争的一个很好的类比是操作系统之战。– Linux 可能是法学硕士的最佳类比。 – 虽然 Windows 主导了消费者计算，但开源 Linux 逐渐主导了企业系统和工业计算。Intuit 的 Srivastava 看到了同样的模式： – 我们一次又一次地看到：开源操作系统与非开源操作系统。我们看到了浏览器战争中发生的事情，即开源 Chromium 浏览器击败了封闭模型。

SAP 全球人工智能主管 Walter Sun 对此表示同意：“我认为，在平局中，人们可以像利用闭源语言模型一样利用开源大型语言模型，这为人们提供了更大的灵活性。”他继续说道：“如果您有特定的需求、特定的用例……最好的方法就是使用开源。”

Groq’s Ross 等一些观察人士认为，Meta 可能有能力投入 1000 亿美元来训练其 Llama 模型，这将超过专有模型提供商的承诺总和。他说，Meta 有动力这样做，因为它是法学硕士的最大受益者之一。它需要他们通过向 Instagram、Facebook、Whatsapp 上的用户提供人工智能来提高其核心业务的智能水平。Meta 表示，其人工智能每周覆盖 1.85 亿活跃用户，这一规模很少有其他公司可以匹敌。 

这表明开源法学硕士不会面临困扰其他开源项目的可持续性挑战。“从明年开始，我们预计未来的 Llama 模型将成为业内最先进的模型，”Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 在 7 月份的讲话中宣称支持信用于开源人工智能。“但甚至在此之前，Llama 就已经在开放性、可修改性和成本效率方面处于领先地位。”

专业模型丰富生态系统

随着专业行业解决方案的出现，开源法学硕士生态系统正在得到进一步加强。例如，IBM 发布了完全开源的 Granite 模型，专门针对金融和法律应用程序进行了培训。“Granite 模型是我们的杀手级应用，”IBM 生成式 AI 全球管理合作伙伴 Matt Candy 说道。– 这些是唯一可以对已进行训练和调整的数据集进行完全解释的模型。如果您身处受监管的行业，并且要将企业数据与该模型整合在一起，那么您希望非常确定其中有什么。”

IBM 的业务受益于开源，包括将其 Red Hat Enterprise Linux 操作系统包装到混合云平台中，其中包括使用 Granite 模型及其 InstructLab（一种微调和增强 LLM 的方法）。人工智能业务已经开始发挥作用。“看看股票价格，”坎迪说。– 历史新高。 –

信任越来越青睐开源

信任正在转向企业可以拥有和控制的模式。Inflection AI 是一家为企业提供许可源代码和完整应用程序堆栈作为封闭和开源模型替代方案的公司，其首席运营官 Ted Shelton 解释了封闭模型面临的根本挑战：“是否是 OpenAI”，它是Anthropic，它是Gemini，它是微软，他们愿意为他们的企业客户提供所谓的私有计算环境。但是，该计算环境仍然由模型提供商的员工管理，客户无权访问模型。这是因为 LLM 所有者希望保护源代码、模型权重和超参数训练等专有元素详细信息不能对可以直接访问模型的客户隐藏。由于大部分代码是用 Python 而不是编译语言编写的，因此它仍然是暴露的。

这对于认真部署人工智能的企业来说是一个难以为继的局面。“一旦你说“好吧，好吧，OpenAI 的员工将实际控制和管理模型，并且他们可以访问公司的所有数据”，它就变成了一个向量谢尔顿指出，数据泄露。– 真正关心数据安全的公司会说 – 不，我们不会这样做。我们将实际运行我们自己的模型。唯一可用的选择就是开源。”——

前进的道路

虽然闭源模型在更简单的用例方面保持着市场份额领先地位，但成熟的企业越来越认识到，他们未来的竞争力取决于对其人工智能基础设施的更多控制。正如 Salesforce 的 Govindarajan 观察到的那样：“一旦您开始看到价值，并开始将其扩展到所有用户、所有客户，那么您就会开始提出一些有趣的问题。有效率吗？是否具有成本效益？是否可以提高速度效率？

这些问题的答案正在推动企业走向开放模式，即使转变并不总是那么简单。Inflection AI 的 Shelton 表示，“我确实认为有很多公司会非常努力地让开源发挥作用​​，”因为他们除此之外别无他法。你要么屈服并说几家大型科技公司拥有生成式人工智能，要么你接受马克·扎克伯格扔给你的救生索。你会说：“好吧，让我们开始吧。”