VAST数据公司通过InsightEngine深化其人工智能支持能力

VAST Data大约一年前推出了其数据平台，旨在统一存储、计算和数据。该公司更大的目标是简化将企业的所有数据连接到能够将这些数据转化为智能的应用程序和工具的复杂性。

该公司最近的动作是AI巨头Nvidia宣布合作InsightEngine旨在提供实时检索增强生成。让我们深入了解这一公告，并考虑这对企业IT组织以及整个行业意味着什么。

AI很复杂，数据是问题所在

首先，值得回顾一下VAST所解决的根本问题。说人工智能复杂并不新颖或有争议。由于技术、运营和组织等方面的原因，它确实很复杂。其中一个最大的挑战来自于用于AI的数据。数据存在于从边缘设备到本地数据中心再到云端的各个地方。数据也存在于支持业务的应用程序中——如ERP（企业资源规划）、CRM（客户关系管理）和HRM（人力资源管理）。最后，数据以多种不同的格式存在，包括结构化（例如数据库表）和非结构化的（文档、图片等）。

这里有一个长期存在的挑战：一个希望通过其数据获取价值的企业应该如何轻松地做到这一点？历史上，答案通常是：它做不到。这就是VAST试图通过其数据平台解决的问题，该平台通过多个组件解决了这一领域内的许多挑战。

• 数据存储：一个可扩展的解决方案，用于存储无需数据分级的非结构化数据——这意味着所有数据都是“热”的和关键的。
• 数据库:一个可扩展的事务性和分析型数据库，结合了传统数据库、数据仓库和数据湖的功能
• 数据引擎：能够快速处理数据并通过触发器和函数使其具备人工智能就绪状态的智能能力
• 数据空间：一个全局命名空间，使得无论数据位于企业的边缘、colo（ colocation，合置）设施、云端还是企业数据中心，都能够轻松访问这些数据。

因此，回顾一下，VAST数据平台的推出直接针对的是IT组织如何更轻松地收集、准备和训练大量用于AI应用中的大型语言模型的数据的挑战。

但是挑战在不断演变。随着AI逐渐成熟，我们开始注意到讨论从前沿模型转向了企业推理。随着讨论的转变，如何使训练数据在企业中发挥作用（而不仅仅是简单的聊天机器人）这一挑战也随之变化。推理是如何推动业务成果的？RAG是答案吗？对于后一个问题，VAST认为：以目前的状态来看，并不是。

InsightEngine 实时交付基于Nvidia NIM的RAG功能

InsightEngine 是 VAST 专注于帮助企业从 AI 推理中提取全部价值的地方。与 NVIDIA 合作，InsightEngine 可以为用户或另一个应用程序发起的查询提供更准确、更具上下文的相关响应。NIM（代表“Nvidia推理微服务”）是 NVIDIA 的框架，使企业能够更加精确和高效地在每个应用中使用经过训练的数据。

通过与NIM合作，InsightEngine可以在VAST的DataBase产品中创建向量和图嵌入。每当生成新数据时，就会生成向量嵌入以实时更新数据库。这些向量、图表和表格然后用于RAG系统。结果是一个高度准确并在VAST的向量数据库中实时交付的RAG实现，该数据库可以扩展到万亿级别的嵌入。

根据推理的使用方式，实时RAG的好处可能对特定组织并不那么关键。然而，对于由AI代理驱动且与其他AI代理交互的任务和业务关键型应用而言，缺乏实时数据可能会成为一个严重问题。如果你认为这种代理模型（即，在整个企业中AI代理相互交互）有点未来化，那并非如此。或者更确切地说，它是未来的，但未来已然到来。

这一切是如何实现的呢？VAST采用了一种解耦、无共享架构。这种架构将标准存储体系结构扩展为宽泛而扁平的形式，消除了数据分层的概念，因此本质上所有数据都是“热”数据。正因为如此，InsightEngine能够快速从企业应用程序中获取数据，并将其向量化存储在VAST数据库中。对象、文件、表、图，所有这些都存储在这个事务/分析数据库中以供检索。每当实时RAG（可能指的是Real-time Retrieval and Generation）被启用时，InsightEngine还会对大型语言模型进行微调。

宇宙，因为众志成城

VAST宣布中较少被提及的部分可能是目前对企业IT最有价值的。Cosmos是一个社区，VAST在这里直接将AI从业者与AI专家连接起来。虽然每个组织都希望能聘请20位博士来设计和部署整个企业的AI，但现实是AI人才稀缺且价格昂贵。尽管VAST Data Platform和InsightEngine旨在简化部署和运营AI的过程，“简化”这个词具有相对性。对于许多IT组织来说，这仍然会非常困难，并且技能缺口确实存在。

借助Cosmos，IT专业人士可以加入论坛并与他人以及专家互动，更好地了解最佳实践并解决可能看似难以应对的挑战。这不仅仅是将用户连接到VAST支持人员；它还将用户与其他面临相同挑战的人、大型咨询公司的人员以及硬件和软件供应商联系起来。

当然，像Cosmos这样的社区会受到使用程度和管理质量的限制。如果这个社区变成了一种只为埃森哲、德勤等公司推销产品的工具，它将很快失去吸引力。然而，这里确实存在着真正的潜力。

VAST的发行独特吗？

当VAST去年宣布数据平台时，它是唯一一家将此类数据管理引入存储的供应商。通过InsightEngine，它进一步区分了自己。然而，NetApp最近宣布其存储和数据管理平台ONTAP配备了AI引擎，能够执行大部分AI数据管道的功能。

也许在高性能存储领域，VAST最大的竞争对手是Weka，后者也有自己的用于生成式人工智能的数据平台。Weka的原生云架构可能与VAST最为接近，因为该公司从头开始设计其解决方案以实现高性能。

将Nvidia的InsightEngine加入VAST的架构为VAST带来了优势，因为它不仅扩展了AI数据管道的覆盖范围，还涵盖了从训练到推理的整个AI旅程。VAST的客户包括众多以数据和性能为导向的组织，如Zoom、NASA、皮克斯以及GPU云服务提供商CoreWeave。

VAST市场策略的 implications

VAST是一家数据管理公司。尽管它早期主要从事高性能存储的设计，但这显然是为了为其数据管理工作奠定基础。此外，该公司已成功构建了其存储和数据管理平台——否则它的估值就不会超过90亿美元。

这里有两个关于VAST需要考虑的问题。第一个问题是，它满足了那些面临重大数据管理挑战的公司的需求——可以说是顶尖公司。VAST无疑将继续在这个领域取得成功，但人们对其技术能否成功进入更广泛的市场以寻找更大的潜在客户群体存在疑问。话说回来，VAST是否真的想要这样做呢？

第二个考虑是我作为一名VAST客户的设想。部署VAST数据平台是一个深入的参与过程。一旦我开始使用，就不太容易离开它。这并不是坏事，但无疑是在任何企业IT组织考虑支持其人工智能旅程的供应商时的一个重要考量。

InsightEngine 契合 VAST 的长期焦点

VAST的发展历程令人兴奋。从一家在高性能计算世界中掀起风暴的存储公司到宣称自己是AI操作系统，这是一家不畏成为先行者的胆大公司。

当公司去年推出数据平台时，理解它的概念有些困难。这在一定程度上是因为公司在市场前沿谈论AI管道、全局命名空间、DASE和DataEngine，而其他人则都在讨论大语言模型（LLM）和ChatGPT。InsightEngine使VAST数据平台更加清晰，并展示了该公司如何成为整个AI旅程中不可或缺的一部分——从寻找和准备数据到训练和推理。

我留给你们的一点建议是：人工智能仍然很复杂。虽然VAST已经消除了很多复杂性，但迄今为止，人工智能市场中的失败案例远多于成功案例。你可以通过Cosmos和其他社区与专家互动，并确保你建立正确的基础。