“即时”人工智能：时机已经到来吗？

在关键点将生成式人工智能插入工作流程可以最大限度地提高其有效性，同时最大限度地降低成本。一些 CIO 很热情，但也有一些 CIO 很热情。其他人则持怀疑态度。

就像日本人一样看板几十年前，人工智能技术彻底改变了制造业，随着企业开始涉足生成式人工智能，类似的“及时”方法正在带来红利。

– 及时性至关重要。您不想提前太多时间完成工作，因为您需要实时环境。我们及时激活了人工智能。”金融服务公司 TIAA 首席运营、信息和数字官 Sastry Durvasula 说道。

TIAA 推出了生成式人工智能实施方案，内部称为“Research Buddy”，该实施方案根据需要从 TIAA 资产管理部门 Nuveen 的公开文件中收集相关事实和见解。

– 当研究分析师想要进行研究时，人工智能就会被激活。它接受分析师的输入，提供分析师问题的答案，并生成报告，”Durvasula 解释道。

[ 有关的：TIAA 通过 AI 实现客户旅程现代化]

然而，及时性并不是采用即时人工智能方法的唯一原因。一代人工智能处理的费用至少同样重要。“人工智能的成本可能非常高，而且就商业价值而言并不总是合理的，”Durvasula 指出。

并非一直如此

Forrester 分析师 Mike Gualtieri 表示，即时方法很好，但只是有时如此。

“这是我经常听到的一个概念，但我不确定我是否同意人们所说的，”他说，并补充说大多数领导者对即时方法感兴趣，因为他们认为一代人工智能很昂贵。Gualtieri 表示，这可能适用于低利润的客户互动，但对于价值数百万美元的时代来说，调用生成式人工智能的成本微不足道。

“如果它花费你一百万美元并为你节省一千万美元，那么成本就不应该成为你的阻碍，”他断言。

Gualtieri 表示 IT 领导者应该知道成本何时成为其人工智能工作负载的一个因素，以及何时不是。例如，由于大多数组织通常使用预先训练的大型语言模型 (LLM)，因此大多数组织不会在基础设施和模型训练成本上花费大量资金。虽然AI人才价格昂贵，使用预先训练的模型也使得高价的数据科学人才变得不必要。

“他们只需要软件开发团队将 [gen AI] 组件整合到应用程序中，因此人才不再是限制因素，”分析师声称。

使用检索增强生成（RAG）他表示，服务是降低人工智能成本的一种方法。RAG 提高了 gen AI 输出的质量和相关性，同时减少了定制模型训练的需求并控制了成本。– 供应商正在提供内置 RAG 解决方案，因此企业无需自行构建。谷歌推出了 RAG 服务。您使用模型，然后在需要时在最后一刻注入内容。”Gualtieri 解释道。

然而，Gualtieri 提出的最后一点总结了生成人工智能的即时方法的价值主张：仅在必要时以及在需要的最后一刻才注入模型调用。事实上，RAG 等技术已成为人工智能注入运营的最佳实践，对于开发和使用这些技术的团队来说，这些技术不仅可以提供最大的业务价值，还可以最大限度地减少目标用例和工作流程的人工智能负载。

这些技术使企业能够利用现成的、预先训练的法学硕士，而无需针对其特定数据集对其进行进一步培训，并通过 RAG 设计工作流程，强调软件开发工作，而不是更昂贵、更稀缺的工作。、数据科学人才。这是即时人工智能精神的一部分。

Gen AI 提供及时决策

一家公司推出了全公司范围的新一代人工智能平台，旨在针对特定情况，加快工作流程。SAIC 是一家服务于国防、太空、民用和情报市场的技术集成商，于 2024 年 5 月向公司所有 24,000 名员工推出了基于 Microsoft Azure 的 Tenjin GPT 和 OpenAI 平台。初始用例增强了整个组织战略点的工作流程。

例如，该公司构建了一个聊天机器人来帮助员工处理 IT 服务事件，以及一个虚拟代理来为客户服务请求提供信息。Tenjin 还被用于人工智能辅助软件开发、数据准备和可视化以及内容生成。上汽集团也将其提供给上汽集团的客户。

SAIC 首席信息官 Nathan Rogers 表示，Tenjin GPT 是长期人工智能战略的第一步。

– 我们希望让人工智能进入更广泛的用户群。我们最终将在整个公司拥有公民开发人员，他们可以为内部用例和政府客户及时做出决策，”罗杰斯说。

名字里有什么？

一位 IT 领导者承认新一代人工智能可能成本高昂且必须谨慎处理，但他质疑“即时”标签是否合适。

——“准时制”不太能引起我的共鸣。这更像是在正确的地方使用正确的技术来减少对不必要资源的需求并管理成本和效率。这与我们所做的一切都是一样的。”技术分销商和解决方案提供商安富利 (Avnet) 的首席信息官 Max Chan 说道。

“然而，”他补充道，“[及时]类比适用于新一代人工智能的高成本和高资源消耗。Gen AI 和 LLM 使用大量计算周期，而 Gen AI 并不能解决所有问题。我们不想浪费不必要的周期而得不到结果，”陈说。– [AI] 必须非常有针对性。我们并不是为了人工智能而开发人工智能，而是研究它如何帮助我们实现盈利。”

关于生成人工智能的即时方法的另一个问题是是否可以在循环中插入人类（HITL）以确保生成人工智能的响应不存在偏见或幻觉。根据整个工作流程的结构，HITL 可能具有挑战性。

– 当您拥有即时 AI 时，您就无法享受 HITL 的奢侈。但这是一个可以解决的问题。这必须提前完成，”TIAA 的 Durvasula 说道。

这意味着在将人工智能代理部署到生产环境之前，要注意确保将负责任的人工智能规则嵌入到人工智能代理中。CIO 解释说，在 TIAA 的案例中，这还意味着 Nuveen 分析师在使用 Research Buddy 结果之前对其进行审查。

万一

对于 Durvasula 来说，“以防万一”的概念也适用于 Nuveen 同事使用的人工智能研究伙伴，它会在正确的时刻生成报告，但仅在需要时才生成。

– 投资驱动的工作流程应该以防万一。你需要为投资专业人士提供他们需要的见解，”他说。此外，当您实时为投资专业人士提供大量公共数据服务时，您不会有太多延迟。个性化和自定义提示需要实时完成，”首席信息官补充道。

虽然具有革命性，但新一代人工智能通常是逐步实施的，一点一点地改善运营、体验和结果。日本技术同样彻底改变了制造业，在许多地方减少了少量的时间和成本。无论是及时、以防万一还是单纯的智能，充分利用人工智能都需要类似水平的思考和规划。