AI21首席执行官表示,由于错误累积问题,变压器模型不适合用于AI代理

2024-10-11 20:03:20 英文原文

作者:Emilia David

An AI-generated robot sitting in front of a computer, responding to customer service tickets.

一个坐在电脑前的人工智能机器人,回应客户服务中心的工单。

订阅我们的每日和每周通讯,获取最新更新和独家行业领先人工智能报道内容。了解更多


随着越来越多的企业组织着眼于所谓的代理未来,一个障碍可能是AI模型是如何构建的。对于企业AI开发者来说A121答案显而易见,行业需要转向其他模型架构以实现更高效的AI代理。

AI21的首席执行官阿里·戈申在接受VentureBeat采访时说,最流行的模型架构Transformer存在限制,这使得多代理生态系统难以实现。

戈申说:“我看到的一个趋势是,非Transformer架构的崛起,这些替代架构将更高效。”“Transformer通过创建大量非常昂贵的令牌来运行。”

AI21,专注于开发企业人工智能解决方案此前曾提出过观点,认为Transformer应该作为一种架构选项存在,而不应是默认选择。它正在开发基础模型使用其JAMBA架构,简称联合注意力和Mamba架构。它基于Mamba架构由研究人员开发的来自普林斯顿大学和卡内基梅隆大学,可以提供更快的推理时间和更长的上下文。

戈申说,像玛巴和贾巴这样的替代架构可以使代理结构更加高效,并且最重要的是更具成本效益。对他来说,基于玛巴的模型具有更好的内存性能,这会使代理(特别是与其他模型连接的代理)表现得更好。

他将人工智能代理目前才开始流行的原因以及为什么大多数代理尚未进入产品市场的原因归结为依赖于使用变换构建的大规模语言模型。

“代理目前还没有进入生产模式的主要原因是可靠性和缺乏可靠性,”戈申说。“当你拆解一个变压器模型时,你知道它是高度随机的,所以任何错误都会被放大并延续下去。”

企业代理越来越受欢迎

AI代理出现作为今年企业人工智能领域的最大趋势之一,多家公司推出了AI代理和平台,以简化构建代理的过程。

ServiceNow宣布了其Now Assist人工智能平台的更新,包括一个AI代理库供客户使用。Salesforce有其一系列名为的代理。 注意:原文中“called”后的名称缺失,因此这部分未能具体翻译,请补充完整名称再尝试。根据上下文,可能是某些特定的名字或项目的代号,如"Einstein Agents"等。如果提供完整的原句,可以给出更准确的译文。代理商力量while Slack已经开始允许用户集成代理程序来自Salesforce、Cohere、Workday、Asana、Adobe等。

哥申认为,有了合适模型和模型架构的组合,这种趋势将会变得更加流行。

“我们现在看到的一些应用场景,比如聊天机器人中的问答,基本上就是被美化了的搜索,”他说。“我认为真正的智能在于从不同来源连接和检索不同的信息。”

哥申补充说,AI21正在开发与人工智能代理相关的服务。

争夺关注的其他架构

戈申强烈支持像Mamba和AI21的Jamba这样的替代架构,主要是因为他认为变压器模型运行起来太昂贵且不便。

与变压器模型的核心注意力机制不同,Mamba可以优先处理不同的数据并为输入分配权重,优化内存使用,并利用GPU的计算能力。

Mamba正在流行起来。其他开源和开放权重的AI开发者已经开始在过去的几个月里发布基于Mamba的模型。Mistral发布了Codestral玛amba 7B七月和八月,Falcon 推出了自己的基于 Mamba 的模型,Falcon曼巴7B.  

然而,当开发基础模型时,变压器架构已经成为默认甚至是标准的选择。OpenAI的GPT当然是一个变压器模型——这个名字里就体现了这一点——但大多数其他流行的模型也都是变压器模型。

戈申说,最终,企业希望采用更可靠的方法。但组织也必须警惕那些承诺解决许多问题的花哨演示。

“我们现在处于制作有吸引力的演示很容易的阶段,但离产品阶段更近了,”Goshen说。“将企业AI用于研究是可以接受的,但它还没有达到可以用来辅助决策的地步。”

VB日报

掌握最新动态!每日将最新新闻发送至您的邮箱。

通过订阅,您同意VentureBeat的条款与条件。请注意,原文中的"VentureBeat's"后缺少具体内容(如服务条款、隐私政策等),因此这里只翻译了给出的部分,并保持原有格式。若需完整翻译,请提供完整的英文文本。在此情况下输出原文更为准确:By subscribing, you agree to VentureBeat's服务条款。

感谢订阅。查看更多VB新闻通讯在这里.

发生错误。

关于《AI21首席执行官表示,由于错误累积问题,变压器模型不适合用于AI代理》的评论


暂无评论

发表评论

摘要

2024年10月11日 13:03 一个由人工智能生成的机器人坐在电脑前,回应客户服务请求。加入我们的每日和每周通讯,获取行业领先的AI报道的最新更新和专属内容。对于企业级AI开发者A121而言,答案是明确的:该行业需要转向其他模型架构以实现更高效的AI代理。“我观察到的一个趋势是非Transformer架构的兴起,这些替代架构将更加高效,”Goshen说。“其他架构也在争取关注 Goshen强烈支持像Mamba和AI21的Jamba这样的替代架构,主要是因为他认为Transformer模型运行成本过高且难以操作。