作者:SambaNova Systems
加利福尼亚州帕洛阿尔托,2025年2月13日Sambanova是一家生产的AI公司,提供了最有效的AI芯片和最快的车型,宣布DeepSeek-R1 671B今天以每秒198个令牌(T/s)的速度(T/S)在Sambanova Cloud上运行,无法实现速度和效率,没有其他平台可以匹配。 DeepSeek-R1将AI培训成本降低了10倍,但直到现在,其推理成本和效率低下的较高的推理成本阻碍了其广泛的采用。Sambanova删除了这一障碍,为开发商和企业的实时,具有成本效益的推论解锁。 Sambanova的首席执行官兼联合创始人Rodrigo Liang说:“由SN40L RDU芯片提供动力,Sambanova是最快的平台DeepSeek,每秒以每秒198个令牌为单位。”“这将比单个机架上最新的GPU速度快到5倍,到年底,我们将为DeepSeek-R1提供100倍的能力。” “能够运行完整的DeepSeek-R1 671b型号 - 不是Sambanova的速度快速速度的蒸馏版本,这对于开发人员来说是一个改变游戏规则的游戏。R1之类的推理模型需要产生很多推理代码,以提出很多推理代码卓越的输出使它们比传统的LLM更长。S计算机科学系。 “人工分析已经独立基准了Sambanova在超过195个输出令牌以上的专家模型的6710亿参数DeepSeek-r1混合物中的云部署,这是我们对DeepSeek-R1的最快输出速度。高输出速度特别重要,对于高输出速度特别重要。推理模型,由于这些模型使用推理输出代币来改善其响应的质量,因此Sambanova的高输出速度将支持在潜伏期敏感的用例中使用推理模型。 DeepSeek-R1通过将培训成本倒塌十倍,彻底改变了AI,但是,广泛采用的收养已经停滞不前,因为DeepSeek-R1的推理能力需要更大的推理来进行推理,从而使AI生产更加昂贵。实际上,对于大多数开发人员而言,基于GPU的推理效率低下使DeepSeek-R1无法触及。 Sambanova解决了这个问题。借助专有的数据流架构和三层内存设计,Sambanova的SN40L可重新配置数据流单元(RDU)芯片崩溃了硬件要求,从40个机架(最新GPUS的320个)到DOWSSEEK-R1 671B有效地运行到Down down down down to down在无与伦比的效率下解锁具有成本效益的推断。 Sambanova首席执行官Rodrigo Liang说:“ DeepSeek-R1是最先进的Frontier AI模型之一,但其全部潜力受GPU效率低下的限制。”“今天发生了变化。我们带来了下一个重大突破的推理成本,并将硬件要求从40个机架降低到只有一个,以有效地提供最快的速度。” “ Fortune 500公司的超过1000万用户和工程团队依靠Blackbox AI来改变他们编写代码和制造产品的方式。我们与Sambanova的合作伙伴关系在加速我们的自主编码代理工作流程中起着至关重要的作用。Sambanova的芯片功能无与伦比的服务是无与伦比的。Blackbox AI的首席执行官Robert Rizk说,完整的DeepSeek-R1 671B型号比任何蒸馏版本都提供了更好的精度。”。下一步:世界上最有效的DeepSeek API - 当前100倍的全球能力 运行的内存是受内存的限制,但是Sambanova的独特数据流架构意味着我们可以在不久数据通信瓶颈。” Sambanova正在迅速扩大其满足预期需求的能力,到今年年底,将为当前的DeepSeek-R1提供100倍以上。这使得其RDU成为推理模型最有效的企业解决方案。在Sambanova Cloud上及早访问R1 Cloud.Sambanova.ai。关于Sambanova系统客户转向Sambanova,以在企业中快速部署最先进的生成AI功能。 Sambanova Systems总部位于加利福尼亚州的帕洛阿尔托,由行业杰出人士以及来自Sun/Oracle和Stanford University的硬件和软件设计专家于2017年成立。 投资者包括软银愿景基金2,由贝莱德,英特尔资本,GV,Walden International,Temasek,GIC,Redline Capital,Redline Capital,Atlantic Bridge Ventures,Celesta,Celesta等人管理的资金和账户。拜访我们Sambanova.ai或与我们联系info@sambanova.ai。关注Sambanova系统上的系统LinkedIn然后继续x。
Sambanova解决了DeepSeek的最大挑战:规模推断
Sambanova首席建筑师Sumti Jairath解释说:“ DeepSeek-R1是Sambanova的三层内存架构的完美匹配。有6710亿个参数R1是迄今为止发布的最大的开源大语言模型,这意味着它需要很多,它需要很多。
DeepSeek-R1 671B完整模型现在可供所有用户体验并通过Sambanova Cloud上的API选择用户。
我们专用的企业规模的AI平台是下一代AI计算的技术主干。
主题:消息