加入我们的每日和每周的新闻通讯,获取有关行业领先的AI覆盖范围的最新更新和独家内容。了解更多
在AI中,情况正在迅速发展,如果您不跟上,您就会落后。
最近的两项发展正在为开发商和企业改造景观:DeepSeek S R1型号发布和Openai的新深层研究产品。他们一起重新定义了强大的推理模型的成本和可访问性,这已得到充分报道。然而,不少谈论的是,他们如何推动公司使用蒸馏,监督微调(SFT),加固学习(RL)和检索功能增强的一代(RAG)等技术来构建更智能,更专业的AI应用程序。
在最初的兴奋之后DeepSeek的惊人成就开发商和企业决策者需要考虑对他们意味着什么。从定价和性能到幻觉风险以及清洁数据的重要性,这些突破对今天建立AI的任何人意味着什么。
更便宜,透明,行业领先的推理模型,但通过蒸馏
DeepSeek-R1的标题很简单:它以Openai S O1的成本的一小部分提供了行业领先的推理模型。具体来说,它的运行便宜大约30倍,而与许多封闭的型号不同,DeepSeek围绕其推理步骤提供了完全透明度。对于开发人员而言,这意味着您现在可以通过蒸馏,微调或简单的抹布实现来构建高度自定义的AI模型而不破坏银行。
尤其是蒸馏,它是一种强大的工具。通过使用DeepSeek-R1作为教师模型,公司可以创建较小的,特定于任务的模型,以继承R1卓越的推理能力。实际上,这些较小的模型是大多数企业公司的未来。完整的R1推理模型对于公司的想法可能太多了也很多,并且不采取决定性行动公司需要其特定领域应用程序。``当然,在主流媒体中,没有人真正谈论过的一件事是,实际上,推理模型对诸如代理这样的事情没有很好的效果,”机器学习(ML)
)开发人员在越来越精心策划企业应用程序的AI代理商工作的开发人员。
作为发行的一部分,DeepSeek将其自身的推理能力提炼到了许多较小型号,包括来自Meta的Llama家族和阿里巴巴Qwen Family的开源模型,在论文中描述。这些较小的模型然后可以针对特定任务进行优化。朝着较小,快速模型满足定制需求的趋势将加速:最终将有一些军队。
我们现在开始进入一个人们正在使用多种模型的世界。威特韦恩说,他们不只是一直在使用一种模型。这还包括来自Google和OpenAI的低成本,较小的封闭式型号。``Gemini Flash,GPT-4O Mini和这些非常便宜的型号等模型实际上在80%的用例中都非常有效。”
如果您在一个晦涩的领域工作并有资源:使用SFTâ
在蒸馏步骤之后,企业公司有一些选择,以确保该模型已准备就绪。如果您在一个非常特定的域中居住在网络上或书籍中的详细信息中 - 通常在哪种大型语言模型(LLMS)上进行培训 - 您可以将其注入您自己的特定领域的数据设置,带有SFT。一个例子是船舶容器建造行业,在该行业中,规格,协议和法规并非广泛可用。
DeepSeek表明,您可以使用数千个提问的数据集做得很好。对于其他人如何付诸实践的示例,IBM工程师Chris Hay演示了他如何使用自己的数学特定数据集对小型模型进行微调,以实现闪电响应的响应 - 在同一个上表现优于Openai S O1任务(查看动手视频这里)
•和一点RL
此外,想培训模型以额外与特定偏好保持一致的公司,使客户支持聊天机器人声音同情,而又简洁 - 想做一些RL。如果一家公司希望其聊天机器人根据用户反馈调整其音调和建议,这也很好。随着每个模型都擅长于一切,个性将变得越来越大,沃顿人AI教授伊桑·莫利克(Ethan Mollick)在X上说。
但是,这些SFT和RL步骤对于公司实施得很好。用一个来自一个特定域区域的数据馈送模型,或者以某种方式调整其行动,并且突然对在该域或样式之外执行任务无用。
对于大多数公司来说,抹布就足够了
但是,对于大多数公司而言,抹布是最简单,最安全的道路。RAG是一个相对直接的过程,它允许组织使用自己的数据库中包含的专有数据将其模型扎根,以确保输出准确且特定于域。在这里,LLM将用户提示添加到向量和图形数据库中,以搜索与该提示有关的信息。抹布过程非常擅长找到最相关的内容。
这种方法还有助于抵消与DeepSeek相关的一些幻觉问题,目前幻觉的时间为14%,而Openai的O3型号为8%。Vectara完成的研究,一家供应商,可帮助公司进行Ragâprocess。
这种模型的蒸馏加抹布是大多数公司的魔术来源。即使对于那些具有有限的数据科学或编码专业知识的人来说,它也变得非常容易。我亲自下载了最小的DeepSeek蒸馏器1.5B QWEN型号,因此它可以很好地适合我的MacBook Air。然后,我将一些工作申请人的一些PDF恢复到矢量数据库中,然后要求该模型查看申请人,以告诉我哪些有资格在VentureBeat工作。(总的来说,这花了我74行代码,我基本上是从中借来的其他人也这样做)。
我喜欢DeepSeek蒸馏器模型在为什么或为什么不推荐每个申请人的背后展示了其思维过程。
在最近关于DeepSeek和Rag的视频讨论中,我介绍了它在实用应用程序中实施抹布的简单性,即使对于非专家也是如此。Witteveen还通过分解RAG管道的工作方式以及为何企业越来越依赖它们而不是完全微调模型来为讨论做出了贡献。((在这里观看)。
Openai深入研究:扩展了Rag的功能,但请注意
虽然DeepSeek正在使推理模型更便宜,更透明,但Openai的深入研究代表不同但互补的转变。通过爬网以创建高度定制的研究,它可以将抹布提升到一个新的水平。然后,可以将这项研究的输出插入,因为公司可以使用自己的数据,对公司可以使用的破布文档的输入。
这种功能通常称为代理抹布,允许AI系统自主从互联网中自动寻找最佳环境,从而为知识检索和接地带来了新的维度。
Open AI的深入研究类似于Google的深入研究,Perplexity和You.com等工具,但是Openai试图通过建议其卓越的经过想法的推理使其更加准确来区分其产品。这就是这些工具的工作方式:公司研究人员要求LLM在经过精心研究和引用的报告中找到有关某个主题的所有信息。LLM随后通过要求研究人员回答另外20个子问题以确认想要的内容来做出回应。然后,研究LLM出去并执行10或20个网络搜索以获取最相关的数据以回答所有这些子问题,然后提取知识并以有用的方式呈现知识。
但是,这种创新并不是没有挑战的。Vectara首席执行官Amr Awadallah警告说,依靠深度研究等模型的产出的风险。他质疑这是否确实更准确:尚不清楚这是真的。``我们在各种论坛上看到文章和帖子,说不,它们仍然得到很多幻觉,而深入的研究仅与市场上的其他解决方案一样好。”
换句话说,尽管深入的研究提供了有希望的能力,但企业在将其输出集成到知识库中时需要仔细踩踏。Awadallah说,模型的基础知识应来自经过验证的,人为批准的资源,以避免级联错误。
成本曲线正在崩溃:为什么这很重要
DeepSeek发行的最直接影响是其积极的价格降低。科技行业预计,随着时间的流逝,成本会下降,但很少有人预料到它会发生的速度。DeepSeek证明,强大的开放模型既可以负担得起又有效,从而为广泛的实验和具有成本效益的部署创造了机会。
阿瓦达拉(Awadallah)强调了这一点,指出真正改变游戏规则的人不仅仅是培训成本 - 这是推理成本,对于deepSeek而言,大约是Openai s O1或O3的1/30每个令牌。Awadallah说:“ Openai,Anthropic和Google Gemini能够捕获的利润率至少必须被压缩90%,因为它们可以与如此高的价格保持竞争力。”
不仅如此,这些费用将继续下降。拟人化的首席执行官达里奥·阿莫迪(Dario Amodei)最近说,开发模型的成本继续下降到每年4倍。因此,LLM提供商收取使用它们的利率也将继续下降。
我完全希望成本将达到零,” Intuit的CDO Ashok Srivastava说。•延迟到零。它们只是我们将能够使用的商品能力。
对于开发人员和企业用户来说,降低的成本并不是一场胜利。这表明AI创新不再仅限于具有十亿美元预算的大型实验室。进入障碍已经下降了,这激发了较小的公司和个人开发人员以前无法想象的方式进行实验。Srivastava说,最重要的是,这些模型是如此易于使用,以至于任何企业专家都将使用它们,而不仅仅是AI专家。
DeepSeek的破坏:在模型开发方面挑战了大巨大的据点
最重要的是,DeepSeek打破了只有AI大型实验室才能创新的神话。多年来,像OpenAI和Google这样的公司将自己定位为Advanced AI的守门人,并传播了只有拥有丰富资源的顶级博士学位的信念才能建立竞争模式。
Deepseek颠覆了这种叙述。通过使推理模型开放且负担得起,它赋予了新的开发商和企业公司的新浪潮来进行实验和创新,而无需数十亿美元的资金。在训练后阶段,这种民主化尤其重要,例如最激动人心的事态发展。
DeepSeek暴露了AI中出现的谬论,只有大型AI实验室和公司才能真正创新。这种谬论迫使许多其他AI建筑商进入了场外。DeepSeek停止了这一点。这给所有人的灵感带来了很多在这一领域进行创新的方法。
数据势在必行:为什么干净,精心策划的数据是企业公司的下一个行动项目
尽管DeepSeek和Deep Research提供了强大的工具,但它们的有效性最终取决于一个关键因素:数据质量。多年来,将您的数据订购一直是一个很大的主题,并且在AI时代的过去九年中一直在加速。但是,对于生成的AI,它变得更加重要,现在随着DeepSeek的破坏,这绝对是关键。
American Express首席技术官Hilary Packer在接受VentureBeat的采访时强调了这一点:AHA!老实说,对我们来说,数据是数据。您可以在世界上进行最佳的模型选择。但是数据是关键。验证和准确性是生成AI的圣杯。
这是企业必须集中精力的地方。尽管很容易追逐最新的模型和技术,但任何成功的AI应用程序的基础都是干净,结构良好的数据。无论您是使用抹布,SFT还是RL,数据的质量都将决定模型的准确性和可靠性。
而且,尽管许多公司渴望完善其整个数据生态系统,但现实是完美是难以捉摸的。取而代之的是,企业应专注于清洁和策划其数据中最关键的部分,以启用可提供直接价值的点AI应用程序。
与此相关的是,许多问题围绕着DeepSeek用来训练其模型的确切数据,这又引发了有关其模型权重中存储的知识的固有偏见的问题。但这与围绕其他开源模型(例如Meta的Llama Model系列)的问题没有什么不同。大多数企业用户都找到了用足够的抹布进行微调或将模型扎根的方法,以便他们可以减轻此类偏见的任何问题。这足以在企业公司内部建立严肃的动力来接受开源,甚至甚至带有开源的领导。
同样,毫无疑问,许多公司都会使用DeepSeek模型,而不管对公司来自中国的事实感到担忧。尽管确实,在任何直接与客户接口的应用程序中使用任何DeepSeek模型(至少在短时间)中,金融或医疗保健等高度受监管的行业中的许多公司都将谨慎使用。”
结论:企业AI的未来是开放,负担得起和数据驱动的
DeepSeek和Openai的深入研究不仅仅是AI Arsenal的新工具 - 它们是一个深刻的转变信号,企业将推出大量专门建造的模型,非常负担得起,胜任和扎根于公司自己的数据和方法。
对于企业而言,消息很明确:构建功能强大的特定域AI应用程序的工具触手可及。如果您不利用这些工具,您可能会落后。但是,真正的成功将来自您如何策划数据,利用抹布和蒸馏等技术,并在训练前阶段进行创新。
正如Amex的Packer所说:正确的数据将是领导AI创新浪潮的公司。