英语轻松读发新版了,欢迎下载、更新

DeepSeek-R1型号现在可在AWS上使用|亚马逊网络服务

2025-01-31 00:00:40 英文原文

Voiced by Polly

在过去的AWS回复中:发明,亚马逊首席执行官安迪·贾西(Andy Jassy)共享宝贵的经验教训从亚马逊自己的经验发展近1000生成的AI整个公司的申请。贾西(Jassy)从这个广泛的AI部署范围内提出了三个关键观察,这些观察结果塑造了亚马逊的企业AI实施方法。

首先是,随着生成AI应用程序的扩展,计算的成本确实很重要。人们非常饥饿,以提高价格性能。第二个实际上很难构建一个非常好的生成AI应用程序。第三个是当我们赋予建筑商自由选择他们想做的事情时所使用的模型的多样性。这不会让我们感到惊讶,因为我们一遍又一遍地不断学习同一课,这是永远不会有一种统治世界的工具。

正如安迪(Andy)强调的那样,亚马逊提供的广泛而深层的模型使客户选择了最能满足其独特需求的精确功能。通过密切监视客户需求和技术进步,AWS定期扩展我们精心挑选的模型选择,包括有希望的新模型与已建立的行业收藏夹一起。高性能和差异化模型产品的这种持续扩展有助于客户保持AI创新的最前沿。

这导致我们进入中国人工智能创业公司DeepSeek。DeepSeek推出了DeepSeek-V32024年12月,随后发布DeepSeek-R1,DeepSeek-R1-Zero,具有6710亿个参数,DeepSeek-R1-Distill模型从2025年1月20日的1.5亿700亿参数。Janus-Pro-7b模型于2025年1月27日。这些型号已公开可用,并且是据报道,比可比型号高90-95%。在DeepSeek的情况下,他们的模型因其推理能力而脱颖而出,这是通过诸如增强学习等创新培训技术实现的。

今天,您现在可以在亚马逊基岩亚马逊sagemaker AI。亚马逊基岩最适合试图通过API快速整合预训练的基金会模型的团队。Amazon Sagemaker AI非常适合想要高级定制,培训和部署并访问基础基础架构的组织。此外,您也可以使用AWS火车AWS推理通过成本有效地通过亚马逊弹性计算云(Amazon EC2)或Amazon Sagemaker AI。

借助AWS,您可以使用DeepSeek-R1模型来构建,实验和负责任地扩展您的生成AI想法,并使用这种强大的,具有成本效益的模型,并以最少的基础架构投资。您还可以通过构建专为安全性设计的AWS服务来自信地推动生成AI创新。我们强烈建议将您对DeepSeek-R1模型的部署与亚马逊基岩护栏为您的生成AI应用程序添加一层保护,亚马逊基岩和亚马逊萨凡式AI客户都可以使用。

您可以通过几种方式选择如何在AWS上部署DeepSeek-R1模型:1/亚马逊基岩市场对于DeepSeek-R1模型,,,,2/Amazon Sagemaker Jumpstart对于DeepSeek-R1模型,,,,3/亚马逊基岩司OM模型导入对于DeepSeek-r1-Distill模型, 和4/亚马逊EC2 TRN1实例对于DeepSeek-r1-Distill模型

让我带您走过AWS上的DeepSeek-R1模型的各种途径。无论您是构建第一个AI应用程序还是扩展现有解决方案,这些方法都根据团队的专业知识和要求提供灵活的起点。

1。亚马逊基岩市场的DeepSeek-R1型号亚马逊基岩市场
在亚马逊基岩中提供了100多种流行,新兴和专业的FMS,以及当前的行业领先模型。您可以轻松地在单个目录中发现模型,订阅模型,然后在托管端点上部署模型。

要访问亚马逊基岩市场的DeepSeek-R1车型,请转到亚马逊基岩控制台并选择模型目录基础模型部分。您可以通过模型提供商搜索或过滤快速找到DeepSeek。

在检查了模型详细信息页面之后,包括模型的功能和实现指南,您可以通过提供端点名称,选择实例数并选择实例类型来直接部署模型。

您还可以配置高级选项,使您可以自定义DeepSeek-R1模型的安全性和基础结构设置,包括VPC网络,服务角色权限和加密设置。对于生产部署,您应该查看这些设置,以符合组织的安全和合规性要求。

使用Amazon Bedrock护栏,您可以独立评估用户输入和模型输出。您可以通过在生成AI应用程序中过滤不良和有害的内容来控制用户与DeepSeek-R1之间的相互作用。亚马逊基岩市场中的DeepSeek-R1型号只能与基岩一起使用应用Guardrail API评估用户输入和模型响应的自定义和第三方FMS以外的自定义和第三方FMS。要了解更多信息,请阅读通过亚马逊基石护栏实施独立于模型的安全措施

亚马逊基岩护栏也可以与其他基岩工具集成亚马逊基岩代理商亚马逊基石知识基地建立与负责任的AI政策一致的更安全,更安全的生成AI应用程序。要了解更多信息,请访问AWS负责AI页。

使用基岩的DeepSeek-R1模型InvokeModelAPI和操场控制台,请使用DeepSeek的聊天模板以获得最佳结果。例如,<sentought的<½><½的用户的<½> thistery的内容<½ / a sistairsphisthisthisth

请参考分步指南关于如何在亚马逊基岩市场中部署DeepSeek-R1模型。要了解更多信息,请访问在亚马逊基岩市场中部署模型

2。亚马逊萨吉式制造商的DeepSeek-R1模型Amazon Sagemaker Jumpstart
是带有FMS,内置算法和预构建的ML解决方案的机器学习(ML)中心,您只需单击几下即可部署。要在SageMaker Jumpstart中部署DeepSeek-R1,您可以在Sagemaker Unified Studio,,,,Sagemaker Studio,,,,Sagemaker AI控制台,或通过编程Sagemaker Python SDK

Amazon Sagemaker AI控制台,Open Sagemaker Unified Studio或Sagemaker Studio。如果是Sagemaker Studio,请选择快点并搜索DeepSeek-R1所有公共模式页。

您可以选择模型并选择部署以创建默认设置的端点。当终点到来时服务,您可以通过将请求发送到其端点来推断。

您可以通过亚马逊sagemaker AI诸如亚马逊萨格人管道,,,,Amazon Sagemaker调试器,或容器日志。该模型被部署在AWS安全环境中,并在您的虚拟私有云(VPC)控件下部署,有助于支持数据安全。

就像基岩市场公园一样,您可以使用应用guardrailSageMaker中的API从DeepSeek-R1模型中为您的生成AI应用程序取消保障措施。现在,您可以在不调用FMS的情况下使用护栏,这为您的应用程序流提供了更多标准化和经过彻底测试的企业保障措施的门,无论使用哪种模型。

请参考分步指南关于如何在Amazon Sagemaker Jumpstart中部署DeepSeek-R1。要了解更多信息,请访问在Sagemaker Unified Studio中发现SageMaker Jumpstart模型或者在SageMaker Studio中部署SageMaker Jumpstart模型

3。使用亚马逊基岩自定义模型导入的DeepSeek-R1-Distill型号亚马逊基岩定制模型导入
提供了通过单个无服务器,统一的API与现有FM一起导入和使用定制模型的能力,而无需管理基础基础架构。借助Amazon Bedrock自定义型号导入,您可以导入DeepSeek-R1-Distill Llama型号,范围从15亿700亿个参数。当我突出显示我关于亚马逊基岩模型蒸馏的博客文章,蒸馏过程涉及训练较小,更有效的模型,以模仿较大的DeepSeek-R1模型的行为和推理模式,并通过将其用作教师模型,并使用6710亿个参数。

将这些公开模型存储在亚马逊简单存储服务(Amazon S3)水桶或一个Amazon Sagemaker模型注册表,去导入的模型在下面基础模型亚马逊基岩控制台并通过亚马逊基岩将其导入并部署在完全管理和无服务器的环境中。这种无服务器方法消除了对基础架构管理的需求,同时提供了企业级的安全性和可扩展性。

请参考分步指南关于如何使用Amazon BedRock自定义模型导入部署DeepSeek-R1型号。要了解更多信息,请访问将定制模型导入亚马逊基岩

4。使用AWS Trainium和AWS推理的DeepSeek-R1-Distill模型
AWS深度学习Amis(Dlami)提供定制的机器图像,您可以在各种Amazon EC2实例中使用这些图像,从仅CPU的小型实例到最新的高功率多GPU实例。您可以在AWS Trainuim1或AWS推理实例上部署DeepSeek-R1-Distill模型,以获得最佳的价格表现。

要开始,去亚马逊EC2控制台并推出trn1.32xlargeEC2实例与神经元多框架Dlami被称为深学习AMI神经元(Ubuntu 22.04)。

连接到启动的EC2实例后,请安装VLLM,这是一个开源工具大语言模型(LLM)并从拥抱脸下载DeepSeek-R1-Distill模型。您可以使用VLLM部署模型并调用模型服务器。

要了解更多信息,请参考分步指南关于如何将DeepSeek-R1-Distill Llama模型在AWS推理和Trainium上部署。

你也可以访问DeepSeek-r1-Distill-lalama-8b或者DeepSeek-ai/deepSeek-r1-distill-llama-70b拥抱脸上的型号卡。选择部署进而亚马逊射手制造商。来自AWS推理和火车选项卡,复制用于部署DeepSeek-R1-Distill Llama模型的示例代码。

自从DeepSeek-R1发行以来,其为亚马逊EC2和亚马逊弹性Kubernetes服务(Amazon EKS)已发布。这是一些其他材料供您查看:

要知道的事情
这是一些重要的知识。

  • 定价``对于诸如DeepSeek-R1之类的公开模型,您只会根据您选择的推理实例小时收取基础架构价格,而您为亚马逊Bedrock Markeplace,Amazon Sagemaker Jumpstart和Amazon EC2收费。对于基岩自定义模型导入,您仅用于模型推理,根据您的自定义模型的副本数量,在5分钟的窗口中计费。要了解更多信息,请查看亚马逊基岩价格,,,,亚马逊sagemaker AI定价, 和亚马逊EC2定价页面。
  • 数据安全 您可以在Amazon Bedrock和Amazon Sagemaker中使用企业级安全功能来帮助您使数据和应用程序安全且私密。这意味着您的数据未与模型提供商共享,也不用于改进模型。这适用于所有模型专有和公开可用的,例如Amazon Bedrock和Amazon Sagemaker上的DeepSeek-R1型号。要了解更多信息,请访问亚马逊基岩安全和隐私和Amazon Sagemaker AI的安全性现在可用

DeepSeek-R1今天在亚马逊基岩市场和亚马逊萨吉式商人Jumpstart上通常可以使用。
您还可以使用Amazon Bedrock自定义型号导入以及带有AWS Trainum和Phebentia芯片的Amazon EC2实例使用DeepSeek-R1-Distill型号。

今天尝试DeepSeek-R1模型亚马逊基岩控制台,,,,Amazon Sagemaker AI控制台, 和亚马逊EC2控制台,并将反馈发送给AWS回复:亚马逊基岩的帖子AWS回复:邮政AI的帖子或通过您通常的AWS支持联系人。

频道

关于《DeepSeek-R1型号现在可在AWS上使用|亚马逊网络服务》的评论


暂无评论

发表评论

摘要

在AWS平台上部署和利用DeepSeek-R1模型涉及针对不同用例和基础架构偏好的多种选项。这是每种方法的详细分解:### 1。亚马逊基岩市场**概述:** - **公共模型:**访问诸如DeepSeek-R1之类的公开模型。 - **基础架构定价:**根据所选的推理实例小时收费。**开始的步骤:**1。导航到亚马逊基岩控制台。2。在市场上搜索DeepSeek-R1。3。选择并启动具有您首选配置的实例(实例类型,参数)。###2。AmazonSagemaker Jumpstart**概述:** - **公共型号:**与亚马逊基岩市场类似,可以使用DeepSeek-R1之类的型号。 - **基础架构定价:**基于推理实例小时收费。**开始的步骤:**1。去亚马逊萨吉式制造商。2。使用JumpStart功能快速为DeepSeek-R1启动预配置的环境。3。配置并使用所需的设置(实例类型,参数)启动模型。### 3。亚马逊基岩自定义型号导入**概述:** - **自定义模型:**用于部署DeepSeek-R1-Distill Llama等蒸馏模型。 - **无服务器部署:**完全管理的无服务器环境。**开始的步骤:**1。将公开可用的型号存储在S3存储桶或萨格人模型注册表中。2。导航到导入型号部分下的亚马逊基岩控制台。3。从1.5b-70b参数中导入和部署DeepSeek-R1-Distill Llama型号。###4。AWSTrainium&Pebleentia实例**概述:** - **高性能:**用于部署具有较高成本的高性能的大型语言模型。 - **自定义AMI:**利用为AWS Trainium和推理实例优化的深度学习AMIS(DLAMI)。**开始的步骤:**1。使用神经元多框架的DLAMI在Amazon EC2控制台上启动TRN1实例。2。在启动的实例上安装VLLM。3。从拥抱脸下载并部署DeepSeek-R1-Distill模型。###部署指南 - **利用DeepSeek-R1:** Daniel Wirjo指南涵盖CPU和GPU选项。 - **安装DeepSeek的好处:** Enrique Aguilar Martinez的指南讨论EC2实例。 - **部署DeepSeek Llama模型:** Amazon EC2推理实例的Irshad Chohan指南。 - **如何部署和微调:**拥抱Face的AWS部署的详细过程。 - **在EKS自动模式下托管DeepSeek-R1:** Tiago Reichert的教程。###其他注意事项**定价:** - **公共模型:**从选定的基础设施(Bedrock,Sagemaker,EC2)推断出来。 - **自定义模型导入:**以5分钟增量为单位的每个推理模型活动。**数据安全:** - 利用企业级安全功能来确保数据隐私并防止与提供商共享。### 反馈对于任何反馈或支持查询:1。使用AWS RE:Amazon Bedrock或Sagemaker AI论坛的发布。2.与您通常的AWS支持联系人联系以寻求直接帮助。---这种全面的方法可确保您可以根据特定要求和用例有效地在各种AWS平台上部署DeepSeek-R1模型。