在过去的AWS回复中:发明,亚马逊首席执行官安迪·贾西(Andy Jassy)共享宝贵的经验教训从亚马逊自己的经验发展近1000生成的AI整个公司的申请。贾西(Jassy)从这个广泛的AI部署范围内提出了三个关键观察,这些观察结果塑造了亚马逊的企业AI实施方法。
首先是,随着生成AI应用程序的扩展,计算的成本确实很重要。人们非常饥饿,以提高价格性能。第二个实际上很难构建一个非常好的生成AI应用程序。第三个是当我们赋予建筑商自由选择他们想做的事情时所使用的模型的多样性。这不会让我们感到惊讶,因为我们一遍又一遍地不断学习同一课,这是永远不会有一种统治世界的工具。
正如安迪(Andy)强调的那样,亚马逊提供的广泛而深层的模型使客户选择了最能满足其独特需求的精确功能。通过密切监视客户需求和技术进步,AWS定期扩展我们精心挑选的模型选择,包括有希望的新模型与已建立的行业收藏夹一起。高性能和差异化模型产品的这种持续扩展有助于客户保持AI创新的最前沿。
这导致我们进入中国人工智能创业公司DeepSeek。DeepSeek推出了DeepSeek-V32024年12月,随后发布DeepSeek-R1,DeepSeek-R1-Zero,具有6710亿个参数,DeepSeek-R1-Distill模型从2025年1月20日的1.5亿700亿参数。Janus-Pro-7b模型于2025年1月27日。这些型号已公开可用,并且是据报道,比可比型号高90-95%。在DeepSeek的情况下,他们的模型因其推理能力而脱颖而出,这是通过诸如增强学习等创新培训技术实现的。
今天,您现在可以在亚马逊基岩和亚马逊sagemaker AI。亚马逊基岩最适合试图通过API快速整合预训练的基金会模型的团队。Amazon Sagemaker AI非常适合想要高级定制,培训和部署并访问基础基础架构的组织。此外,您也可以使用AWS火车和AWS推理通过成本有效地通过亚马逊弹性计算云(Amazon EC2)或Amazon Sagemaker AI。
借助AWS,您可以使用DeepSeek-R1模型来构建,实验和负责任地扩展您的生成AI想法,并使用这种强大的,具有成本效益的模型,并以最少的基础架构投资。您还可以通过构建专为安全性设计的AWS服务来自信地推动生成AI创新。我们强烈建议将您对DeepSeek-R1模型的部署与亚马逊基岩护栏为您的生成AI应用程序添加一层保护,亚马逊基岩和亚马逊萨凡式AI客户都可以使用。
您可以通过几种方式选择如何在AWS上部署DeepSeek-R1模型:1/亚马逊基岩市场对于DeepSeek-R1模型,,,,2/Amazon Sagemaker Jumpstart对于DeepSeek-R1模型,,,,3/亚马逊基岩司OM模型导入对于DeepSeek-r1-Distill模型, 和4/亚马逊EC2 TRN1实例对于DeepSeek-r1-Distill模型。
让我带您走过AWS上的DeepSeek-R1模型的各种途径。无论您是构建第一个AI应用程序还是扩展现有解决方案,这些方法都根据团队的专业知识和要求提供灵活的起点。
1。亚马逊基岩市场的DeepSeek-R1型号亚马逊基岩市场
在亚马逊基岩中提供了100多种流行,新兴和专业的FMS,以及当前的行业领先模型。您可以轻松地在单个目录中发现模型,订阅模型,然后在托管端点上部署模型。
要访问亚马逊基岩市场的DeepSeek-R1车型,请转到亚马逊基岩控制台并选择模型目录在基础模型部分。您可以通过模型提供商搜索或过滤快速找到DeepSeek。
在检查了模型详细信息页面之后,包括模型的功能和实现指南,您可以通过提供端点名称,选择实例数并选择实例类型来直接部署模型。
您还可以配置高级选项,使您可以自定义DeepSeek-R1模型的安全性和基础结构设置,包括VPC网络,服务角色权限和加密设置。对于生产部署,您应该查看这些设置,以符合组织的安全和合规性要求。
使用Amazon Bedrock护栏,您可以独立评估用户输入和模型输出。您可以通过在生成AI应用程序中过滤不良和有害的内容来控制用户与DeepSeek-R1之间的相互作用。亚马逊基岩市场中的DeepSeek-R1型号只能与基岩一起使用应用Guardrail API评估用户输入和模型响应的自定义和第三方FMS以外的自定义和第三方FMS。要了解更多信息,请阅读通过亚马逊基石护栏实施独立于模型的安全措施。
亚马逊基岩护栏也可以与其他基岩工具集成亚马逊基岩代理商和亚马逊基石知识基地建立与负责任的AI政策一致的更安全,更安全的生成AI应用程序。要了解更多信息,请访问AWS负责AI页。
使用基岩的DeepSeek-R1模型InvokeModel
API和操场控制台,请使用DeepSeek的聊天模板以获得最佳结果。例如,<sentought的<½><½的用户的<½> thistery的内容<½ / a sistairsphisthisthisth
。
请参考分步指南关于如何在亚马逊基岩市场中部署DeepSeek-R1模型。要了解更多信息,请访问在亚马逊基岩市场中部署模型。
2。亚马逊萨吉式制造商的DeepSeek-R1模型Amazon Sagemaker Jumpstart
是带有FMS,内置算法和预构建的ML解决方案的机器学习(ML)中心,您只需单击几下即可部署。要在SageMaker Jumpstart中部署DeepSeek-R1,您可以在Sagemaker Unified Studio,,,,Sagemaker Studio,,,,Sagemaker AI控制台,或通过编程Sagemaker Python SDK。
在Amazon Sagemaker AI控制台,Open Sagemaker Unified Studio或Sagemaker Studio。如果是Sagemaker Studio,请选择快点并搜索DeepSeek-R1
在所有公共模式页。
您可以选择模型并选择部署以创建默认设置的端点。当终点到来时服务,您可以通过将请求发送到其端点来推断。
您可以通过亚马逊sagemaker AI诸如亚马逊萨格人管道,,,,Amazon Sagemaker调试器,或容器日志。该模型被部署在AWS安全环境中,并在您的虚拟私有云(VPC)控件下部署,有助于支持数据安全。
就像基岩市场公园一样,您可以使用应用guardrail
SageMaker中的API从DeepSeek-R1模型中为您的生成AI应用程序取消保障措施。现在,您可以在不调用FMS的情况下使用护栏,这为您的应用程序流提供了更多标准化和经过彻底测试的企业保障措施的门,无论使用哪种模型。
请参考分步指南关于如何在Amazon Sagemaker Jumpstart中部署DeepSeek-R1。要了解更多信息,请访问在Sagemaker Unified Studio中发现SageMaker Jumpstart模型或者在SageMaker Studio中部署SageMaker Jumpstart模型。
3。使用亚马逊基岩自定义模型导入的DeepSeek-R1-Distill型号亚马逊基岩定制模型导入
提供了通过单个无服务器,统一的API与现有FM一起导入和使用定制模型的能力,而无需管理基础基础架构。借助Amazon Bedrock自定义型号导入,您可以导入DeepSeek-R1-Distill Llama型号,范围从15亿700亿个参数。当我突出显示我关于亚马逊基岩模型蒸馏的博客文章,蒸馏过程涉及训练较小,更有效的模型,以模仿较大的DeepSeek-R1模型的行为和推理模式,并通过将其用作教师模型,并使用6710亿个参数。
将这些公开模型存储在亚马逊简单存储服务(Amazon S3)水桶或一个Amazon Sagemaker模型注册表,去导入的模型在下面基础模型在亚马逊基岩控制台并通过亚马逊基岩将其导入并部署在完全管理和无服务器的环境中。这种无服务器方法消除了对基础架构管理的需求,同时提供了企业级的安全性和可扩展性。
请参考分步指南关于如何使用Amazon BedRock自定义模型导入部署DeepSeek-R1型号。要了解更多信息,请访问将定制模型导入亚马逊基岩。
4。使用AWS Trainium和AWS推理的DeepSeek-R1-Distill模型
AWS深度学习Amis(Dlami)提供定制的机器图像,您可以在各种Amazon EC2实例中使用这些图像,从仅CPU的小型实例到最新的高功率多GPU实例。您可以在AWS Trainuim1或AWS推理实例上部署DeepSeek-R1-Distill模型,以获得最佳的价格表现。
要开始,去亚马逊EC2控制台并推出trn1.32xlarge
EC2实例与神经元多框架Dlami被称为深学习AMI神经元(Ubuntu 22.04)。
连接到启动的EC2实例后,请安装VLLM,这是一个开源工具大语言模型(LLM)并从拥抱脸下载DeepSeek-R1-Distill模型。您可以使用VLLM部署模型并调用模型服务器。
要了解更多信息,请参考分步指南关于如何将DeepSeek-R1-Distill Llama模型在AWS推理和Trainium上部署。
你也可以访问DeepSeek-r1-Distill-lalama-8b或者DeepSeek-ai/deepSeek-r1-distill-llama-70b拥抱脸上的型号卡。选择部署进而亚马逊射手制造商。来自AWS推理和火车选项卡,复制用于部署DeepSeek-R1-Distill Llama模型的示例代码。
自从DeepSeek-R1发行以来,其为亚马逊EC2和亚马逊弹性Kubernetes服务(Amazon EKS)已发布。这是一些其他材料供您查看:
要知道的事情
这是一些重要的知识。
DeepSeek-R1今天在亚马逊基岩市场和亚马逊萨吉式商人Jumpstart上通常可以使用。
您还可以使用Amazon Bedrock自定义型号导入以及带有AWS Trainum和Phebentia芯片的Amazon EC2实例使用DeepSeek-R1-Distill型号。
今天尝试DeepSeek-R1模型亚马逊基岩控制台,,,,Amazon Sagemaker AI控制台, 和亚马逊EC2控制台,并将反馈发送给AWS回复:亚马逊基岩的帖子和AWS回复:邮政AI的帖子或通过您通常的AWS支持联系人。