OurCoders (我们程序员)

Llama 3.3 70B 现已在 Amazon SageMaker JumpStart 中提供 |亚马逊网络服务

2024-12-17 00:31:42
由于其先进的推理功能，在 Amazon SageMaker 上部署 Llama 3.3 70B 等复杂模型在性能和成本效率方面具有显着优势。我们来分解一下讨论的要点：### 使用 SageMaker 部署 Llama 3.3 70B 的主要功能1. **快速模型加载器**：- 利用创新的权重流机制，通过将模型权重直接从 Amazon S3 加载到加速器而不需要先将其加载到内存中来减少初始化时间。2. **容器缓存**：- 在扩展操作期间预先缓存容器映像，从而无需在添加新实例时下载。- 由于缩放延迟显着减少并提高了系统响应能力，因此对 Llama 3.3 70B 等大型模型特别有利。3. **缩放至零**：- 根据实际使用模式自动调整计算容量。- 允许端点在不活动期间完全缩小规模，最大限度地降低成本，同时保持需求恢复时快速扩大规模的能力。- 对于有效管理可变工作负载模式至关重要。### 部署过程#### 涉及的步骤：1. **模型初始化**：- 使用 SageMaker 推理工具包中的“ModelBuilder”初始化模型。2. **使用自动缩放进行部署**：- 通过“predictor.deploy”部署模型，指定必要的配置，例如自动缩放到零。3. **预测**：- 通过调用“predictor.predict(sample_input)”，使用部署的预测器进行预测。### 部署代码示例````蟒蛇导入日志记录从 sagemaker.inference 导入预测器、模型构建器、模式构建器从 sagemaker.model_loader.v2 导入 ModelAccessConfig# 用于模式构建的示例输入/输出Sample_input = {"inputs": [{"text": "示例查询"}]}Sample_output = [“预测输出”]schema_builder = SchemaBuilder（样本输入，样本输出）model_builder = 模型构建器(模型=“js_model_id”，schema_builder = schema_builder，sagemaker_session=sagemaker.Session(),role_arn="<您的执行角色>",log_level=logging.ERROR）模型 = model_builder.build()预测器=预测器.部署（model_access_configs = {“js_model_id”：ModelAccessConfig（accept_eula = True）}，accept_eula = True）结果=预测器.预测（样本输入）````### 优化技巧- **自动缩放并缩小到零**：- 启用自动缩放功能以实现更好的资源管理。- **加速部署**：- 通过推测解码使用加速部署技术来提高吞吐量。＃＃＃结论Llama 3.3 70B 与 SageMaker 的高级推理功能的集成为在生产环境中高效部署大型语言模型提供了强大的解决方案。利用快速模型加载器、容器缓存和缩放到零等功能可确保高性能，同时保持低成本。通过遵循这些最佳实践并利用全套 SageMaker 工具，组织可以有效管理复杂的 AI 应用程序并确保最佳的资源利用率。### 后续步骤- 尝试提供的代码片段和配置。- 根据实际工作负载模式优化您的部署设置。- 分享您的经验和见解，以进一步改善社区。

全部新闻