Meta 的 Llama 3.2 模型可在 AWS 上用于生成 AI 应用程序 - 关于 Amazon

2024-09-25 18:44:54 英文原文

2024 年 9 月 25 日：本文已更新，以反映 Llama 3.2 的普遍可用性，该 Llama 3.2 来自 Metathe 公司最新、最先进的多语言大语言模型 (LLM) 集合，在 Amazon Bedrock 和 Amazon SageMaker 中以及通过 Amazon Elastic使用 AWS Trainium 和 Inferentia 的计算云 (Amazon EC2)。

技术公司 Meta 的下一代 Llama 模型（包括其首款多模式模型）现已在 Amazon Web Services (AWS) 的 Amazon Bedrock 和 Amazon SageMaker 上提供。还可以通过使用 AWS Trainium 和 Inferentia 的 Amazon Elastic Compute Cloud (Amazon EC2) 获取它们。

Llama 3.2 系列建立在先前 Llama 模型成功的基础上，提供新的、更新的和高度差异化的模型，包括支持图像推理的中小型视觉 LLM 以及针对设备上优化的轻量级纯文本模型用例。新车型的设计更加便捷和高效，重点关注负责任的创新和安全。Llama Guard 3 Vision 针对内容安全分类进行了微调，现已在 Amazon SageMaker JumpStart 中提供。以下是亮点：

Metas 首款多模态视觉模型，Llama 3.2 11B Vision 和 Llama 3.2 90B Vision

• Llama 3.2 系列中最大的型号。
• 支持图像理解和视觉推理用例。
• 非常适合分析图表和图形等可视化数据，以提供更准确的答案和见解。
• 非常适合图像字幕、视觉问答、图像文本检索、文档处理和多模式聊天机器人，以及长文本生成、多语言翻译、编码、数学和高级推理。

Llama 3.2 1B 和 Llama 3.2 3B，针对边缘和移动设备进行了优化

• 轻量级，纯文本。
• 处理可以在云端或本地执行，因此响应感觉是即时的。
• 非常适合高度个性化的应用，涵盖文本生成和摘要、情绪分析、客户服务应用、重写、多语言知识检索以及移动人工智能驱动的写作助手。

Llama Guard 3 11B Vision：针对内容安全分类进行微调

• 仅在 Amazon SageMaker JumpStart 中可用
• Llama Guard 3 11B Vision 可用于保护 LLM 输入（提示分类）和 LLM 响应（响应分类）的内容。
• 专为支持图像推理用例而设计，并经过优化以检测有害的多模式（文本和图像）提示以及对这些提示的文本响应。

据 Meta 称，Llama 3.2 模型已在 150 多个基准数据集上进行了评估，展示了与领先基础模型的竞争性能。与 Llama 3.1 类似，所有模型都支持 128K 上下文长度和跨八种语言的多语言对话用例，涵盖英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

访问 AWS 新闻博客，了解有关 Llama 3.2 的更多信息，并详细了解 Llama 模型 Metas 集合的现有功能（Llama 3.2 构建于该模型之上），以及 AWS 客户如何使用 Llama 模型。

2024 年 7 月 23 日

Llama 3.1 模型是经过预训练和指令微调的大型语言模型 (LLM) 的集合，大小为 8B、70B 和 405B，支持广泛的用例。它们特别适合开发人员、研究人员和企业用于文本摘要和分类、情感分析、语言翻译和代码生成。

根据 Meta 的说法，Llama 3.1 405B 是最好、最大的公开基础模型 (FM) 之一，为生成式 AI 功能设定了新标准。它特别适合合成数据生成和模型蒸馏，从而在训练后改进较小的 Llama 模型。这些模型还提供常识、数学、工具使用和多语言翻译方面最先进的功能。

由于训练数据和规模的大幅增加，所有新的 Llama 3.1 模型都比以前的版本有了显着改进。这些模型支持 128K 上下文长度，比 Llama 3 增加了 120K 个令牌。这意味着 Llama 3 模型的容量是 Llama 3 模型的 16 倍，并改进了八种语言的多语言对话用例的推理：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

其他改进包括增强对语言细微差别的掌握，这意味着 Llama 3.1 显示出改进的上下文理解，并且可以更有效地处理复杂性。这些模型还可以从冗长的文本段落中获取更多信息，以做出更明智的决策，并利用更丰富的上下文数据来生成更微妙和精致的响应。

“我们与 Meta 有着长期的合作关系，很高兴今天能够向 AWS 客户提供他们最先进的模型，”AWS 首席执行官马特·加曼 (Matt Garman) 说道。“客户喜欢针对其个人用例定制和优化 Llama 模型的能力，现在 AWS 上提供了 Llama 3.1，客户可以使用最新的最先进的模型来负责任地构建 AI 应用程序。

在过去的十年中，Meta 一直致力于将工具交到开发人员手中，并促进开发人员、研究人员和组织之间的协作和进步。Llama 模型提供多种参数大小，使开发人员能够选择最适合其需求和推理预算的模型。AWS 上的 Llama 模型开辟了一个充满可能性的世界，因为开发人员无需担心可扩展性或管理基础设施。AWS 提供了一种简单的统包方式来开始使用 Llama。

Meta 创始人兼首席执行官马克·扎克伯格 (Mark Zuckerberg) 表示，开源是将人工智能的好处带给每个人的关键。我们一直在与 AWS 合作，将整个 Llama 3.1 模型集合集成到 Amazon SageMaker JumpStart 和 Amazon Bedrock 中，以便开发人员可以使用 AWS 的全面功能来构建出色的东西，例如可以处理复杂任务的复杂代理。

新 Llama 3.1 型号的优点

美洲驼 3.1 405B

• 非常适合企业应用和研发（R

2024 年 9 月 25 日：本文已更新，以反映 Llama 3.2 的普遍可用性，该 Llama 3.2 来自 Metathe 公司最新、最先进的多语言大语言模型 (LLM) 集合，在 Amazon Bedrock 和 Amazon SageMaker 中以及通过 Amazon Elastic Compute Cloud (Amazon EC2）使用 AWS Trainium 和 Inferentia。它们特别适合开发人员、研究人员和企业用于文本摘要和分类、情感分析、语言翻译和代码生成。AWS 首席执行官马特·加曼 (Matt Garman) 表示：“我们与 Meta 有着长期的合作关系，很高兴今天能够向 AWS 客户提供他们最先进的模型。”对于希望通过自我管理的机器学习工作流程在 AWS 上部署 Llama 3.1 模型以获得更大灵活性和对底层资源的控制的客户，Amazon Elastic Compute Cloud (Amazon EC2) 加速计算提供了广泛的计算选项选择。客户可以开始使用使用 Amazon EC2 Trn1 和 Inf2 实例在 AWS AI 芯片上使用 Llama 3.1。