个人设备的缩小人工智能：一种可以在智能手机上表现更好的高效小语言模型
大型语言模型 (LLM)，例如 Open AI 著名的对话平台 ChatGPT，最近变得越来越普遍，许多互联网用户依靠它们来快速查找信息并生成用于各种目的的文本。然而，由于与其尺寸和数据处理能力相关的高计算需求，大多数这些模型在计算机上的表现要好得多。
为了应对这一挑战，计算机科学家还一直在开发小型语言模型（SLM），它具有类似的架构，但尺寸更小。这些模型可以更容易地直接部署在智能手机上，使用户能够每天更轻松地咨询类似 ChatGPT 的平台。
北京邮电大学 (BUPT) 的研究人员最近推出了 PhoneLM，这是一种适用于智能手机的新型 SLM 架构，既高效又高性能。他们提出的架构以纸发表于arXiv预打印服务器的设计目的是在对文本数据进行预训练之前获得接近最佳的运行效率。
“我们最近项目的目标是探索法学硕士的设计空间，以便在移动设备”，该论文的高级作者 Mangwei Xu 告诉 Tech Xplore。
“以前，LLM 的开发遵循以下流程：首先设计和预训练 LLM 以获得良好的能力（即准确性），然后在训练后阶段对其进行优化，例如量化和修剪。另一方面，我们的实验表明，LLM的配置（例如宽度和深度）对运行时效率的影响更大，而不是对能力的影响更大。”
徐和他的同事提出的模型建立在优先考虑效率的创新设计原则之上。与其他现有的 SLM 相比，它依赖于所谓的预训练前架构搜索，这需要在预训练阶段之前搜索在要部署的硬件上执行效率最高的架构。
“PhoneLM 遵循标准的法学硕士架构，”徐说。“它的独特之处在于它的设计方式：我们在给定的硬件（高端智能手机）上搜索架构超参数（例如宽度、深度、磁头数量等），然后选择设置最高的推理速度，然后用高质量的数据对其进行预训练。”
在智能手机设备上的初步测试中，该研究团队开发的模型表现非常出色，与参数大小相似的其他法学硕士相比，运行速度极快。值得注意的是，速度的提高并没有显着影响其性能，因为该模型仍然实现了最先进的自然语言处理（NLP）能力。
“具体的建筑学“Transformer 解码器的超参数对运行效率的影响更大，而不是对语言能力的影响更大。”徐说，“因此，我们应该把对设备上推理效率的考虑放在预训练之前。”
研究人员公开发布了 PhoneLM 微调版本的代码和端到端 Android 演示，并将两者发布在GitHub。新的智能手机语言模型很快就会得到改进和进一步测试，以促进其未来在商用设备上的部署。
“我们现在将继续开发更先进的 PhoneLM 系列，例如，通过整合专家和多模式功能，”徐补充道。“我们还在探索开发移动代理（即虚拟助理）授权的设备上法学硕士。”
更多信息：Rongjie Yi 等人，PhoneLM：通过有原则的预训练实现高效、有能力的小语言模型系列，arXiv（2024）。DOI：10.48550/arxiv.2411.05046
期刊信息： arXiv
© 2024 Science X 网络
引文：缩小个人设备的人工智能：一种可以在智能手机上表现更好的高效小语言模型（2024 年，11 月 28 日）检索日期：2024 年 11 月 28 日来自 https://techxplore.com/news/2024-11-ai-personal-devices-efficient-small.html
本文档受版权保护。除了出于私人学习或研究目的的任何公平交易外，不得未经书面许可，不得复制部分内容。所提供的内容仅供参考。
关于《个人设备的缩小人工智能：一种可以在智能手机上表现更好的高效小语言模型》的评论
暂无评论