Meta结合了两种方法：使用 LoRA 适配器 (QLoRA) 进行量化感知训练
以保持准确性，并且自旋量子以提高便携性。这项技术成果解决了一个关键问题：在没有大量计算能力的情况下运行先进的人工智能。到目前为止，复杂的人工智能模型需要数据中心和专用硬件。
测试于一加 12Android 手机显示，压缩后的模型体积缩小了 56%，使用的内存减少了 41%，同时处理文本的速度提高了一倍多。这些模型可以处理最多 8,000 个字符的文本，足以满足大多数移动应用程序的需要。在 Android 手机上进行测试时，Meta 的压缩 AI 模型（SpinQuant 和 QLoRA）与标准版本相比，速度和效率显着提高。较小的型号在使用一半内存的情况下运行速度提高了四倍。（来源：元）
科技巨头竞相定义人工智能的移动未来
Meta 的发布加剧了科技巨头之间控制人工智能在移动设备上运行方式的战略战。尽管谷歌和
对移动人工智能采取谨慎、受控的方法——保持其与操作系统紧密集成——Meta 的策略明显不同。
通过开源这些压缩模型并与芯片制造商合作高通和联发科，Meta绕过了传统的平台看门人。
开发人员无需等待 Google 即可构建 AI 应用程序安卓更新或苹果的iOS功能。这一举措呼应了移动应用程序的早期，当时开放平台极大地加速了创新。与的合作伙伴关系高通和
联发科都特别重要。这些公司为全球大多数 Android 手机提供支持，包括 Meta 认为具有增长潜力的新兴市场的设备。通过针对这些广泛使用的处理器优化其模型，Meta 确保其人工智能可以在不同价位的手机上高效运行，而不仅仅是高端设备。通过双方分配的决定
Meta’s Llama 网站和抱脸影响力越来越大的人工智能模型中心，体现了 Meta 致力于接触开发人员已经工作的领域的承诺。这种双重分发策略可以帮助 Meta 的压缩模型成为移动 AI 开发的事实上的标准，就像TensorFlow和火炬成为机器学习的标准。
口袋里的人工智能的未来
Meta 今天的声明表明人工智能领域发生了更大的转变：从集中式计算转向个人计算。虽然基于云的人工智能将继续处理复杂的任务，但这些新模型预示着未来手机可以私下快速处理敏感信息。
时机很重要。科技公司在数据收集和人工智能透明度方面面临着越来越大的压力。Meta 的方法（开放这些工具并直接在手机上运行）解决了这两个问题。您的手机（而不是远程服务器）很快就能处理文档摘要、文本分析和创意写作等任务。
这反映了计算领域的其他关键转变。正如处理能力从大型机转移到个人电脑，计算能力从台式机转移到智能手机一样，人工智能似乎已经准备好向个人设备过渡。Meta 的赌注是，开发人员将接受这一变化，创建将移动应用程序的便利性与人工智能的智能融为一体的应用程序。
成功并不能保证。这些型号仍然需要功能强大的手机才能良好运行。开发人员必须权衡隐私的好处与云计算的原始能力。Meta 的竞争对手，尤其是苹果和谷歌，对手机上人工智能的未来有着自己的愿景。
但有一点是明确的：人工智能正在脱离数据中心，一次只使用一部手机。