Liquid AI正在革新LLM，以在具有新的“ Hyena Edge”型号的智能手机等边缘设备上工作

总部位于波士顿的基金会模型启动Liquid AI从马萨诸塞州理工学院（MIT）旋转出来，正在寻求将技术行业推向基于最受欢迎的大型语言模型（LLMS）（例如Openai的GPT系列和Google的双子座家庭。

昨天，该公司宣布鬣狗边缘，一种新的基于卷积的多杂交模型，为智能手机和其他边缘设备设计国际学习代表会议（ICLR）2025。

这次会议是机器学习研究的主要活动之一，今年在新加坡举行。

新的基于卷积的模型承诺在边缘更快，更高的记忆效率AI

HYENA EDGE经过精心设计，可以超过强大的变压器基线，既可以计算效率和语言模型质量。

在三星Galaxy S24 Ultra智能手机上的现实世界测试中，与参数匹配的变压器++模型相比，该模型提供了较低的延迟，较小的内存足迹和更好的基准结果。

Edge AI新时代的新建筑

与大多数专为移动部署设计的小型型号不同，包括Smollm2，Phi型号和Llama 3.2 1b hyena Edge距离传统的注意力较高的设计距离几步之遥。取而代之的是，它从战略上取代了三分之二的分组疑吸引力（GQA）操作员，并用鬣狗家族的封闭式卷积。

新结构是液体AI合成量身定制体系结构（Star）框架的结果，该框架使用进化算法自动设计模型骨架和于2024年12月宣布。

Star探索了广泛的运算符组成，植根于线性输入变化系统的数学理论，以优化多个特定于硬件的目标，例如延迟，内存使用和质量。

直接在消费者硬件上进行基准测试

为了验证Hyena Edge的现实准备就绪，液体AI直接在三星Galaxy S24 Ultra智能手机上进行了测试。

结果表明，与其变压器++对应物相比，鬣狗边缘的预填充速度最高30％，而解释潜伏期的速度则达到，速度优势在较长的序列长度下增加。

短序列长度的预填充潜伏期也超过了变压器基线 - 用于响应迅速的设备应用程序的关键性能指标。

在记忆方面，鬣狗边缘在所有测试序列长度上推断期间始终使用较少的RAM，将其定位为具有严格限制的环境的强大候选者。

在语言基准上的表现优于变形金刚

Hyena Edge接受了1000亿个令牌的培训，并在标准基准测试中评估了小语言模型，包括Wikitext，Lambada，Piqa，Hellaswag，Winogrande，Arc-Easy和Arc-Challenge。

在每个基准测试中，Hyena Edge都匹配或超过GQA变形器++模型的性能，在Wikitext和Lambada上的困惑得分明显提高，并且PIQA，Hellaswag和Winogrande的准确率更高。

这些结果表明，模型的效率提高并不是以预测质量为代价的 - 对于许多边缘优化的体系结构来说，这是一个常见的权衡。

Hyena Edge Evolution：查看性能和操作员趋势

对于那些寻求更深入研究鬣狗的发展过程的人来说视频演练提供了模型演化的引人入胜的视觉摘要。

该视频强调了关键性能指标如何在连续的架构改进中改进了预填充潜伏期，解码延迟和内存消耗。

它还提供了罕见的幕后探讨鬣狗在开发过程中的内部组成如何变化。观众可以看到操作员类型的分布的动态变化，例如自我注意（SA）机制，各种鬣狗变体和Swiglu层。

这些转变提供了对建筑设计原则的洞察力，这些设计有助于该模型达到当前的效率和准确性水平。

随着时间的流逝，通过可视化权衡和操作员的动态，该视频为了解Hyena Edge表现的建筑突破提供了宝贵的背景。

开源计划和更广泛的愿景

Liquid AI表示，它计划在未来几个月内开放一系列液体粉底型，包括Hyena Edge。该公司的目标是构建有能力有效的通用AI系统，该系统可以从云数据中心扩展到个人边缘设备。

Hyena Edge的首次亮相还凸显了替代体系结构在实际环境中挑战变形金刚的日益增长的潜力。随着移动设备越来越期望运行精致的AI工作负载，Hyena Edge之类的模型可以为Edge-Edge优化的AI实现的新基线树立新的基线。

Hyena Edge在原始性能指标方面的成功以及展示自动化建筑设计的位置AI是在不断发展的AI模型景观中观看的新兴玩家之一。