作者:Kyle Wiggers
看来,这是小型AI模型的一周。
星期四,非营利性AI研究所AI2,发行Olmo 2 1B,这是AI2声称的1亿个参数模型,以几种基准在Google,Meta和Alibaba中击败了类似大小的模型。参数,有时称为权重,是指导其行为的模型的内部组件。
Olmo 2 1B可在AI Dev平台拥抱面上的Apache 2.0许可下获得。与大多数型号不同,Olmo 2 1B可以从头开始复制;AI2提供了代码和数据集(Olmo-Mix-1124,,,,Dolmino-Mix-1124)用于开发它。
小型型号可能不像庞然大物的能力那样能力,但重要的是,它们不需要强硬的硬件才能运行。这使得它们更容易与低端和消费机的局限性的开发人员和业余爱好者更容易获得。
在过去的几天里,从微软的PHI 4推理家庭到QWEN S 2.5 OMNI 3B。这些和Olmo 2 1B中的大多数都可以轻松地在现代笔记本电脑甚至移动设备上运行。
AI2说,Olmo 2 1B接受了公共可用,AI生成和手动创建资源的4万亿代币的数据集培训。令牌是数据模型的原始位,并产生100万个令牌等同于约750,000个单词。
在测量算术推理的基准测试中,GSM8K,Olmo 2 1B得分要比Google的gemma 3 1b,Meta的Llama 3.2 1B和Alibaba的QWEN 2.5 1.5B。Olmo 2 1b还将这三个模型的性能黯然失色,这是评估事实准确性的测试。
TechCrunch活动
加利福尼亚州伯克利 | 6月5日
AI2(@allen_ai)2025年5月1日该模型是在高质量数据的4T代币上预估计的,遵循相同的标准预处理为我们的7、13和32B模型的高质量退火。我们从每1000个培训中上传中间检查点。
AI2警告说,Olmo 2 1B有风险。该组织说,像所有AI模型一样,它可能会产生有问题的输出,包括有害和敏感内容,以及实际上不准确的陈述。由于这些原因,AI2建议不要在商业环境中部署Olmo 2 1B。
Kyle Wiggers是TechCrunch的AI编辑。他的写作出现在VentureBeat和数字趋势中,以及一系列小工具博客,包括Android警察,Android Authority,Droid-Life和XDA-Developers。他与他的伴侣,音乐治疗师一起住在曼哈顿。