Meta AI 提出大型概念模型 (LCM):超越基于令牌的语言建模的语义飞跃
2024-12-16 00:44:01
大型语言模型 (LLM) 在 NLP 方面取得了重大进展,但在标记级处理方面面临挑战。Meta AI 的研究人员提出了大型概念模型 (LCM),该模型在高维嵌入空间上运行并且与语言无关,支持 200 多种语言和多种模式。LCM 使用概念编码器和解码器将句子映射到称为 SONAR 的嵌入空间中,并解码回自然语言或其他模式,而无需重新训练新语言/模式。关键创新包括分层架构、基于扩散的生成以及长上下文的有效处理。实验结果表明,在多语言摘要和摘要扩展任务中具有竞争性的性能,并且比令牌级模型具有效率提升。LCM 承诺通过跨不同语言和模式的可扩展性和适应性来重新定义人工智能驱动的通信。