作者:Lakshmi Varanasi
所有聪明的人有什么共同点?根据梅塔(Meta)首席AI科学家的说法,四件事Yann Lecun。
在今年早些时候在巴黎举行的AI行动峰会上,政治领导人和AI专家聚集在一起讨论AI发展。Lecun与IBM的AI领导人Anthony Annunziata分享了他对情报的基线定义。
他说:“智能行为的四个基本特征,每种动物或相对聪明的动物都可以做到,当然是人类。”“了解物理世界,具有持久的记忆,能够推理,能够计划和计划复杂的行动,尤其是在层次上计划。”
Lecun说AI,特别是大型语言模型,没有达到这个阈值,并且结合这些功能将需要改变训练的方式。他说,这就是为什么许多最大的科技公司都在竞争中占主导地位的现有车型的原因。
他说:“为了理解物理世界,您可以训练一个单独的视觉系统。然后将其固定在LLM上。对于内存,您知道,您使用抹布,或者在其上方使用一些关联的内存,或者您只是使模型更大。”抹布代表检索增强生成的代表,是一种使用外部知识源增强大语言模型的输出的方式。它是在Meta开发的。
但是,所有这些只是“黑客”。
莱肯(Lecun)多次谈到了他称的替代方案世界模型。这些模型在现实生活中训练,并且与基于模式的AI相比,认知水平更高。Lecun在与Annunziata的聊天中提出了另一个定义。
他说:“您对时间t的世界状态有一定的想法,您可以想象它可能采取的行动,世界模型可以预测世界状况将从您采取的行动中产生的状态。”
但是,他说,世界会根据一套无限且不可预测的可能性发展,而训练它们的唯一方法是通过抽象来发展。
Meta已经通过V-JEPA对此进行了实验,V-JEPA是2月份向公众发布的模型。Meta将其描述为一种非生成模型,通过预测视频的缺失或掩盖部分来学习。
他说:“基本思想是您无法在像素级别上进行预测。您训练一个系统来运行视频的抽象表示形式,以便您可以在该抽象表示中进行预测,并希望这种表示将消除无法预测的所有细节。”
该概念类似于化学家如何建立物质基础的基本层次结构。
他说:“我们创建了抽象。最重要的是,原子,最重要的是分子,最重要的是材料。”“每次我们上一层时,我们都会消除许多有关下层层的信息,这些信息与我们感兴趣的任务类型无关。”
从本质上讲,这是我们学会通过创建层次结构来理解物理世界的另一种方式。