Meta的首席AI科学家说，扩展AI不会使它变得更聪明

多年来，AI行业一直遵守一系列称为“扩展法”的原则。Openai研究人员在2020年的开创性论文《神经语言模型的缩放法》中概述了他们。

作者写道：“模型性能最大程度地取决于规模，其中包括三个因素：模型参数n（不包括嵌入），数据集D的大小以及用于培训的计算C的数量。”

从本质上讲，在建立高度智能的AI方面，更多的是更多。这个想法激发了巨大对数据中心的投资这允许AI模型处理并从大量现有信息中学习。

但是最近，硅谷的AI专家开始挑战这一学说。

梅塔（Meta）的首席AI科学家，“最有趣的问题的规模都非常糟糕。”Yann Lecun，周日在新加坡国立大学说。“您不能仅仅假设更多的数据和更多的计算意味着更聪明的AI。”

Lecun的观点取决于这样的想法，即对大量基本主题（如互联网数据）进行培训不会导致某种超级智能。智能AI是另一种品种。

他说：“错误是，非常简单的系统，当它们用于简单问题时，人们推断出他们以为他们会为复杂的问题工作。”“他们做了一些令人惊奇的事情，但这创造了一种扩展的宗教，您只需要更多地扩展系统，并且自然会变得更加聪明。”

莱肯说，目前，缩放的影响被放大了，因为AI中的许多最新突破实际上“真的很容易”。最大大型语言模型他说，今天接受了四岁的视觉皮层中大约培训的信息。

他补充说：“当您处理现实世界中的歧义和不确定性问题时，这不仅仅是扩展。”

AI的进步最近一直在放缓。这部分归因于可用公共数据的逐渐减少。

Lecun并不是唯一质疑扩展力量的著名研究人员。缩放AI首席执行官Alexandr Wang去年的大脑谷会议上，所述规模是“行业中最大的问题”。Cohere首席执行官艾丹·戈麦斯（Aidan Gomez）称其为改善AI模型的“最愚蠢”的方式。

Lecun倡导采用更具世界性的培训方法。

他在周日的谈话中说：“我们需要可以非常迅速地学习新任务的AI系统。他们需要了解物理世界 - 不仅是文本和语言，而且现实世界具有一定程度的常识，并且有理由推理和计划的能力，具有持续的记忆 - 我们期望从智能实体那里获得的所有东西。”他在周日的谈话中说。

去年，一集Lex Fridman的播客Lecun说，与大型语言模型相比，只能根据模式预测其下一步，世界模型具有更高的认知水平。“世界模型的额外组成部分可以预测由于您可能采取的行动而导致的世界将如何发展。”