一场比赛试图测试专家可以预测AI进展的程度。他们都错了。

我在AI世界中关注的两个最聪明的人最近坐下检查该领域的发展情况。

一个是Franã§oisChollet，是广泛使用的创造者Keras图书馆和作者Arc-Agi基准，它测试了AI是否已达到一般或广泛的人类智能。Chollet的声誉是AI熊的声誉，渴望降低对技术去向的最大促进和过度客观的预测。但是在讨论中，Chollet说他的时间表最近变得更短。研究人员在他认为是实现人工通用情报的主要障碍方面取得了长足的进步，例如模型疲软回忆和运用他们之前学到的东西。

Chollet的对话者德瓦克什·帕特尔（Dwarkesh Patel），其播客已成为跟踪AI高级科学家认为的最重要的地方，以应对自己的报道，朝相反的方向移动。人类擅长不断学习或在工作中，Patel变得更加悲观，AI模型可以很快获得这项技能。

[人类]从失败中学习。帕特尔指出，他们在工作时恢复了较小的改进和效率。这似乎没有一种简单的方法将此关键功能插入这些模型。

所有这些都说，两个非常了解该领域的非常聪明的人，以及其他任何人都可以得出关于AI进度步伐的完全合理但矛盾的结论。

在这种情况下，像我这样的人肯定比Chollet或Patel不太了解的人应该弄清楚谁对谁？

我看到的最有前途的方法之一是解决或至少裁决 - 这些分歧来自一个小组，称为预测研究所。

在2022年夏天，该研究所开始了所谓的存在风险说服力（xpt简称）。XPT是故意的为了在下个世纪产生对人类面临的风险的高质量预测。为此，研究人员（包括宾夕法尼亚州心理学家和预测先驱Philip Tetlock和周五的负责人乔什·罗森伯格（Josh Rosenberg）调查了研究主题专家，他们研究的威胁说，至少可以想象可能会在2022年夏天危害人类的生存（如AI）。

但是他们也问超孔子，一群由Tetlock确定的人和其他人在预测事件方面非常准确的其他人。SuperforeCaster集团不是由对人类存在威胁的专家组成的，而是来自各种具有稳定预测性记录的职业的通才。

在包括AI在内的每个风险上，都有特定地区专家与通才预报员之间的巨大差距。专家比一般主义者说，他们所研究的风险可能导致人类灭绝或大规模死亡。即使研究人员让两个小组进行结构化讨论，该差距仍然存在为什么他们不同意。

两者的世界观根本不同。就AI而言，主题专家认为，举证责任应该对怀疑论说明为什么一个超智能的数字物种不会要危险。通才认为，举证责任应该在于专家，以解释为什么甚至没有存在却可能杀死我们所有人的技术。

到目前为止，如此棘手。幸运的是，对于美国的观察者来说，每个小组不仅被要求估计下个世纪的长期风险，这可以在很快的任何时候确认，而且可以在近乎未来的情况下进行确认。他们的任务是预测短，中和长期的AI进度的步伐。

在新论文，作者tetlock，Rosenberg，SimasKuäInskas，Rebecca Ceppas de Castro，Zach Jacobs，Jordan Canedy和Ezra Karger返回并评估两组在2022年夏季自2022年夏季以来的三年进步方面的表现如何。

从理论上讲，这可以告诉我们要相信哪个群体。如果关心的AI专家在预测2022年2025年之间会发生什么方面表现得更好，也许这表明他们对技术的长期未来有了更好的阅读，因此，我们应该给他们的警告更大。

las，用拉尔夫·费恩斯（Ralph Fiennes），这太简单了！事实证明，三年的成绩使我们对谁相信谁没有更多的意识。

AI专家和SuperforeCaster都系统地低估了AI进度的步伐。在四个基准中，2025年夏季最先进的模型的实际性能要比超级孔洞者或AI专家预测的要好（尽管后者更接近）。例如，SuperforeCasters认为，AI将在2035年的国际数学奥林匹克运动会中获得黄金。专家认为2030。发生在今年夏天。

该报告得出结论，总的来说，超级孔子的平均可能性仅为这四个AI基准的结果，而在这四个AI基准测试中的结果概率为24.6％。

这使得域专家看起来更好。他们说轻微地实际上发生的事情将会发生的更高的几率 - 但是当他们在所有问题中处理数字时，作者得出的结论是，域专家和超级广播员之间的总准确性没有统计学上的显着差异。更重要的是，某人在预测2025年的准确程度与他们认为AI或其他风险的危险之间没有相关性。预测仍然很艰难，尤其是关于未来的预测，以及尤其关于AI的未来。可靠地工作的唯一技巧是将每个人的预测汇总在一起 - 将所有预测结合在一起，并将中位数的预测比任何一个人或群体都更准确。

我们可能不知道这些舒适者中的哪一个很聪明，但是人群仍然很明智。

也许我应该看到这个结果来了。埃兹拉·卡尔格（Ezra Karger）是最初的XPT纸和这本新纸上的经济学家兼合着者，他告诉我在2023年的第一篇论文版本上在接下来的十年中，在不同意那些长期运行的问题的人之间，实际上并没有太多分歧。也就是说，他们已经知道，担心AI和不太担心的人们的预测非常相似。

因此，这不应该让我们惊讶的是，一群人在预测2022年的2025年中没有比另一个群体更好。真正的分歧不是关于AI的近期未来，而是关于它在中长期构成的危险，这本质上很难判断和更具投机性。

也许有一些有价值的信息，因为两个群体都低估了人工智能进步的速度：也许这是我们所有人都低估了这项技术的迹象，而且它的进步速度将比预期的要快。再说一次，2022年的预测都是在当年11月发行的Chatgpt之前做出的。您还记得谁在该应用程序推出之前预测AI聊天机器人在工作和学校中会变得无处不在？我们已经没有了知道AI在2025年的2025年中取得了重大突飞猛进？这是否告诉我们有关该技术是否可能不会放慢速度的任何事情，反过来，这将是预测其长期威胁的关键？

阅读最新的星期五报告，我在一个类似的地方结束了我的前同事凯尔西·派珀（Kelsey Piper）去年。派珀（Piper）指出，未来未能推断出未来的趋势，尤其是指数级别的趋势，使人们过去严重误入歧途。相对较少的美国人在2020年1月有兴趣的事实并不意味着库维德并不是威胁。这意味着该国正处于指数​​增长曲线的开始。类似的失败将导致人们低估AI的进步，并随着任何潜在的存在风险。

同时，在大多数情况下，指数增长可以永远继续下去。它在某个时候最大化。值得注意的是，摩尔定律广泛预测了微处理器密度的增长准确地说，几十年来，摩尔的定律之所以闻名，是因为关于人类创造的技术的趋势是遵循模式的趋势。

派珀总结说，我越来越多地相信，当您考虑这些问题时，无可替代地挖掘杂草。”虽然我们可以从第一原则回答一些问题，但[AI进步]不是其中一个。

我担心她是对的，而且，更糟糕的是，仅仅对专家的尊重也不够，而当专家在细节和广泛的轨迹上彼此不同意时，也不需要。我们真的没有一个很好的选择，可以尝试尽可能多地学习个人，而失败，等待和看到。这对人类面临的最重要问题之一的回答不是一个令人满意的结论，也不是一个令人欣慰的答案 - 但这是我能做的最好的。