Sakana AI 首席技术官表示，他“彻底厌倦”了 Transformer，这项技术为每一个主要人工智能模型提供动力

在一次引人注目的自我批评中，为电力提供动力的变压器技术的设计者之一聊天GPT,克洛德，几乎所有主要的人工智能系统都在本周告诉行业领袖的观众，人工智能研究已经变得危险地狭窄，而且他正在从自己的创造中继续前进。

里昂·琼斯，他是 2017 年开创性论文的合著者“您所需要的就是关注”，甚至创造了“变压器”这个名字，在会上发表了异常坦率的评估TED人工智能会议周二在旧金山：尽管前所未有的投资随着人才涌入人工智能领域，该领域已经围绕单一架构方法僵化，这可能会让研究人员对下一个重大突破视而不见。

“尽管事实上从来没有如此多的兴趣、资源、金钱和人才，但这在某种程度上导致了我们正在进行的研究范围的缩小，”琼斯告诉观众。他认为，罪魁祸首是投资者要求回报和研究人员争先恐后地在拥挤的领域中脱颖而出所带来的“巨大压力”。

鉴于琼斯在人工智能历史上所扮演的角色，这一警告具有特别重要的意义。这变压器架构他在谷歌帮助开发的产品已成为生成式人工智能热潮的基础，使系统能够撰写论文、生成图像和进行类人对话。他的论文已被被引用超过10万次，使其成为本世纪最具影响力的计算机科学出版物之一。

现在，担任总部位于东京的 CTO 和联合创始人坂名爱，琼斯明确放弃了自己的创作。“我个人在今年年初做出了一个决定，我将大幅减少花在变压器上的时间，”他说。“我现在明确地正在探索和寻找下一件大事。”

一位变压器先驱表示，为什么更多的人工智能资金会导致创造性研究的减少

琼斯描绘了一幅人工智能研究社区陷入他所谓的悖论的景象：更多的资源导致了更少的创造力。他描述说，研究人员不断检查自己是否被从事相同想法的竞争对手“抢先”，学者们选择安全、可发表的项目，而不是有风险、具有潜在变革性的项目。

琼斯说：“如果你现在正在进行标准的人工智能研究，你就必须假设可能还有三四个其他小组在做非常相似的事情，或者可能完全相同。”他描述了一个环境，“不幸的是，这种压力损害了科学，因为人们急于写论文，这减少了创造力。”

他从人工智能本身进行了类比——“探索与利用”的权衡决定了算法如何搜索解决方案。当一个系统利用太多而探索太少时，它会找到平庸的本地解决方案，而错过更好的替代方案。“几乎可以肯定，我们现在的人工智能行业就处于这种情况，”琼斯说。

其影响发人深省。琼斯回忆起变形金刚出现之前的时期，当时研究人员不断地调整循环神经网络（以前的主导架构）以获得增量收益。一旦变形金刚到来，所有的工作突然显得无关紧要。“如果这些研究人员知道像变形金刚这样的东西即将出现，你认为他们会花多少时间来尝试改进循环神经网络？”他问道。

他担心该领域正在重复这种模式。“我担心我们现在正处于这种情况，我们只专注于一种架构，只是对其进行排列并尝试不同的事情，而突破可能指日可待。”

《注意力就是你所需要的一切》论文是如何诞生于自由而非压力的

为了强调他的观点，琼斯描述了变形金刚最初出现的条件——与当今的环境形成鲜明对比。他说，这个项目“非常有机、自下而上”，诞生于“午餐时交谈或在办公室白板上随意涂鸦”。

重要的是，“我们实际上并没有一个好主意，我们可以自由地花时间去实现它，更重要的是，我们没有来自管理层的任何压力，”琼斯回忆道。“没有压力去从事任何特定的项目，发表大量论文来提高某个指标。”

琼斯表示，如今这种自由基本上已经不存在了。即使是那些以天文数字般的薪水招募的研究人员——“在某些情况下，每年实际上是一百万美元”——也可能觉得自己没有能力去冒险。“你认为，当他们开始新职位时，他们是否感到有能力尝试自己疯狂的想法和更具投机性的想法，或者他们是否感到巨大的压力来证明自己的价值，并再次追求唾手可得的果实？”他问道。

为什么一个人工智能实验室押注研究自由胜过百万美元的薪水

琼斯提出的解决方案是故意挑衅性的：打开“探索旋钮”并公开分享发现，即使成本具有竞争力。他承认自己的立场具有讽刺意味。“听到《变形金刚》的一位作者站在舞台上告诉你他完全厌倦了它们，这听起来可能有点有争议，但这很公平，对吧？我比任何人都研究它们的时间更长，可能除了七个人之外。”

在坂名爱琼斯表示，他正试图通过受自然启发的研究来重建变形金刚之前的环境，并将追逐出版物或直接与竞争对手竞争的压力降到最低。他向研究人员提供了工程师 Brian Cheung 的一句口头禅：“你应该只做那些如果你不做就不会发生的研究。”

Sakana 的《连续思维机器”，它将类似大脑的同步融入到神经网络中。一位提出这个想法的员工告诉琼斯，他将面临怀疑和压力，不要在以前的雇主或学术职位上浪费时间。在 Sakana，琼斯给了他一周的时间进行探索。该项目非常成功，引起了人们的关注。神经信息处理系统，一个重要的人工智能会议。

琼斯甚至表示，在招聘过程中，自由胜过报酬。“这是一种非常非常好的获取人才的方式，”他在谈到探索环境时说道。“想一想，有才华、有智慧的人、有野心的人，自然会寻求这样的环境。”

变形金刚的成功可能会阻碍人工智能的下一个突破

也许最具挑衅性的是，琼斯认为变形金刚可能是他们自己成功的受害者。“事实上，当前的技术是如此强大和灵活......阻止我们寻找更好的技术，”他说。“如果当前的技术更糟糕，那么更多的人就会寻求更好的技术，这是有道理的。”

他小心翼翼地澄清，他并没有否认正在进行的变压器研究。他说：“当前技术仍有大量非常重要的工作要做，并在未来几年带来大量价值。”“我只是说，考虑到我们目前拥有的人才和资源，我们有能力做更多的事情。”

他的最终信息是合作胜于竞争。“说实话，从我的角度来看，这不是一场比赛，”琼斯总结道。“我们都有相同的目标。我们都希望看到这项技术的进步，以便我们都能从中受益。因此，如果我们能够集体转动探索旋钮，然后公开分享我们的发现，我们就能更快地实现我们的目标。”

人工智能探索问题的高风险

这些言论正值人工智能的关键时刻。业界正在努力解决越来越多的证据表明只需构建更大的变压器模型可能正在接近收益递减。领先的研究人员已经开始公开讨论当前的范式是否存在根本性的局限性，一些人建议架构创新（而不仅仅是规模创新）将需要不断进步，以实现更强大的人工智能系统。

琼斯的警告表明，要找到这些创新，可能需要废除推动人工智能近期繁荣的激励结构。和每年数百亿美元流入人工智能开发实验室之间的激烈竞争推动了保密性和快速的出版周期，他所描述的探索性研究环境似乎越来越遥远。

然而，他的内部观点却具有非同寻常的分量。作为帮助创造了现在主导该领域的技术的人，琼斯了解如何实现突破性创新，也了解行业放弃这种方法所面临的风险。他决定放弃变形金刚——这种架构为他带来了声誉——增加了一条听起来像是逆势定位的信息的可信度。

人工智能的强者是否会响应这一号召仍不确定。但琼斯提出了一个尖锐的提醒：下一个变压器规模的突破可能指日可待，研究人员可以自由探索。或者，当成千上万的研究人员竞相发布对架构的渐进改进时，它可能会在未经探索的情况下陷入困境，用琼斯的话说，其创建者之一“绝对厌倦了”。

毕竟，他研究变形金刚的时间比几乎任何人都长。他会知道什么时候该继续前进。