前谷歌人工智能研究员表示，ChatGPT 的成功本来可以来得更早

2017 年，谷歌的 8 名机器学习研究人员发布了一篇开创性的研究论文，名为您所需要的就是关注，其中介绍了变压器支撑当今几乎所有备受瞩目的生成式人工智能模型的人工智能架构。

Transformer 通过使用神经网络将称为“令牌”的输入数据块转换为另一种所需的输出形式，使现代人工智能繁荣的关键组成部分成为可能。Transformer 架构动力语言模型的变体，例如GPT-4o（和聊天GPT），运行 Google 的音频合成模型笔记本LM和 OpenAI 的高级语音模式，视频合成模型如索拉，以及图像合成模型，例如中途。

在人工智能 TED 202410 月份，这八位研究人员之一 Jakob Uszkoreit 接受了 Ars Technica 采访，谈论了 Transformer 的开发、Google 在大型语言模型方面的早期工作以及他的研究成果。新事业在生物计算中。

在采访中，Uszkoreit 透露，虽然他在谷歌的团队对该技术的潜力寄予厚望，但他们并没有完全预料到它在 ChatGPT 等产品中的关键作用。

Ars 采访：Jakob Uszkoreit

技术艺术：您对这个项目的主要贡献是什么关注就是你所需要的纸？

雅各布·乌什科雷特 (JU)：它在脚注中详细说明，但我的主要贡献是提出可以取代重复[来自循环神经网络] 在当时具有注意机制的显性序列转导模型中，或者更具体地说自我关注。而且它可以变得更加高效，因此也更加有效。

阿尔斯： 您知道您的小组发表那篇论文后会发生什么吗？您是否预见到它将创造的行业及其影响？

朱：首先，我认为记住这一点非常重要：当我们这样做时，我们是站在巨人的肩膀上。事实上，这不仅仅是那一篇论文。这是我们中的一些人和其他许多人的一系列工作导致的。因此，我认为这篇论文从讲故事的角度出发，提出了我们作为人类喜欢的观点，但这实际上可能不是那么准确的表述。

在这篇论文发表之前，我在谷歌的团队多年来一直在推动注意力模型。这比一次艰苦的跋涉要长得多，而且还有很多很多，而这只是我的团队。许多其他人也在致力于此，但我们寄予厚望，希望它能从技术角度推动事情向前发展。我们是否认为它会在真正启用或至少表面上在促进 ChatGPT 等产品方面发挥作用？我不这么认为。我的意思是，就法学硕士及其能力而言，即使在我们发表论文的时候，我们也看到了相当惊人的现象。

我们没有将这些内容公诸于世，部分原因可能是当时谷歌产品的保守主义观念。但即使有这些迹象，我们也不太相信这些东西本身就能使产品如此引人注目。但我们是否抱有很高的期望？是的。

阿尔斯：既然您知道 Google 有大型语言模型，那么当 ChatGPT 取得公众成功时您有何感想？“该死，他们得到了，而我们却没有？”

朱：有一种想法是，“那可能会发生”。我认为这不是“哦，该死，他们先得到的”之类的。这更像是“哇，这本来可以早点发生的。”我是否仍然对人们使用这些东西如此迅速地发挥出超级创造力感到惊讶？是的，那真是令人叹为观止。

阿尔斯： 那时你已经不在 Google 了，对吧？

朱：我不再是了。从某种意义上说，你可以说谷歌不会成为我离开的原因之一。我离开谷歌并不是因为我不喜欢谷歌，而是因为我觉得我绝对必须在其他地方做一些事情，那就是创办 Inceptive。

但它的真正动机是巨大的，不仅是机会，而且是某种意义上的道德义务，去做一些在外面做得更好的事情，以设计更好的药物并对人们的生活产生非常直接的影响。

阿尔斯： ChatGPT 的有趣之处在于我正在使用GPT-3在那之前。因此，当 ChatGPT 出现时，对于一些熟悉这项技术的人来说，这并不是什么大不了的事。

朱：是的，完全正确。如果您以前使用过这些东西，您可以看到进展并可以进行推断。OpenAI 开发最早的 GPT 时亚历克·雷德福和那些人，我们会谈论这些事情，尽管我们不在同一家公司。我确信，实际的 ChatGPT 产品将会受到多少人的欢迎，速度有多快，都会令人兴奋不已。我认为，这仍然是没有人真正预料到的事情。

阿尔斯： 我当时也没有覆盖它。感觉就像是，“哦，这是 GPT-3 的聊天机器人黑客，它循环提供上下文。”当时我并不认为这是一个突破性的时刻，但它很令人着迷。

朱：突破有不同的形式。这不是一个技术突破。这是一个突破性的认识，即在这种能力水平上，该技术具有如此高的实用性。

并且认识到，因为您始终必须考虑用户如何实际使用您创建的工具，并且您可能无法预料他们在使用该工具的能力方面会有多大的创造力，所以这些用例有多么广泛是，等等。

有时你只能通过把一些东西放在那里才能学到东西，这也是为什么保持实验快乐和失败快乐如此重要的原因。因为大多数时候，这是行不通的。但有时它会起作用，但很少很少会像 [ChatGPT 所做的] 那样起作用。

阿尔斯： 你必须冒险。谷歌没有冒险的兴趣？

朱：那时还没有。但如果你仔细想想，如果你回头看，它实际上非常有趣。谷歌翻译我研究了很多年，其实也很相似。当我们首次推出谷歌翻译（第一个版本）时，这充其量只是一个聚会笑话。我们在不长的时间内将其发展成为真正有用的工具。在这些年里，它有时输出的东西有时非常糟糕，但谷歌还是这么做了，因为这是值得尝试的正确事情。但那是2008年、2009年、2010年左右的事了。

阿尔斯：你还记得AltaVista吗巴别鱼？

朱：哦，是的，当然。

阿尔斯：当它出来时，它让我大吃一惊。我和我的兄弟会做这件事，我们会在语言之间来回翻译文本以获取乐趣，因为这会导致文本乱码。

朱：情况会变得越来越糟。是的。

生物计算机编程

离开 Google 后，Uszkoreit 与他人共同创立了初始将深度学习应用于生物化学。该公司正在开发所谓的“生物软件”，人工智能编译器将指定的行为转化为 RNA 序列，当引入生物系统时，这些序列可以执行所需的功能。

阿尔斯： 这些天你在忙什么？

朱：2021 年，我们共同创立了 Inceptive，旨在利用深度学习和高通量生物化学实验来设计更好的、真正可以编程的药物。我们认为这实际上只是朝着我们所谓的生物软件方向迈出的一步。

生物软件有点像计算机软件，因为你有一些你想要的行为规范，然后你有一个编译器将其翻译成一个计算机软件，然后在计算机上运行，​​展示出所需的功能或功能。你指定。

你指定一个生物程序的一部分并对其进行编译，但不是使用工程编译器，因为生命并没有像计算机那样被工程化。但是，通过学习的人工智能编译器，您可以将其翻译或编译成分子，当插入生物系统、有机体时，我们的细胞会表现出您已编程的功能。

阿尔斯： 这与 mRNA 新冠疫苗的工作原理类似吗？

朱：一个非常非常简单的例子是 mRNA 新冠病毒疫苗，程序中会说“制造这种经过修饰的病毒抗原”，然后我们的细胞就会制造这种蛋白质。但你可以想象分子表现出更复杂的行为。如果你想了解这些行为有多复杂，只要记住 RNA 病毒就是这样。它们只是一种 RNA 分子，当进入有机体时，会表现出极其复杂的行为，例如在整个有机体中分布、在世界范围内分布、在一段时间内仅在细胞的子集中执行某些操作，等等等等。

所以你可以想象，如果我们能够设计出具有此类功能的一小部分的分子，当然目标不是让人们生病，而是让他们健康，那么它将真正改变医学。

阿尔斯： 你怎样才能不意外地创造出一个破坏一切的怪物RNA序列呢？

朱：令人惊奇的是，医学在某种意义上已经在科学之外存在了很长时间。它并没有被真正理解，而且我们仍然常常没有真正理解它们的实际作用机制。

因此，人类必须开发所有这些保障措施和临床试验。甚至在您进入诊所之前，所有这些经验性的保障措施都可以防止我们意外地做[危险的事情]。自从现代医学存在以来，这些系统就一直存在。因此，我们将继续使用这些系统，当然还要尽一切必要的努力。我们将从非常小的系统、未来实验中的单个细胞开始，并遵循医学必须始终遵循的相同既定方案，以确保这些分子的安全。

阿尔斯：感谢您抽出时间来做这件事。

朱：嗯，谢谢。