2025年6月23日
[[读取时间]]最低阅读
推论是使AI更有能力的重要组成部分 - 从两位Google专家那里了解到什么。
4月，我们引入了Ironwood，这是我们的第七张张量处理单元（TPU），旨在推动生成AI推断的时代。tpus是芯片，power ai systems并不新鲜，但最新一代是不同的：它的意图是采用AI系统，而不是反应迅速，并帮助他们积极主动。由于推论，这将实现这一目标，这是该过程允许AI系统使用模型制作基于知识的输出的过程。
为了更好地了解下一个AI计算的时代，我要求高级产品经理Niranjan Hira和杰出的工程师Fenghui Zhang给我推理速成课程。
我知道推理一词的含义 - 根据您提供的信息，您可以得出某种结论。当我们谈论AI时，这是否意味着什么？
Niranjan：是的，是的。这是一个过于简化的，但我认为最容易理解推断为模式匹配。从最广泛的意义上讲，当我们谈论生成AI和推理时，我们问的是：AI模型可以匹配模式以预测您想要的内容吗？例如，如果我说“花生酱和____”，并要求美国观众填补空白，他们可能会说'果冻。这是对语音模式推断的一个很好的例子，这是AI推论可以做的事情，但它远远超出了这一点。
风水：通常，推断是我们实际使用模型来做有用的方式的方式。首先，我们必须训练模型：AI模型将包含模型参数，模型体系结构和配置，这是执行任务所需的代码，并且这些内容结合起来以执行功能。因此，推理是使我们可以实际采用所有这些并使用它的原因。
哪些AI模型使用推断？
风水：深度学习AI，例如语言模型，图像生成模型和音频模型都使用推断，因为它们会根据他们从过去的数据模式中学到的知识做出预测。
Niranjan：建议模型也使用推断。
推荐模型的一个例子是什么？
风水：大多数广告模型是推荐模型，也是向您推荐YouTube视频的模型。这些是传统的（有时称为古典）AI，而不是生成的AI，例如LLMS，图像或视频生成模型，这些模型一直在使用时代。
因此，推断并不是AI的新事物，随着人工智能变得越来越有能力，它变得更好了吗？
风水： 是的。推论是什么允许AI模型预测的原因。这也使他们也可以进行分类。该模型可以根据学习方式标记事物。这是一个著名的例子：多年前，我们给了AI模型一张图片，并询问它是否可以识别图像中的猫。使用数据和推理 - 它能够自我教育猫是什么，它的外观并正确识别猫。
我记得那个！
风水：这是使用推理模型的一个示例。
Niranjan：最近，您还记得几年前人们在谈论基本上忽略物理定律的AI创建图像时吗？例如，人们的手通常无法正确描绘。今天的模型做得更好。他们在物理和质地上更好。文本翻译也是如此。例如：语言翻译曾经是统计。这是可用的，但这不是完全正确的，当然也不是对话。但是统计翻译使我们进行了生成的AI翻译，如今，即使在面向客户的产品中，许多人都会感到自在。我们仍在使用称为推理的过程，但是基本的AI和我们的计算能力已大大提高。
您能衡量推理的工作原理吗？
风水：当我们衡量模型在某些任务上的性能时，我们可以。我们还使用推理来评估和训练模型以使其更好。因此，当我们训练模型时，我们会继续进行推断，以尝试同时提高模型质量。
而且，由于这样的培训设置，我认为通过行业基准，您会看到推理水平越来越好。
Niranjan： 是的。但是，人类的看法也有一个问题 - 我们所有人都注意到这些事情变得更好了？总的来说，这很多。当我们进行推断时，我们在Google上真正关心的其他事情是隐私：我们要谨慎地存储这些经验的工作。
Google AI的一些示例是什么，我们可以看到改进的推理？
风水：我们在Google上拥有的最好的推理用例之一AI概述。您将查询键入搜索，一个非常复杂的系统将其耕种到许多型号中，以尝试取回结果。它利用推论来了解您的查询并了解您想要的答案，最后，它总结了它所学到的东西为非常有用的东西。推论对许多我们做的代理工作。有了代理商，除了要求AI模型根据其推理提供信息外，您还可以为您做事。正如我们以前理解的那样，这是推理的一种延伸。
因此，推理擅长使用数据或知识来提供答案，甚至采取行动。还如何变化？
风水：嗯，超级重要的一件事是成本。我们正在努力使推论尽可能负担得起。假设我们试图使人们可以使用较小，更实惠的双子座版本。我们将研究模型的推理，以找到更改计算范式的方法，或者不更改语义或应该执行的主要任务的构成模型的代码，以降低成本。它基本上使模型的较小，更高效的版本可以访问其功能。
我们如何降低成本？
风水：一种方法是优化硬件。这就是为什么我们今年有Ironwood出来的原因。它是针对推理的优化，因为其推理优先设计：更多计算功率和内存，以及针对某些数字类型的优化。在软件方面，我们改善了编译器和框架。随着时间的流逝，我们希望AI推断更有效。我们想要更好的质量，但我们想要一个较小的占地面积，其成本较小才能有所帮助。