问一下专家：什么是设备端处理？

每次新款Pixel手机发布时，你可能会听到“设备端处理”使其酷炫的新功能成为可能。只需看一下以下内容：新的Pixel 9手机——诸如这样的事物像像素工作室和通话记录运行“在设备上。”而这不仅仅局限于手机：巢摄像头, 像素智能手表以及 Fitbit设备也要使用这个“设备端处理”的功能。考虑到使用它的设备和它所支持的特性，这听起来非常重要。

可以假设处理是在……嗯……设备上进行的。为了更好地理解这意味着什么，我们采访了特里斯坦·阿普斯泰尔（Trystan Upstill），他在谷歌工作近二十年，曾在Android、Google新闻和搜索等多个工程团队任职。

你所在的团队帮助开发了我们新推出的Pixel设备的一些令人兴奋的功能——你能告诉我你具体参与了哪些工作吗？

最近，我在Android团队工作，领导一个致力于将谷歌的各种技术栈融合成对用户有意义的出色体验的团队。然后确定如何构建并发布这些产品。

由于我们经常改进技术和引入新的技术，这似乎会成为一个永无止境的工作。

没错！近年来，生成式人工智能的能力出现了爆炸性增长。最初当我们开始考虑在设备上运行大型语言模型时，我们认为这更像是一个笑话——“当然我们可以做到这一点，但也许要到2026年。”然而，当我们开始进行规划时，技术性能的发展如此之快，我们得以使用我们的设备端模型Gemini Nano，在Pixel 8 Pro上推出功能2023年12月.

这就是我想了解更多的内容：“设备端处理。”让我们来分解一下，先从“处理”具体指的是什么开始。

您的设备中的主处理器，或称为系统级芯片（SoC），包含多个专门设计用于处理您在该设备上所需任务的计算单元。这就是为什么你会看到像Pixel中使用的Tensor芯片这样的芯片被称为“系统级芯片”：不仅仅有一个处理器，而是有多个处理单元、内存、接口等，所有这些都集成在一块硅片上。

我们以Pixel智能手机为例：处理单元包括作为主要“引擎”类型的中央处理器（CPU）、负责渲染视觉效果的图形处理器（GPU），以及如今谷歌专门设计用于在设备上运行AI/ML工作负载的张量处理单元（TPU）。这些组件共同作用，帮助你的手机完成任务——即所谓的处理。

例如，当你拍照时，你通常会充分利用手机的所有处理能力。CPU将忙于运行控制手机操作的核心任务，GPU将帮助渲染镜头看到的内容，并且在像Pixel这样的高端Android设备上，TPU也会进行大量工作来处理光学镜头所见的内容，使你的照片看起来很棒。

明白了。“设备上”的处理意味着还有“设备外”的处理。那么，“设备外处理”究竟发生在哪儿？

离设备处理发生在云端。您的设备连接到互联网，并将请求发送到其他地方的服务器，这些服务器执行任务后将结果发回您的手机。因此，如果我们想把这一过程改为在设备上进行，我们会将原来在云中运行该任务的大规模机器学习模型缩小并优化，使其能在您的设备的操作系统和硬件上运行。

所以基本上，Tensor被设计专门用于运行Google AI， который是原始文本中的英文，其中“ который是”这部分并不是中文或英文的一部分，看起来像是翻译软件错误引入的。根据给出的部分信息，准确的中文翻译应该是： 所以基本上，Tensor被设计专门用于运行Google的人工智能。 也 驱动Pixel新一代AI能力的背后力量。

好的！生成式AI功能确实是一部分，但设备上处理还使得许多其他事情成为可能。渲染视频、玩游戏、HDR照片编辑、语言翻译——你用手机做的大多数事情。所有这些都在你的手机上进行，而不是发送到服务器进行处理。

你的手机今天能够进行的计算非常令人惊叹。今天的智能手机比早期高性能计算机快几千倍，甚至那些体积大的房间般的计算机也不例外。在过去，这些高性能计算机在数据分析、图像处理、异常检测和早期人工智能研究方面处于领先地位。现在我们可以在设备上完成所有这些任务，并且这为我们提供了许多机会来构建利用这种计算能力的有用功能。

设备上处理比设备外处理更好吗？

不一定。如果你完全在设备上使用搜索功能，那将会非常慢或者受到限制，甚至两者兼而有之，因为当你在网上搜索时，就像是在大海捞针一样。要把整个网络索引放在你的手机上是不现实的！相反，当你使用搜索功能时，你会连接到云端和我们的数据中心，访问数万亿的网页以找到你需要的信息。

但如果你想执行更具体的任务，那么设备端处理真的很有用。首先，有延迟问题——如果某项任务直接在设备上处理，你可能会更快得到结果。其次，完全在设备上的功能无需互联网连接即可工作，这意味着更好的可用性和可靠性。

最后，由于AI芯片在你的口袋里而不是通过云端提供，应用程序可以免费利用大语言模型的能力。

说了这么多，两种方式各有其优势：云存储拥有更强大的模型，并能容纳大量重要数据。许多你的数据，如照片、视频等，今天都存放在云端。它还帮助支持大规模数据库的操作，比如谷歌云端硬盘（Drive）、gmail和Google相册（Google Photos）的搜索功能。

我对我的Pixel手机目前的功能已经相当印象深刻了，但根据你的说法，它只会变得越来越好。

是的，我们在Android设备上执行这些复杂任务所使用的模型正在变得更加有能力。当然，这不仅仅是关于更好的模型和更好的技术：我们也投入了大量的工作和研究来思考什么才是真正有利于人们的。我们不想仅仅因为设备上的处理能力可以支持就推出产品；我们希望确保这是人们在生活中真正想在手机上使用的东西。