使用 AI 进行图形升级对于游戏来说非常重要，索尼决定开发自己的硬件，而不是使用 AMD 技术。这是最重要的收获之一索尼 Playstation 游戏机的首席架构师马克·塞尔尼 (Mark Cerny) 刚刚给出了他的标志性深入研究。
当然，AMD 负责 PS5 Pro 中的 CPU 核心和大部分 GPU 技术。但当谈到用于升级的人工智能加速时，索尼决定做自己的事情。
为了清楚起见，当我们提到“AI 加速”时，我们在这里讨论的是用于驱动神经网络的矩阵数学硬件，也称为机器学习或 ML。目前，Nvidia 和 Intel 的 PC 图形芯片中都有专用的矩阵数学加速硬件。但 AMD 没有。事实上，现有的基于 AMD 的 PS5 非 Pro 没有专用的矩阵数学硬件。
在 Nvidia 和 Intel GPU 中，矩阵数学硬件主要用于各种升级技术，包括DLSS和氙SS。AMD GPU 中缺乏矩阵数学硬件是原因AMD 的 FSR 升级基于手动编码算法而不是机器学习。反过来，这也是 FSR 在许多方面甚至不如 XeSS 并且肯定落后于 DLSS 的一个重要原因。
据 Cerny 称，索尼在 PS5 Pro 和 ML 加速方面需要做出两个关键决定。首先，它必须决定是使用专用的 NPU 或神经处理单元，还是使用增强型 GPU。索尼选择了后者。
然后它必须决定是授权该技术还是构建自己的技术。Cerny 表示，PS5 Pro 项目早在 2020 年就开始了，从一开始索尼就决定不需要通用的 ML 硬件，而是需要针对 PS5 Pro 工作负载的硬件。
“一旦你获得了技术许可，这就是你永远在做的事情。因此，在 2020 年，尽管需要付出一定的努力，我们还是决定构建自己的硬件和软件技术，”塞尔尼说。
目标是 300 TOPS 的 ML 性能。这相当于每秒 300 万亿次操作，或者与机器学习的原始 ML 性能大致相当。英伟达 RTX 4060 Ti。
为了实现这一目标，索尼修改了 AMD 的 RDNA 2 GPU 架构。“我们对 RDNA 着色器核心和周围的内存系统进行了一系列有针对性的增强。我们将其称为定制 RDNA，”Cerny 说。
索尼面临的问题是，向普通旧版 PS5 中使用的 RDNA 2 着色器核心添加矩阵数学功能还不够。矩阵数学非常需要带宽，如果不增强内存系统，新的机器学习硬件在最坏的情况下只能发挥其全部潜力的 3%。哎呀。
因此，索尼提出了定制的片上内存解决方案以及平铺算法，使矩阵数学可以完全在 GPU 上完成，而无需访问系统内存。
塞尔尼表示，设计这一切是一个“四年的旅程”。结果使用 RDNA 2 着色器中的向量寄存器作为 RAM。它提供 15 MB 内存，总带宽为 200 TB/s。相比之下，PS5 Pros GDDR6 内存的带宽“仅为”576 GB/s。同时，平铺算法允许将矩阵数学分割成足够小的部分，以适合 15 MB 的大小。
无论如何，正是新的 ML 硬件为索尼新的 Playstation Spectral Super Resolution 或 PSSR 升级软件提供了动力，这本质上是索尼对 Nvidia DLSS 和 Intel XeSS 的回应。哦，还有 AMD FSR，尽管如上所述 FSR 并不是基于机器学习。
“回顾我们启动这个项目的四年，我很高兴我们做出了构建自己的技术这一耗时的决定。结果很好，同样重要的是，我们学到了很多关于人工智能如何能够改进游戏图像只会让我们的未来更加光明，”塞尔尼说。”
因此，随之而来的一个大问题是，为什么索尼觉得有必要开发自己的机器学习硬件。Cerny 表示，索尼不想受到永久许可安排的束缚，这意味着索尼认为 ML 升级比 GPU 架构更重要。毕竟，索尼愿意授权 AMD 更广泛的 GPU 架构。
话又说回来，早在 2020 年，AMD 就已经提供了 ML 硬件吗？值得注意的是，AMD 目前基因组DNA 3基于 GPU 的机器学习硬件仍然缺乏。一些传言称其即将推出的 RDNA 4 GPU 可能也没有 ML 硬件。因此，也许索尼将 ML 硬件引入 PS5 Pro 的唯一方法就是做自己的事情。
如果属实，这也意味着我们可能要到 2027 年左右才能看到带有 ML 硬件的 AMD 图形芯片，届时即将推出的 RDAN4 芯片将被基于 AMD 新 CDNA 统一架构的芯片所取代。
鉴于英特尔的第一代 Arc GPU 也配备了 ML 硬件，而 Nvidia 即将推出配备 ML 硬件的第四代 GPU，这确实是对 AMD GPU 技术的严厉控诉，并使该公司在人工智能升级竞赛中一无所获。
希望谣言是错误的，AMD 即将推出一些带有 ML 硬件的 GPU。