基于机器学习的HDR照片编辑

高动态范围 HDR摄影技术可以准确捕捉场景的完整亮度范围——从最暗的阴影到最亮的光源。然而，当轮到的时候要视图生成的HDR照片，许多显示器只能显示有限的亮度范围。这种差异意味着HDR照片通常会被降级以适应这些显示器的实际限制。标准动态范围(SDR)显示以及存储有限值范围的相应文件格式。

然而，越来越多的移动设备和计算机显示器支持HDR（高动态范围），能够显示更广泛的亮度级别，包括更亮的白色和更深的黑色。尽管存在几种常见的可以编码这一更大范围的HDR文件格式，但仅限于HDR的格式在不同的显示能力下可能会有所不同。为了在显示器上最佳地展示图像，任意的显示——无论动态范围如何——Android 14引入了新的超高清动态范围2023年10月的图像格式。Google Pixel 7及更新设备采用了该格式，拍摄并保存HDR照片为Ultra HDR，与SDR格式相比，提供了更逼真的呈现效果，具有更高的对比度和更明亮的高光。

虽然该格式解锁了HDR图像显示，但它新的元数据也增加了图像编辑操作的复杂性。直到现在，如果你应用一个更复杂的编辑像魔术橡皮擦将使用Google照片编辑的图像保存为Ultra HDR照片时，你的新编辑图片会保存在SDR中，失去其HDR呈现以及相关的亮度和对比度。

今天，我们介绍了一种新的机器学习（ML）技术，该技术能够对HDR照片进行复杂的图像编辑，包括那些保存为Ultra HDR的照片。在Pixel 8及更新的设备上，我们的模型会在Google Photos后台运行，以确保即使您对HDR图片进行了复杂的编辑，您的新编辑后的图片仍然保持HDR格式。我们技术的核心是使用一个经过大量带有完整元数据的HDR照片训练的机器学习模型来预测编辑后缺失的HDR图像元数据。

动态范围压缩：从HDR到SDR

HDR连拍或括号内的曝光捕捉方法，如Pixel的HDR+ 连拍摄影系统，保留图像在宽广亮度范围内的细节。为了将此类图像保存以便在SDR显示器上查看，会将其范围压缩以适应较低的8位SDR显示和文件格式范围。这种动态范围压缩也称为色调映射减少图像的灰度级数量，从而降低图像的复杂度对比— 它最暗和最亮部分之间的亮度差异.

超HDR格式：一个文件中包含HDR和SDR效果

新的Ultra HDR图像格式在编码一个动态范围压缩的SDR图像的同时，还包括用于根据需要动态扩展该范围的图像元数据。由于保留了SDR图像，因此Ultra HDR图像可以在传统的显示器上正常观看。然而，该格式的元数据允许在HDR支持的显示器上渲染由相机创建的完整动态范围，并且它还能够实现SDR和HDR版本之间的平滑过渡，甚至可以根据显示设备峰值亮度自动调整到环境条件来动态适应显示能力。

增益图：编码HDR呈现

Ultra HDR格式包含称为增益图（Gain Map）的元数据[7bea7e]a日志存储在SDR图像旁边的编码图像，指示如何增加每个SDR像素的亮度以生成目标HDR版本。例如，增益图（Gain Map）中的像素值“0”可能表示给定像素处SDR和HDR版本之间没有差异，“1”则可能表示允许的最大亮度差异。增益图允许可变的空间局部差异，因此在HDR下查看时，不同区域可以具有不同的亮度或对比度增加量。因此，为了生成Ultra HDR图像，摄像机管道必须保存常规的SDR图像、增益图及其其他元数据以进行HDR扩展。

使用Ultra HDR进行图像编辑

虽然该格式优化了在不同显示设备上渲染图像的效果，但它有一个缺点：增益图增加了图像编辑操作的复杂性。作为一个简单的例子，假设我们想裁剪一张高动态范围（HDR）图片。现在，我们必须裁剪对应的SDR图片和增益图。

基本的HDR图像编辑，如“裁剪”和“旋转”，已经包含了简单的增益图编辑功能，这些功能已经是Google照片的一部分。然而，Google照片编辑器还包括许多更复杂的编辑功能，这些功能通常由机器学习和计算摄影技术提供支持，包括魔法橡皮擦, 照片去模糊, 魔法编辑器, 人像模糊，和动态照片在使用这些工具时，如何最佳地编辑增益图是不明确的，因为这些功能是为SDR图像开发的，模型期望以SDR图像作为输入并生成SDR图像作为输出。

使用魔法橡皮擦，例如，你可以擦除图像中分散注意力的元素，应用到图像中修补画笔工具（或修复画笔）以生成擦除区域的新像素。对于高动态范围（HDR）图像，如果被擦除的部分很亮，则匹配的Gain Map区域也很可能很亮。就像裁剪示例一样，现在你还需要修复Gain Map。否则，在HDR版本中会出现不希望看到的“鬼影”效果——原始的Gain Map会作为叠加出现在编辑后的标准动态范围（SDR）图像上。因此，到目前为止，如果你使用像Magic Eraser这样的机器学习驱动工具来编辑一张HDR照片，Google Photos将完全丢弃Gain Map，在新编辑过的图像中将其降级为SDR图像。

地图重构

受Magic Eraser重建SDR图像中缺失部分的启发，我们训练了一个新的机器学习模型来在HDR图像编辑后重建缺失的Gain Map区域。给定原始的SDR图像、经过编辑后的SDR图像以及原图的Gain Map，我们的模型预测一个新的Gain Map。然后我们将这个预测结果与原始的Gain Map进行混合——使用一个指示在编辑过程中哪些SDR像素被修改了的掩码——以展示出一幅均匀的图像。

训练Gain Map重建模型

训练我们的模型需要收集几千张HDR图像：SDR图像、增益图（Gain Maps）以及用于HDR渲染的元数据。我们使用HDR+连拍摄影流水线拍摄了各种照片，并应用当前Pixel相机的动态范围压缩算法生成SDR和HDR图像对。利用这些数据和一组随机掩码形状的数据集，我们训练了一个轻量级的图像到图像转换模型，该模型可以根据编辑过的SDR图像以及原始增益图的掩码版本预测出增益图。即使只输入一张SDR图像作为输入，它也足够灵活地生成增益图——以优化HDR显示器上的显示效果。

我们的Gain Map重建模型小于1MB，并能在移动设备上以交互帧率运行。它在Google Photos中使用Pixel 8及更新设备进行机器学习驱动的图像编辑时，能保持HDR呈现效果。至关重要的是，无需为任何ML驱动的编辑功能创建专门的Gain Map编辑工作流程，因为我们的模型可以适用于任何效果——甚至是尚未开发的效果。这里有一些Gain Map重建的实际应用示例：

致谢

该项目是谷歌研究、Google Photos、Pixel和Android团队合作的结果。主要合作者包括：Dhriti Wasan、Ishani Parekh、Nick Chusid、Nick Deakin、Andy Radin、Brandon Ruffin、James Adamson、Michael Milne、Steve Perry、Fares Alhassen、Sam Hasinoff、Kiran Murthy、Karl Rasche、Ryan Geiss、Krish Desai、Navin Sarma、Benyah Shaparenko、Matt Briselli、Patrick Shehane、Michael Specht、Christopher Cameron和Alec Mouri。