Google Photos 的 Auto frame 支持拍后重设照片视角

你是否曾经翻看自己的相机胶卷，希望当时能以略微不同的方式捕捉某个场景？也许你希望多拍到脸部一侧的一点，或者把相机放得稍低一些，以拍出完美的照片。也许这是一张笑容完美的自拍，但广角镜头让你看起来有些陌生。通常，这些就是我们不得不将就的“几乎完美”的照片，因为那一刻已经过去，无法重新拍摄。

虽然裁剪和缩放或许有所帮助，但经典的图像编辑工具无法解决根本问题：图像仍然是从一个固定且不完美的视角展示场景。放大不会改变视差，裁剪也无法显示刚好位于画面之外的内容。

今天，我们宣布一种在照片拍摄后修正场景对齐的新方法。我们的方法现已作为 Google Photos 中 Auto frame 功能 的一部分提供，它使用机器学习（ML）模型来理解场景及其空间布局，并使用生成式 AI 从该新视角想象这张照片。与经典照片编辑不同，我们的方法将照片解读为一个 3D 场景——可以将其想象为被定格在时间中的真实瞬间——并在该空间内自动改变相机位置。为此，我们的方法保留原本可见的内容，并智能生成先前隐藏的内容，从而形成原始场景真实的新视角。

新视角

与其他生成式图像编辑方案不同，我们的方法包含两个阶段：（1）3D 场景与相机估计，以及（2）生成式修复与润饰。通过将 3D 估计与图像形成解耦，我们可以在 3D 中忠实地操控场景，并同时调整 相机内参和外参。此外，我们利用 ML 模型理解场景内容，并自动建议新的相机参数。

在第一步中，我们使用一个内部 3D 点图估计模型，该模型经过专门配置，以忠实地重建人体和面部，从而限制可能有损身份保持的重建伪影。对于原始图像的每个像素，我们的模型会估计一个代表可见表面块的 3D 点，并额外近似原始相机的焦距。

接下来，我们使用经典 3D 渲染，生成一幅如同以更改后的相机参数拍摄的图像估计。重要的是，我们可以同时修改相机位姿（位置和朝向）以及焦距，从而完全控制图像的形成过程。

然而，仅渲染三维点图是不够的：当你将虚拟相机“绕”物体移动时，会露出原始镜头从未捕捉到的背景部分。本质上，点图是对场景的不完整表示，从新视角渲染它总会产生“空洞”。为填补这些区域，我们使用生成式 潜扩散模型 来补全并校正渲染估计。该模型专门针对此任务，使用具有已知相机参数的内部图像对数据集进行训练。训练期间，我们估计一张图像的三维点图，并将其投影到第二张图像的相机中。然后，模型学习从重新渲染的第一张图像重建第二张图像。推理时，我们采用带区域缩放的分类器引导，以忠实保留原始内容，同时允许模型自由发挥来填补空白。

更好的视角

为支持全自动编辑，我们利用 ML 模型检测主要主体面部的位置与三维朝向。结合三维点图，这些语义信息使我们能够计算理想构图所需的相机参数。这对人像尤为有用。此外，使用广角前置摄像头拍摄的图像常常存在强烈的透视畸变，会使最靠近镜头的特征显得不自然地偏大。为此，我们的方法会自动检测这些畸变，并调整虚拟相机内参，以恢复自然、更上镜的比例，实际上相当于事后从主体“后退一步”。

现已在 Google Photos 中推出

这一全自动方案现已在 Google Photos 中上线，作为 Auto frame 的一部分。它借助我们的三维感知图像编辑工具处理包含人物且符合条件的照片，从而无缝增强人像。用户可将相机视角已自动调整的重新构图图像，作为 Auto frame 候选项中的第二个呈现选项来获取，从而一键改善照片。

致谢

此功能是 Google DeepMind 与 Google Platforms & Devices 团队协作的成果。主要贡献者包括：Thiemo Alldieck、Marcos Seefelder、Hannah Woods、Pedro Velez、Michael Milne、Bert Le、Navin Sarma、Jasmin Repenning 和 Selena Shang。顾问包括：Steven Hickson、Claudio Martella、Irfan Essa 和 Alex Rav Acha。特别感谢：Mike Krainin、Jan Stria、Neal Wadhwa、Amit Raj、Mauro Rego、Kita Boice、Dennis Shtatnov、Yuan Qi、Julian Iseringhausen、Peter Zhizhin、Jiaping Zhao、Andre Araujo、Jana Ehmann、Keng-Sheng Lin、Isalo Montacute、Brandon Ruffin、Reginald Ballesteros 和 Andy Radin。