CVPRMar, 2022

从单张图片合成一致的长期 3D 场景视频

PDF
TL;DR在这篇论文中，我们提出了一种新的方法来从单个场景图像和大摄像机动作轨迹中综合出一致的长视频，并使用自回归 Transformer 以及基于摄像机的局部性约束来预测多个帧之间关系和下一帧，从而实现了对多帧的序列建模，优于现有的方法，尤其是在室内 3D 场景的长期未来合成中表现出色。
view synthesis3d deep learningtransformerlong-term videolocality constraint
发现论文，激发创造
  • 具有扩散模型的长期光度一致的新视角综合

    本文提出了一种基于条件扩散模型的新型生成模型，用于从单个输入图像生成相对的摄像机视图的连续序列的照片般逼真、视角一致、空间几何连续的图像。

    Apr, 2023

  • 无限自然：从单张图像生成自然场景的持续观察

    介绍了一个基于迭代式渲染、调整和重复的框架的方法，通过一个单一的图像生成相应的漫长的视角图，该方法能够比现有的方法更好地生成海岸场景的长时间视角图。

    Dec, 2020

  • PixelSynth: 从单张图像生成 3D 一致的体验

    使用可微分渲染和 3D 推理相结合的自回归建模方法，实现了单幅图像的大视角高度一致性生成，比其他方法在视图生成和 3D 一致性方面具有显著的改进。

    Aug, 2021

  • Make-It-4D: 从单张图像综合生成一致的长期动态场景视频

    通过估计 4D（包括 3D 几何和场景运动）并填充遮挡区域，本文提出了 Make-It-4D 方法，从单个图像中生成一致的长期动态视频。通过使用分层深度图像（LDIs）表示场景，并利用运动估计和相应的相机姿势引导的场景流来位移特征点云，我们的方法能够保持生成动态视频的全局一致性，并利用预训练扩散模型来修补输入图像的遮挡区域，从而适用于大幅度相机运动。实验结果证明了我们方法的有效性，展示了引人注目的渲染结果。

    Aug, 2023

  • SynSin：从单张图像到端到端的视角合成

    本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。

    Dec, 2019

  • 室内三维场景的简单有效合成

    研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。

    Apr, 2022

  • 姿态引导扩散模型的一致视图合成

    本文提出了一种姿态引导扩散模型来从单张图像中生成一致的、持久的新视角视频，并设计了一个利用极线作为约束的注意力层以促进不同视角之间的关联。实验结果表明，该模型在合成和真实数据集上表现优异，胜过基于 Transformer 和 GAN 的现有方法。

    Mar, 2023

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 从宽基线立体对学习生成新视角

    介绍了一种用于单个广角立体图像对的新视角合成的方法，包括 3D 场景重构和外观变化的先验模型，提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器，通过大规模实际数据集的训练，证明了模型学习到了强大的多视角几何先验，大大缩短了渲染时间，并在两个实际数据集上得到了显著的优越性能。

    Apr, 2023

  • 单室内全景布局指导的新视角合成

    本文提出一种从单个室内全景图生成新视角的方法，在使用卷积神经网络提取深层特征和估计深度图的基础上，利用室内场景的布局信息指导目标视角图像的生成，并加入几何约束以提高一致性和鲁棒性。实验结果表明，该方法在小大相机移动下均有较好效果。

    Mar, 2021