Apr, 2023

使用 3D 感知扩散模型实现生成新视图综合

PDF
TL;DR使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成 3D 一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。
3d-awaregenerative modelnovel view synthesisdiffusion-basedgeometry priors
发现论文，激发创造
  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023

  • 扩散模型的新视角综合

    我们提出了一种名为 3DiM 的扩散模型，用于 3D 新视图合成，能够将单个输入视图转换为许多视图上的一致且清晰的完成。 3DiM 的核心组成部分是姿态条件的图像到图像扩散模型，它以源视图及其姿态作为输入，并将新姿态的视图作为输出生成。

    Oct, 2022

  • WildFusion：学习视角空间中的三维感知潜空扩散模型

    基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

    Nov, 2023

  • Efficient-3DiM：一天学会通用的单图像新视角综合器

    我们提出了一种简单而有效的框架 Efficient-3DiM，用于学习单张图像的新视角合成器，通过减小训练开销，包括精心设计的时间步长采样策略、更优质的三维特征提取器和增强的训练方案，实现了将总训练时间从 10 天缩短到不到 1 天，并在相同计算平台上（8 个 Nvidia A100 GPU 实例）加速训练过程。我们进行了全面的实验来证明我们提出方法的高效性和广泛适用性。

    Oct, 2023

  • ViewFusion: 学习可组合的扩散模型用于新视角合成

    通过深度学习，本研究提出了一种新颖的视角合成方法 ViewFusion，其以端到端的生成方式灵活地综合多个输入视角，消除噪声并生成高质量的视角，相较于现有方法具有更好的泛化性能和适用性。

    Feb, 2024

  • 视图集扩散：从二维数据生成 (0-) 图像条件下的三维生成模型

    借助 Viewset Diffusion 框架，可以从 2D 数据中训练图像条件化的 3D 生成模型，从而解决单视图 3D 重建中的歧义问题，并通过对多视图图像集的去噪扩展了 3D 真实数据的可用性，通过仅渲染 3 张图片，我们的模型可以执行 3D 生成和单视图重建。

    Jun, 2023

  • 姿态引导扩散模型的一致视图合成

    本文提出了一种姿态引导扩散模型来从单张图像中生成一致的、持久的新视角视频，并设计了一个利用极线作为约束的注意力层以促进不同视角之间的关联。实验结果表明，该模型在合成和真实数据集上表现优异，胜过基于 Transformer 和 GAN 的现有方法。

    Mar, 2023

  • 具有扩散模型的长期光度一致的新视角综合

    本文提出了一种基于条件扩散模型的新型生成模型，用于从单个输入图像生成相对的摄像机视图的连续序列的照片般逼真、视角一致、空间几何连续的图像。

    Apr, 2023

  • DreamSparse: 基于 2D 扩散模型的稀疏视角逃离柏拉图的洞穴

    本研究中，我们探讨了如何在缺乏信息情况下，运用预先训练的扩散模型来合成全新视角的高质量图像，提出了 DreamSparse 框架，并利用几何模块来抓取 3D 特征，将其转化成空间信息来指导生成过程，并通过改进 2D 扩散模型的方式来保证其生成几何一致的图像，通过实验证明了该方法的有效性。

    Jun, 2023

  • 从单一视角图像中学习可控的三维扩散模型

    Control3Diff 是结合扩散模型和 3D GAN 的 3D 扩散模型，其将潜在空间直观建模并允许通过控制输入快速生成 3D 图像。该方法在多个数据集中表现优秀，包括 FFHQ, AFHQ, and ShapeNet。

    Apr, 2023