Oct, 2023

Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到 3D 视图合成

PDF
TL;DR通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决 3D 一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。
发现论文，激发创造
  • Consistent123: 提升一张图像到三维物体合成的一致性

    使用大型图像扩散模型，通过引入跨视图关注层和共享自注意机制，提出了 Consistent123 模型以实现同时合成新视角，并在 3D 重建和图像到 3D 生成等下游任务的表现上有显著提升。

    Oct, 2023

  • Free3D: 无需 3D 表示的一致新视角合成

    这篇研究提出了一种名为 Free3D 的简单方法，用于通过单张图像进行开放集合的新视角合成。使用编码目标相机姿势的新的像素级射线调节归一化（RCN）层，改进了目标相机姿势的建模。同时通过轻量级多视图注意力层和多视图噪声共享提高了多视图一致性。我们在 Objaverse 数据集上训练了 Free3D，并在几个新数据集中展示了其卓越的泛化性能。希望我们的简单而有效的方法能够作为一个坚实的基准，并有助于未来关于新视角合成更精确的研究。

    Dec, 2023

  • 具有扩散模型的长期光度一致的新视角综合

    本文提出了一种基于条件扩散模型的新型生成模型，用于从单个输入图像生成相对的摄像机视图的连续序列的照片般逼真、视角一致、空间几何连续的图像。

    Apr, 2023

  • Cascade-Zero123: 单幅图像到高度一致的 3D 图像的自提近景方法

    从一张单一图像中综合多视图 3D 是一项重要且具有挑战性的任务。为了解决这个问题，Zero-1-to-3 方法旨在将二维潜在扩散模型推广到三维范围。我们提出了一个由两个 Zero-1-to-3 模型构建的级联生成框架，名为 Cascade-Zero123，用于解决构建视图之间的几何和视觉一致性的问题。利用自发多视图作为补充信息，我们的 Cascade-Zero123 生成比 Zero-1-to-3 更一致的新视图图像，对于各种复杂和具有挑战性的场景非常有效，包括昆虫、人类、透明物体和堆叠多个物体等。

    Dec, 2023

  • 姿态引导扩散模型的一致视图合成

    本文提出了一种姿态引导扩散模型来从单张图像中生成一致的、持久的新视角视频，并设计了一个利用极线作为约束的注意力层以促进不同视角之间的关联。实验结果表明，该模型在合成和真实数据集上表现优异，胜过基于 Transformer 和 GAN 的现有方法。

    Mar, 2023

  • ZeroNVS: 从单张真实图像实现零射击 360 度视角综合

    我们引入了一个三维感知扩散模型 ZeroNVS，用于野外场景下的单图像新视图合成。通过训练一种生成式先验模型来处理多物体场景和复杂背景带来的挑战，提出了新的技术。我们还提出了一种新颖的相机条件参数化和归一化方案，以解决深度尺度的二义性问题。此外，我们注意到 Score Distillation Sampling（SDS）在蒸馏 360 度场景时倾向于截断复杂背景的分布，并提出了 “SDS anchoring” 以改善合成新视图的多样性。我们的模型在 DTU 数据集的零样本设置中取得了新的 LPIPS 优势，甚至优于专门在 DTU 上训练的方法。我们进一步将具有挑战性的 Mip-NeRF 360 数据集调整为单图像新视图合成的新基准，并在该设置中展现出强大的性能。我们的代码和数据位于此 http URL。

    Oct, 2023

  • SV3D：单图像多视图融合和三维生成的新型潜在视频扩散

    我们提出了 Stable Video 3D (SV3D) - 一种用于高分辨率的围绕 3D 对象进行图像到多视图生成的潜在视频扩散模型。

    Mar, 2024

  • Ctrl123: 一致的闭环转写下的新视角合成

    Ctrl123 是一种基于封闭循环转录的新颖视图合成扩散方法，它在姿态敏感特征空间中强制生成视角和真实数据的一致性，在 NVS 和 3D 重建任务中取得了显著的改进。

    Mar, 2024

  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023

  • PixelSynth: 从单张图像生成 3D 一致的体验

    使用可微分渲染和 3D 推理相结合的自回归建模方法，实现了单幅图像的大视角高度一致性生成，比其他方法在视图生成和 3D 一致性方面具有显著的改进。

    Aug, 2021