Oct, 2023

Efficient-3DiM：一天学会通用的单图像新视角综合器

HTML
PDF
TL;DR我们提出了一种简单而有效的框架 Efficient-3DiM，用于学习单张图像的新视角合成器，通过减小训练开销，包括精心设计的时间步长采样策略、更优质的三维特征提取器和增强的训练方案，实现了将总训练时间从10天缩短到不到1天，并在相同计算平台上（8个Nvidia A100 GPU实例）加速训练过程。我们进行了全面的实验来证明我们提出方法的高效性和广泛适用性。
发现论文，激发创造
  • NeuralMVS: 多视图立体与新视角合成的桥梁

    本文提出了一种新型网络，利用少量稀疏图像输入，能够恢复三维场景几何信息和高分辨率彩色图像，并通过粗略到精细的球形追踪技术可以大幅提高速度，方法在多个数据集中都取得了可比较的精度。

    Aug, 2021

  • 扩散模型的新视角综合

    我们提出了一种名为3DiM的扩散模型，用于3D新视图合成，能够将单个输入视图转换为许多视图上的一致且清晰的完成。 3DiM的核心组成部分是姿态条件的图像到图像扩散模型，它以源视图及其姿态作为输入，并将新姿态的视图作为输出生成。

    Oct, 2022

  • 使用3D感知扩散模型实现生成新视图综合

    使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成3D一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

    Apr, 2023

  • 光场扩散用于单视角新视角合成

    单视角新视角合成是计算机视觉中一项重要而具有挑战性的任务。本文提出了一种基于条件扩散模型的Light Field Diffusion，通过引入局部像素约束，鼓励更好的多视角一致性，实现高保真图像的生成。

    Sep, 2023

  • Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到3D视图合成

    通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决3D一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。

    Oct, 2023

  • One-2-3-45++：一键快速生成3D物体的单张图片与一致性多视图生成和3D扩散

    这篇论文提出了一种创新的方法One-2-3-45++，可以在大约一分钟内将单张图像转化为详细的3D纹理网格，通过利用二维扩散模型的知识和有限的三维数据的先验信息，该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的3D模型。

    Nov, 2023

  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023

  • VaLID：用于新视角合成的可变长度输入扩散

    多视角交叉模块提出了将可变长度的输入数据映射到固定大小的输出数据，进一步提高训练效率的两阶段训练策略。对多个数据集进行定性和定量评估，证明了所提方法相对于以前的方法的有效性。

    Dec, 2023

  • ViewFusion: 学习可组合的扩散模型用于新视角合成

    通过深度学习，本研究提出了一种新颖的视角合成方法ViewFusion，其以端到端的生成方式灵活地综合多个输入视角，消除噪声并生成高质量的视角，相较于现有方法具有更好的泛化性能和适用性。

    Feb, 2024

  • ViewCrafter：驯化视频扩散模型以实现高保真新视图合成

    本研究解决了现有神经3D重建方法对密集多视图捕获的依赖性，从而限制了其广泛应用的问题。我们提出的ViewCrafter方法利用视频扩散模型的强大生成能力和基于点的表示提供的粗略3D线索，从单张或稀疏图像中合成高保真新视图。此外，我们的迭代视图合成策略和相机轨迹规划算法进一步扩展了新视图的生成范围。实验表明，ViewCrafter在生成高保真且一致的新视图方面具有强大的泛化能力和卓越的性能。

    Sep, 2024