Oct, 2023

ZeroNVS: 从单张真实图像实现零射击 360 度视角综合

PDF
TL;DR我们引入了一个三维感知扩散模型 ZeroNVS，用于野外场景下的单图像新视图合成。通过训练一种生成式先验模型来处理多物体场景和复杂背景带来的挑战，提出了新的技术。我们还提出了一种新颖的相机条件参数化和归一化方案，以解决深度尺度的二义性问题。此外，我们注意到 Score Distillation Sampling（SDS）在蒸馏 360 度场景时倾向于截断复杂背景的分布，并提出了 “SDS anchoring” 以改善合成新视图的多样性。我们的模型在 DTU 数据集的零样本设置中取得了新的 LPIPS 优势，甚至优于专门在 DTU 上训练的方法。我们进一步将具有挑战性的 Mip-NeRF 360 数据集调整为单图像新视图合成的新基准，并在该设置中展现出强大的性能。我们的代码和数据位于此 http URL。
3d-aware diffusion modelsingle-image novel view synthesisin-the-wild scenesscore distillation samplinglpips
发现论文，激发创造
  • NVS-Solver: 视频扩散模型作为零样本新视角合成器

    通过利用预训练的大规模视频扩散模型的强大生成能力，我们提出了 NVS-Solver，一种新的无需训练的视图合成（NVS）范例，它能够通过单个或多个静态场景视图或动态场景单目视频实现令人惊叹的视觉体验。在我们的理论模型基础上，我们通过迭代地调制与给定场景先验相对应的得分函数来控制视频扩散过程，并根据视图姿势和扩散步数在自适应方式下实现调制。广泛的评估量化和质量化地证明了我们的 NVS-Solver 相对于现有方法在静态和动态场景下的显著优势。

    May, 2024

  • Zero123-6D：RGB 类别级别 6D 姿态估计的零样本新视角合成

    通过将 Diffusion 模型与特征提取技术相结合，本文提出了 Zero123-6D 方法，并在 CO3D 数据集上进行了实验，展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。

    Mar, 2024

  • Free3D: 无需 3D 表示的一致新视角合成

    这篇研究提出了一种名为 Free3D 的简单方法，用于通过单张图像进行开放集合的新视角合成。使用编码目标相机姿势的新的像素级射线调节归一化（RCN）层，改进了目标相机姿势的建模。同时通过轻量级多视图注意力层和多视图噪声共享提高了多视图一致性。我们在 Objaverse 数据集上训练了 Free3D，并在几个新数据集中展示了其卓越的泛化性能。希望我们的简单而有效的方法能够作为一个坚实的基准，并有助于未来关于新视角合成更精确的研究。

    Dec, 2023

  • 室内场景的单个 RGBD 图像的新视角合成

    本文提出了一种从单个 RGBD 输入合成新视角图像的方法，通过利用 RGBD 图像中嵌入的深度信息，将 NVS 任务转换成图像转换问题，并使用生成对抗网络实现类似于从新视角拍摄的照片的结果，而不受传统多图像技术的限制。

    Nov, 2023

  • Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到 3D 视图合成

    通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决 3D 一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。

    Oct, 2023

  • iNVS：借用扩散修复算法实现新视角生成

    从单一源图像生成一致的新视图的方法，利用单目深度估计器将源视图的可见像素转移到目标视图，并通过基于外极线的新的屏蔽机制进一步改善方法的质量，从而在各种对象上实现零样本新视图合成。

    Oct, 2023

  • MegaScenes：大规模场景级别视图合成

    通过从互联网照片收集中创建的大规模场景级数据集，我们分析了现有 NVN 方法的不足，并显著改善了生成一致性，验证了数据集和方法对于生成野外场景的有效性。

    Jun, 2024

  • 基于单一图像的新视角合成与视角相关效果

    本文首先考虑了单张基于图像的新视图合成（NVS）问题中的视角相关效果。为此，我们提出利用 NVS 中的相机运动先验来建模视角相关的外观或效果（VDE），即场景中的负视差。通过识别光斑 “跟随” 相机运动，我们通过在极线的负深度区域上聚合输入像素颜色来融入 VDE。同时，我们提出了一种 “放宽的体积渲染” 近似方法，可以在单次遍历中计算密度，提高了从单张图像进行 NVS 的效率。我们的方法只需从图像序列中学习单张图像 NVS，这是一种完全自我监督学习方法，首次无需深度或相机姿态注释。我们展示了广泛的实验证明，我们的方法可以学习具有 VDE 的 NVS，在 RealEstate10k 和 MannequinChallenge 数据集上优于 SOTA 的单视角 NVS 方法。

    Dec, 2023

  • VaLID：用于新视角合成的可变长度输入扩散

    多视角交叉模块提出了将可变长度的输入数据映射到固定大小的输出数据，进一步提高训练效率的两阶段训练策略。对多个数据集进行定性和定量评估，证明了所提方法相对于以前的方法的有效性。

    Dec, 2023

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022