ICCVAug, 2023

NOVA：用于神经动态对象组合的新视图增强

PDF
TL;DR提出一种名为 NOVA 的新视角增强策略，用于训练具有光真实 3D 组成的动态对象在静态场景中。相比于先前的工作，我们的框架在将多个动态对象插入到新视角和时间的 3D 场景中时显著减少了混合伪影，实现了可比的峰值信噪比，无需像光流那样的附加真实模态，并在神经组成方面提供了便捷性，灵活性和可伸缩性。我们的代码库托管在 GitHub 上。
发现论文，激发创造
  • 知识 NeRF：动态关节物体的少样例新视点合成

    通过利用 Knowledge NeRF 模型和仅有少量观测状态，在动态场景中成功重建 3D 场景并生成新视角。

    Mar, 2024

  • ViewFusion: 学习可组合的扩散模型用于新视角合成

    通过深度学习，本研究提出了一种新颖的视角合成方法 ViewFusion，其以端到端的生成方式灵活地综合多个输入视角，消除噪声并生成高质量的视角，相较于现有方法具有更好的泛化性能和适用性。

    Feb, 2024

  • 单目视频的动态视图合成的扩散先验

    通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型，然后将知识从微调的模型提取到包含动态和静态神经辐射场（NeRF）组件的 4D 表示中，实现几何一致性并保持场景的一致性，从而进一步推进动态新视角合成。

    Jan, 2024

  • 利用分布驱动神经辐射场的动态场景可分离新视角合成

    通过神经辐射场来区分整个动态场景中的背景分布并从静态背景中抽取出对象， 从而提供高质量的视图合成和 3D 解决方案。

    Jan, 2023

  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022

  • CompNVS：具备场景补全的新视角综合技术

    本研究提出了一种可扩展的框架，用于从具有大部分不完整场景覆盖的 RGB-D 图像中合成新视图。 通过一种稀疏网格神经场景表示学习得到的场景分布对未观察到的场景部分进行完成。 最终，本方法的图形输出在未观察到的场景部分方面优于现有技术。

    Jul, 2022

  • 大规模场景运动模糊的混合神经渲染

    本研究提出了一种混合神经渲染模型，将基于图像的表示和神经 3D 表示结合起来，以渲染高质量，视图一致的图像，并在训练过程中通过预计算的质量感知权重来降低模糊图像的影响，从而在新视图合成方面超越了现有的以点为基础的方法。

    Apr, 2023

  • Free3D: 无需 3D 表示的一致新视角合成

    这篇研究提出了一种名为 Free3D 的简单方法，用于通过单张图像进行开放集合的新视角合成。使用编码目标相机姿势的新的像素级射线调节归一化（RCN）层，改进了目标相机姿势的建模。同时通过轻量级多视图注意力层和多视图噪声共享提高了多视图一致性。我们在 Objaverse 数据集上训练了 Free3D，并在几个新数据集中展示了其卓越的泛化性能。希望我们的简单而有效的方法能够作为一个坚实的基准，并有助于未来关于新视角合成更精确的研究。

    Dec, 2023

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • ZeroNVS: 从单张真实图像实现零射击 360 度视角综合

    我们引入了一个三维感知扩散模型 ZeroNVS，用于野外场景下的单图像新视图合成。通过训练一种生成式先验模型来处理多物体场景和复杂背景带来的挑战，提出了新的技术。我们还提出了一种新颖的相机条件参数化和归一化方案，以解决深度尺度的二义性问题。此外，我们注意到 Score Distillation Sampling（SDS）在蒸馏 360 度场景时倾向于截断复杂背景的分布，并提出了 “SDS anchoring” 以改善合成新视图的多样性。我们的模型在 DTU 数据集的零样本设置中取得了新的 LPIPS 优势，甚至优于专门在 DTU 上训练的方法。我们进一步将具有挑战性的 Mip-NeRF 360 数据集调整为单图像新视图合成的新基准，并在该设置中展现出强大的性能。我们的代码和数据位于此 http URL。

    Oct, 2023