Mar, 2024

知识 NeRF：动态关节物体的少样例新视点合成

PDF
TL;DR通过利用 Knowledge NeRF 模型和仅有少量观测状态，在动态场景中成功重建 3D 场景并生成新视角。
knowledge nerfdynamic scenesnovel view synthesisarticulated objects3d scenes
发现论文，激发创造
  • ActorsNeRF: 可动画的通用少样本人体渲染 NeRF

    本篇论文提出了一种新颖的可动态生成 NeRF 模型 ActorsNeRF, 采用少量新演员的单目视频帧进行自适应训练，进一步采用两个人类先验来捕捉人类外观、形状和姿势变化，并在多个数据集上定量和定性地证明 ActorsNeRF 在 few-shot 身份和姿势泛化方面明显优于现有最先进技术。

    Apr, 2023

  • FrameNeRF: 一个简单高效的少样本新视角综合框架

    我们提出了一种名为 FrameNeRF 的新颖框架，旨在应用现成的快速高保真 NeRF 模型，以实现训练速度快且渲染质量高的少样本新视角合成任务。通过使用正则化模型作为数据生成器，从稀疏输入中生成密集视角，以提供快速高保真模型的后续训练。结合现成的正则化模型和快速高保真模型，我们的方法在各种基准数据集上取得了最先进的性能。

    Feb, 2024

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • 无模板关节神经点云用于可复位视图合成

    本文提出了一种使用基于点的表示和 Linear Blend Skinning（LBS）来联合学习动态 NeRF 和相关骨骼模型的新方法，在维持可比工作的情况下显著缩短了学习时间，在常见数据集上展示了其在重建可动物体方面的多样性和灵活性。

    May, 2023

  • ActiveNeRF: 带有不确定性估计的学习何时看见

    本研究提出了一种新学习框架，ActiveNeRF，通过利用不确定性估计和主动学习策略来提高 NeRF 模型在少量样本下的泛化性能，从而实现在资源受限的情况下从 2D 图像集中构建 3D 场景以及生成新视角的重建。

    Sep, 2022

  • Sync-NeRF: 将动态 NeRF 推广到异步视频

    利用时间偏移量优化神经辐射场（NeRF）算法来实现对动态场景的重建，解决了单一潜在嵌入对非同步视频帧的不适应性，并在不同基线上取得了显著的改进。

    Oct, 2023

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • ViewFormer：使用 Transformer 从少量图像实现无 NeRF 神经渲染

    本研究提出了一种基于 2D 的神经网络方法，结合编码键和转换模型，用于实现新颖视角合成，在不需要显式 3D 理解的情况下，相比于 NeRF 方法更高效。

    Mar, 2022

  • HumanNeRF：从稀疏输入高效生成人体辐射场

    HumanNeRF 是一种通用的神经表示方法，它沿着多视角输入引入了一个聚合像素对齐特征，并使用一种姿态嵌入的非刚性变形场来处理动态运动，进而通过外观融合模块进一步提高渲染质量，实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。

    Dec, 2021

  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022