Apr, 2021

使用分层神经表示的可编辑自由视角视频

PDF
TL;DR本文提出了一种可编辑的逼真的自由视角视频生成方法，通过使用只有 16 个稀疏摄像头，将大规模动态场景中的每个动态实体表示为连续函数，并采用新的分层神经表示方法进行支持感知和逼真操作，并提出使用场景解析 4D 标签地图追踪和连续变形模块隐式分离时间运动，同时采用面向对象的体积渲染方案进行了再组装所有神经层，并采用新颖的分层损失和运动感知射线采样策略，实现了大规模动态场景的高效训练，并支持各种编辑功能，显示了该方法生成高质量的可编辑的自由视角视频。
发现论文，激发创造
  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • 高效神经辐射场用于交互式自由视点视频

    本文提出了一种名为 ENeRF 的场景表示，用于快速创建交互式自由视点视频，并实现了深度预测和辐射场网络的联合学习，通过针对场景表面附近的点进行采样，从而显著提高了渲染速度。在多个基准测试中进行实验，结果表明我们的方法在表现上具有竞争力，同时比先前的泛化辐射场方法快至少 60 倍。

    Dec, 2021

  • DynVideo-E: 大规模运动和视角变化人为中心视频编辑中的动态 NeRF 应用

    引入动态神经辐射场（NeRF）作为人物中心视频表示，将视频编辑问题简化为三维空间编辑任务，通过变形场在整个视频上进行编辑。

    Oct, 2023

  • 学习动态人体的神经体积表示，仅需数分钟

    本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法，通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度，实验表明该模型与传统优化方法相比，在渲染质量上有竞争力，但学习速度更快。

    Feb, 2023

  • GenLayNeRF: 用于多人视角合成的可泛化分层表示与 3D 模型对齐

    提出了一种适用于多人场景的通用分层场景表示方法，用于多人视点渲染，无需每场景优化且只需要很少的输入视图。通过将场景分割为多人分层光辐射场，并通过迭代参数修正和多视图特征融合实现与输入视图的像素级对齐的 3D 模型，进一步提出了新颖的端到端训练模块进行人体模型校正。在新颖视图综合和非人物优化场景 NeRF 方法上表现优越，而与分层场景方法在测试时间优化方面相当。

    Sep, 2023

  • Gear-NeRF：自由视点渲染和动态感知时空采样

    Gear-NeRF 使用语义信息和动态对象追踪技术解决了 NeRF 模型在计算资源受限和场景语义理解方面的局限性，实现了逼真的动态场景渲染和新视角追踪。

    Jun, 2024

  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 自由视点 RGB-D 人体表演捕捉和渲染

    提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

    Dec, 2021

  • 动态单目视频的动态视角合成

    该研究提出了一种基于神经隐式表示及不可导函数的算法，能够从动态场景中的单目视频中生成任意视角和任意输入时间步长下的新视图；通过联合训练一个不变的静态 NeRF 和一个时间变化的动态 NeRF，以及使用正则化约束的方式解决了样本不足的问题，其在大量数据和质量实验效果上获得了良好的表现。

    May, 2021