Jun, 2022

神经可形变体素网格用于快速优化动态视角合成

PDF
TL;DR本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景，该方法包括两个模块，采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度，并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明，本方法在仅用 20 分钟的训练时间下，达到了与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，显示了该方法的高效性。
neural radiance fieldsdynamic scenesvoxel-grid optimizationdeformable radiance fieldrendering quality
发现论文，激发创造
  • 具有时间感知的快速动态辐射场神经体素

    介绍了一种称为 TiNeuVox 的辐射场框架，通过时间感知体素特征表示场景，进一步强化了时间信息，提出了多距离插值方法，以模拟小和大的动作，加快了动态辐射场的优化，并在合成和真实场景上经过实证评估，表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。

    May, 2022

  • 基于体素格优化的辐射场重建：超快收敛

    我们提出了一种超快速收敛的方法，通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成，该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观，同时采用了后激活插值和一些先验约束技术，从而使训练时间缩短到 15 分钟以内，并达到了前沿的质量水平。

    Nov, 2021

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • DeVRF: 快速可变形体素辐射场应用于动态场景

    DeVRF 是一种用于加速学习动态辐射场的新型表示方法，使用 3D 规范空间和 4D 变形场来模拟非刚性场景，通过静态到动态学习范式及新的数据捕捉设置来解锁变形辐射场的有效学习，取得与先前最先进方法相当的高保真度，且速度提高了两个数量级 (快 100 倍)

    May, 2022

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • 利用神经辐射场实现实时视图合成

    该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法，它使用学习的稀疏体素网格表示，通过对神经辐射场（Neural Radiance Fields）进行预处理和存储（烘焙）来实现实时渲染。通过该方法，可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力，实现在普通硬件上进行实时渲染。

    Mar, 2021

  • OD-NeRF：实时动态神经辐射场的高效训练

    提出了 OD-NeRF，它可以实现动态三维场景的流式训练和渲染，并在实现帧间隐式跟踪和采样方面取得了重要进展。

    May, 2023

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023

  • VoxNeRF：连接体素表示和神经辐射场，用于增强室内视角合成

    VoxNeRF 是一种利用体积表示增强室内视图合成质量和效率的新方法，通过构建结构化场景几何并将其转换为基于体素的表示，以及采用独特的基于体素引导的高效采样技术，成功地提高了视图合成的效果。VoxNeRF 在速度上甚至超越了 Instant-NGP，推动了该技术向实时化发展。

    Nov, 2023

  • 动态场景新视角合成的前向流

    本研究提出了一种使用前向变形的神经辐射场 (NeRF) 方法，用于动态场景的新视角合成。通过在规范空间中表示静态 NeRF，并使用学习到的反向流场将采样的 3D 点映射回规范空间以渲染其他时间步骤的动态图像。然而，这种反向流场是非平滑和不连续的，难以适应常用的平滑运动模型。为解决这个问题，我们提出估计前向流场，并直接将规范辐射场变形到其他时间步骤。这种前向流场在对象区域内平滑和连续，有助于运动模型的学习。为实现这一目标，我们使用体素网格表示规范辐射场以实现高效的前向变形，并提出了可微分的变形过程，包括平均喷涂操作和修复网络，以解决多对一和一对多映射问题。详细实验证明，我们的方法在新视角合成和运动建模方面优于现有方法，验证了我们前向流动运动建模的有效性。

    Sep, 2023