IJCAIApr, 2023

VGOS: 稀疏输入视图合成的体素网格优化

PDF
TL;DR本研究提出了一种名为 VGOS 的方法，通过 voxel-based radiance field 技术来快速重建稀疏输入（3-10 视角）下的辐射场，该方法采用了增量训练策略和正则化技术，以达到防止过拟合和平滑的效果，实验证明 VGOS 在超快速收敛下达到了稀疏输入情景下的最佳表现。
neural radiance fieldsnovel view synthesisvgosvoxel-based radiance fieldsparse inputs
发现论文，激发创造
  • 基于体素格优化的辐射场重建：超快收敛

    我们提出了一种超快速收敛的方法，通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成，该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观，同时采用了后激活插值和一些先验约束技术，从而使训练时间缩短到 15 分钟以内，并达到了前沿的质量水平。

    Nov, 2021

  • 神经可形变体素网格用于快速优化动态视角合成

    本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景，该方法包括两个模块，采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度，并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明，本方法在仅用 20 分钟的训练时间下，达到了与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，显示了该方法的高效性。

    Jun, 2022

  • SparseGS：使用高斯投影进行实时 360° 稀疏视图合成

    我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法，通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值，并增强来自未见视角的一致性，实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。

    Nov, 2023

  • VoxNeRF：连接体素表示和神经辐射场，用于增强室内视角合成

    VoxNeRF 是一种利用体积表示增强室内视图合成质量和效率的新方法，通过构建结构化场景几何并将其转换为基于体素的表示，以及采用独特的基于体素引导的高效采样技术，成功地提高了视图合成的效果。VoxNeRF 在速度上甚至超越了 Instant-NGP，推动了该技术向实时化发展。

    Nov, 2023

  • 利用神经辐射场实现实时视图合成

    该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法，它使用学习的稀疏体素网格表示，通过对神经辐射场（Neural Radiance Fields）进行预处理和存储（烘焙）来实现实时渲染。通过该方法，可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力，实现在普通硬件上进行实时渲染。

    Mar, 2021

  • 神经稀疏体素场

    本文介绍了一种新的神经场景表示方法 NSVF，它定义了一组体素界限的隐式场，通过稀疏体素八叉树组织，从一组姿态的 RGB 图像中逐步学习底层体素结构，并通过跳过不包含任何相关场景内容的体素来加速渲染新视角，可轻松应用于场景编辑和场景组合。

    Jul, 2020

  • Vosh：用于实时视图综合的体素 - 网格混合表示

    Vosh 是一种开创性的混合表示方法，将 NeRF 的体素和网格组件无缝结合，以实现视图合成中快速渲染和高质量渲染的平衡。

    Mar, 2024

  • ViP-NeRF：稀疏输入神经辐射场的可见性先验

    通过使用可靠的可见性先验计算，对 NeRF 模型进行训练和重构，实现了对场景的高质量视角转换，相较于传统的基于深度估计的约束方法有显著提升。

    Apr, 2023

  • 基于深度引导的鲁棒快速稀疏输入视图点云融合 NeRF

    通过深度引导的稀疏输入点云融合构建的辐射场点云可以有效地解决深度图的不准确性和低时间效率问题，实验证明该方法在性能和效率上优于现有技术。

    Mar, 2024

  • 压缩显式体素网格表示：快速 NeRFs 变得更小

    本文提出了 Re:NeRF 方法，用于在维持性能的同时降低 NeRF 模型的内存存储。与三种不同的 EXG-NeRF 体系结构在四个流行的基准测试中进行基准测试，显示了 Re:NeRF 的广泛适用性和有效性。

    Oct, 2022