Jun, 2024

ASSR-NeRF: 在体素网格上实现任意尺度超分辨率以高质量重建辐射场

PDF
TL;DR提出了一种名为 Arbitrary-Scale Super-Resolution NeRF (ASSR-NeRF) 的新型框架，通过使用 VoxelGridSR 模型在优化的体积上直接进行 3D 超分辨率 (SR) 操作，从而实现超分辨率新视角合成 (SRNVS)。通过在多样化场景上进行训练，可以确保模型的泛化能力，在训练过程中，对于使用低分辨率视角的未见场景，可以直接应用 VoxelGridSR 来进一步优化体积，并实现多视角一致的超分辨率 (SR)。实验证明，所提出的方法在 SRNVS 上取得了显着的性能提升。
发现论文，激发创造
  • NeRF-SR：使用超采样的高质量神经辐射场

    NeRF-SR 是一种高分辨率、低分辨率输入的新视角综合解决方案，基于神经放射场，利用超采样策略和改进网络，在没有外部信息的情况下，实现了高质量的新视角合成。

    Dec, 2021

  • DiSR-NeRF：扩散引导的视角一致超分辨率 NeRF

    DiSR-NeRF 是一个利用扩散引导的框架来实现视图一致的超分辨率 NeRF，该方法通过利用现有的强大 2D 超分辨率模型来规避高分辨率参考图像的要求，并通过 NeRF 的内在多视图一致性属性提出了迭代的 3D 同步技术来减轻 LR 渲染图像之间不一致的问题。通过 Renoised Score Distillation，我们进一步引入了一种新颖的用于 2D 图像分辨率的评分蒸馏目标函数。我们的 DiSR-NeRF 在合成和真实世界数据集上进行的定性和定量结果表明，与现有方法相比，我们的方法在 NeRF 超分辨率上可以取得更好的效果。

    Apr, 2024

  • Super-NeRF: NeRF 超分辨率图像的视角一致细节生成

    该论文提出了 Super-NeRF 方法，通过对低分辨率输入进行 2D 超分辨率的控制，构建了一个一致性控制超分辨率模块，以生成视图一致的高分辨率 NeRF 模型，从而实现高分辨率细节的生成和跨视图一致性。

    Apr, 2023

  • ZS-SRT：神经辐射场的高效零样本超分辨率训练方法

    我们提出了一种 NeRF 的零样本超分辨率训练框架，通过单场景内部学习指导 NeRF 模型合成高分辨率的新颖视角，而无需外部高分辨率训练数据。我们的方法采用两个阶段，首先通过内部学习在预训练的低分辨率粗糙 NeRF 上学习场景特定的退化映射，然后通过反向渲染使用映射函数优化超分辨率细致 NeRF，并通过推理阶段引入时间集成策略来补偿场景估计错误。通过在公共数据集上进行大量实验，我们定性和定量地验证了我们方法的有效性。

    Dec, 2023

  • DistGrid：具有分布式多分辨率哈希网格的可扩展场景重建

    基于多分辨率哈希格方法的可扩展场景重建方法，通过划分大型场景、消除背景 NeRF，并利用分割体积渲染方法处理跨边界射线，实现了更高质量、更可扩展的场景重建。

    May, 2024

  • 基于体素格优化的辐射场重建：超快收敛

    我们提出了一种超快速收敛的方法，通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成，该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观，同时采用了后激活插值和一些先验约束技术，从而使训练时间缩短到 15 分钟以内，并达到了前沿的质量水平。

    Nov, 2021

  • VoxNeRF：连接体素表示和神经辐射场，用于增强室内视角合成

    VoxNeRF 是一种利用体积表示增强室内视图合成质量和效率的新方法，通过构建结构化场景几何并将其转换为基于体素的表示，以及采用独特的基于体素引导的高效采样技术，成功地提高了视图合成的效果。VoxNeRF 在速度上甚至超越了 Instant-NGP，推动了该技术向实时化发展。

    Nov, 2023

  • 神经可形变体素网格用于快速优化动态视角合成

    本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景，该方法包括两个模块，采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度，并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明，本方法在仅用 20 分钟的训练时间下，达到了与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，显示了该方法的高效性。

    Jun, 2022

  • 利用神经辐射场实现实时视图合成

    该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法，它使用学习的稀疏体素网格表示，通过对神经辐射场（Neural Radiance Fields）进行预处理和存储（烘焙）来实现实时渲染。通过该方法，可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力，实现在普通硬件上进行实时渲染。

    Mar, 2021

  • PlaNeRF：SVD 无监督 3D 平面正则化 NeRF 大规模场景重建

    本文提出了一种改进 NeRF 的方法：使用 RGB 图像和语义地图，引入奇异值分解（SVD）的平面正则化和结构相似指数测量（SSIM），以提高精确的几何重建效果，实现了大规模室外场景的渲染质量最优解。

    May, 2023