CVPRMar, 2024

CVT-xRF：基于对比度的体素内变压器用于稀疏输入的 3D 一致辐射场

PDF
TL;DR当使用稀疏输入进行训练时，神经辐射场（NeRF）通常遇到密度或颜色预测错误的问题，本文提出了一种新的方法来改善 NeRF 在稀疏输入情况下的性能，通过模拟三维空间场的一致性，并采用体素光线采样策略和 Transformer 进行渲染。实验证明该方法显著改善了稀疏输入设置下的性能，并与其他方法相当。
neural radiance fieldssparse inputs3d spatial field consistencyvoxel-based ray samplingtransformer
发现论文，激发创造
  • ConsistentNeRF: 在 3D 一致性方面增强神经辐射场，用于稀疏视图合成

    该论文提出了 ConsistentNeRF 方法，通过深度信息规范化像素之间的 3D 一致性，以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中，与基线方法相比，该方法可以显著提高模型性能，如 PSNR 可提高 94％，SSIM 可提高 76％，LPIPS 可提高 31％。

    May, 2023

  • 基于体素格优化的辐射场重建：超快收敛

    我们提出了一种超快速收敛的方法，通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成，该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观，同时采用了后激活插值和一些先验约束技术，从而使训练时间缩短到 15 分钟以内，并达到了前沿的质量水平。

    Nov, 2021

  • 具有时间感知的快速动态辐射场神经体素

    介绍了一种称为 TiNeuVox 的辐射场框架，通过时间感知体素特征表示场景，进一步强化了时间信息，提出了多距离插值方法，以模拟小和大的动作，加快了动态辐射场的优化，并在合成和真实场景上经过实证评估，表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。

    May, 2022

  • 利用 Torch 单元的神经辐射场

    提出了一种名为 Torch-NeRF 的新方法，通过扩大光线感知领域和构建样本点交互来提高神经辐射场在复杂场景中的重建性能。

    Apr, 2024

  • TensoRF: 张量辐射场

    TensoRF 采用 4D 张量模型和基于 CP 分解和 VM 分解等技术去重构辐射场，实验结果表明在提高渲染质量的同时保持较小模型大小和更短的重构时间。

    Mar, 2022

  • Simple-RF: 用更简单的解决方案规范稀疏输入辐射场

    通过设计较为简化的能力增强模型，我们观察到较好的深度监督效果，进而提高稀疏视图下的主要辐射场的视图合成性能。

    Apr, 2024

  • VoxNeRF：连接体素表示和神经辐射场，用于增强室内视角合成

    VoxNeRF 是一种利用体积表示增强室内视图合成质量和效率的新方法，通过构建结构化场景几何并将其转换为基于体素的表示，以及采用独特的基于体素引导的高效采样技术，成功地提高了视图合成的效果。VoxNeRF 在速度上甚至超越了 Instant-NGP，推动了该技术向实时化发展。

    Nov, 2023

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • ViCA-NeRF：视角一致性感知的神经辐射场的 3D 编辑

    ViCA-NeRF 是第一个运用文本指令进行三维编辑且具备视图一致性的方法，通过利用几何规则和学习规则来确保多视图一致性，提供更灵活、高效且更详细的编辑效果。

    Feb, 2024

  • CMC: 跨视层多平面一致性的少样本新视角合成

    通过在 Neural Radiance Field 中引入深度感知一致性，利用分层表示构建多平面图像上的神经网络，并通过约束不同输入视图的渲染颜色和深度来规范未见目标视图，我们提出的方法能够在合成质量上超越现有方法。

    Feb, 2024