Dec, 2023

使用 NeRF-Ensembles 进行密度不确定性量化：数据与场景约束的影响

PDF
TL;DR在计算机图形学、计算机视觉和摄影测量领域，神经辐射场（NeRFs）是当前研究和发展的主要课题。然而，NeRF 产生的 3D 场景重建和后续表面重建的质量主要依赖于网络输出，特别是密度。针对这一关键方面，我们提出利用提供密度不确定性估计的 NeRF-Ensembles。我们证明了数据约束，如低质量图像和姿势，会导致训练过程的退化，增加密度不确定性并降低预测密度。即使使用高质量的输入数据，密度不确定性也会因场景约束（如获取组合、遮挡和材料属性）而变化。NeRF-Ensembles 不仅提供了量化不确定性的工具，还展示了两个有希望的优势：增强的鲁棒性和伪影去除。通过使用 NeRF-Ensembles 而非单个 NeRF，可以消除小的异常值，从而获得更平滑的输出和结构的完整性改善。此外，对密度不确定性异常值应用基于百分位的阈值在后处理中被证明对去除大型（雾状）伪影是有效的。我们在三个不同的数据集上进行了我们的方法论验证：（i）合成基准数据集，（ii）真实基准数据集，（iii）在真实记录条件和传感器下的真实数据。
neural radiance fieldsnerfsnerf-ensemblesdensity uncertaintyartifact removal
发现论文，激发创造
  • 贝叶斯 NeRF：用神经光辐射场中的体积密度量化不确定性

    我们提出了贝叶斯神经辐射场（NeRF），它能够在几何体积结构中明确量化不确定性，无需额外网络，使其适用于具有挑战性的观测和无控制的图像。NeRF 通过丰富的场景表示来区别于传统的几何方法，在三维空间中从不同视角呈现颜色和密度。然而，NeRF 在使用几何结构信息放松不确定性方面遇到限制，导致在不充分的真实观测下的解释不准确。为了从根本上解决这个问题，我们提出了一系列公式扩展 NeRF 的方法。通过引入广义近似和定义与密度相关的不确定性，我们的方法不仅无需额外网络或经验假设，还能无缝扩展来处理 RGB 和深度的不确定性。实验结果显示，我们的方法在全面的数据集上显著提升了 RGB 和深度图像的性能，展示了基于几何结构定量化不确定性的贝叶斯 NeRF 方法的可靠性。

    Apr, 2024

  • ActiveNeRF: 带有不确定性估计的学习何时看见

    本研究提出了一种新学习框架，ActiveNeRF，通过利用不确定性估计和主动学习策略来提高 NeRF 模型在少量样本下的泛化性能，从而实现在资源受限的情况下从 2D 图像集中构建 3D 场景以及生成新视角的重建。

    Sep, 2022

  • 随机神经辐射场：量化隐式三维表示中的不确定性

    提出了 Stochastic Neural Radiance Fields (S-NeRF) 作为一种泛化标准 NeRF 的方法，在机器学习中使用贝叶斯学习框架进行优化，得出可以量化与模型估计相关的不确定性的概率分布，为场景信息提供了更可靠的预测和置信度值。

    Sep, 2021

  • 基于神经辐射场的不确定性感知视觉定位

    本文提出了一种使用神经辐射场（NeRF）生成训练样本的场景坐标回归（SCR）方法，并且通过设计 NeRF 来预测渲染数据的不确定性，在像素级别揭示数据的可靠性；将 SCR 公式化为带有认识不确定性的深度证据学习，用来评估信息获取与场景坐标质量；基于不确定性的三个方面，形成了一种新的视角选择策略，极大地提高了数据效率。实验结果表明，我们的方法能够选择带来最大信息增益的样本，并以最高效率提高性能。

    Oct, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • 神经辐射场的校准不确定性

    通过引入一种基于鲁棒而高效的指标的方法，从预测后验分布中计算每个像素的不确定性；我们提出了两种消除需保留数据需求的技术，并提出了一种新颖的元校准器，只需要训练一个 NeRF 模型。从而在稀疏视图设置中获得了最新的不确定性，同时保持图像质量。我们在视图增强和最佳视图选择等应用中展示了我们方法的有效性。

    Dec, 2023

  • 微调隐式函数的不确定建模

    利用大规模的无噪声合成数据集作为形状先验来帮助模型填补缺失信息，同时通过引入 Dropsembles 方法进行不确定性估计，我们在神经辐射场、占据网络和符号距离函数等领域进行了一系列实验来验证其有效性，并在低分辨率 MRI 分割中的腰椎案例中展示了 Dropsembles 方法具有与深度集成相当的准确度和校准度但计算成本显著降低。

    Jun, 2024

  • 贝叶斯光线：神经辐射场的不确定性量化

    我们介绍了 BayesRays，一个后处理框架，用于评估任何预训练的 NeRF 模型中的不确定性，通过使用空间扰动和贝叶斯拉普拉斯近似建立体积不确定场，我们通过统计推导证明了该算法在关键指标和应用方面的优越性能。

    Sep, 2023

  • 分布式神经辐射场模型：基于众包图像的去中心化实现

    DecentNeRF 是第一次尝试的去中心化、众包的神经辐射场（NeRFs），与集中式方法相比，它在训练过程中减少了服务器计算成本，并通过将用户的 3D 视图分解为个人和全局 NeRFs 以及一种新颖的最优加权聚合，实现学习具有照片级真实感的场景表示。它在结构化合成和真实世界照片旅游数据集上验证了我们的方法学习 NeRFs 具有照片级真实感和最小的服务器计算成本，并进一步分析了 DecentNeRF 中全局 NeRFs 的安全聚合如何最小化服务器对个人内容的不良重建。

    Mar, 2024

  • 估计 3D 不确定域：量化神经辐射场的不确定性

    基于学习的不完整场景几何构建的 3D 不确定性场，可以明确识别未见区域，推理高不确定性，并适用于实际机器人任务。

    Nov, 2023