神经辐射场的校准不确定性
我们介绍了 BayesRays,一个后处理框架,用于评估任何预训练的 NeRF 模型中的不确定性,通过使用空间扰动和贝叶斯拉普拉斯近似建立体积不确定场,我们通过统计推导证明了该算法在关键指标和应用方面的优越性能。
Sep, 2023
提出了 Stochastic Neural Radiance Fields (S-NeRF) 作为一种泛化标准 NeRF 的方法,在机器学习中使用贝叶斯学习框架进行优化,得出可以量化与模型估计相关的不确定性的概率分布,为场景信息提供了更可靠的预测和置信度值。
Sep, 2021
本文提出了一种使用神经辐射场(NeRF)生成训练样本的场景坐标回归(SCR)方法,并且通过设计 NeRF 来预测渲染数据的不确定性,在像素级别揭示数据的可靠性;将 SCR 公式化为带有认识不确定性的深度证据学习,用来评估信息获取与场景坐标质量;基于不确定性的三个方面,形成了一种新的视角选择策略,极大地提高了数据效率。实验结果表明,我们的方法能够选择带来最大信息增益的样本,并以最高效率提高性能。
Oct, 2023
我们提出了贝叶斯神经辐射场(NeRF),它能够在几何体积结构中明确量化不确定性,无需额外网络,使其适用于具有挑战性的观测和无控制的图像。NeRF 通过丰富的场景表示来区别于传统的几何方法,在三维空间中从不同视角呈现颜色和密度。然而,NeRF 在使用几何结构信息放松不确定性方面遇到限制,导致在不充分的真实观测下的解释不准确。为了从根本上解决这个问题,我们提出了一系列公式扩展 NeRF 的方法。通过引入广义近似和定义与密度相关的不确定性,我们的方法不仅无需额外网络或经验假设,还能无缝扩展来处理 RGB 和深度的不确定性。实验结果显示,我们的方法在全面的数据集上显著提升了 RGB 和深度图像的性能,展示了基于几何结构定量化不确定性的贝叶斯 NeRF 方法的可靠性。
Apr, 2024
UC-NeRF 是一种专门针对欠校准多视角摄像系统的新视角合成方法,通过图层级颜色校正、虚拟畸变、时空约束的位姿细化等技术实现了在多摄像头环境下的优秀新视角合成和大规模室外场景的深度估计。
Nov, 2023
本研究提出了一种新学习框架,ActiveNeRF,通过利用不确定性估计和主动学习策略来提高 NeRF 模型在少量样本下的泛化性能,从而实现在资源受限的情况下从 2D 图像集中构建 3D 场景以及生成新视角的重建。
Sep, 2022
在计算机图形学、计算机视觉和摄影测量领域,神经辐射场(NeRFs)是当前研究和发展的主要课题。然而,NeRF 产生的 3D 场景重建和后续表面重建的质量主要依赖于网络输出,特别是密度。针对这一关键方面,我们提出利用提供密度不确定性估计的 NeRF-Ensembles。我们证明了数据约束,如低质量图像和姿势,会导致训练过程的退化,增加密度不确定性并降低预测密度。即使使用高质量的输入数据,密度不确定性也会因场景约束(如获取组合、遮挡和材料属性)而变化。NeRF-Ensembles 不仅提供了量化不确定性的工具,还展示了两个有希望的优势:增强的鲁棒性和伪影去除。通过使用 NeRF-Ensembles 而非单个 NeRF,可以消除小的异常值,从而获得更平滑的输出和结构的完整性改善。此外,对密度不确定性异常值应用基于百分位的阈值在后处理中被证明对去除大型(雾状)伪影是有效的。我们在三个不同的数据集上进行了我们的方法论验证:(i)合成基准数据集,(ii)真实基准数据集,(iii)在真实记录条件和传感器下的真实数据。
Dec, 2023
该论文提出了一种更适应性的方法来减少神经辐射场中的形状 - 辐射模糊问题。关键在于只基于密度场进行渲染的方法,通过估计基于密度场和姿态图像的颜色场并应用于规范化神经辐射场的密度场,从而改善了神经辐射场的密度场质量和数量。
Dec, 2023
本文提出了一种用于一般相机的自校准算法,用于处理任意非线性失真,所提出算法采用了针孔模型、四阶径向失真和可以学习任意非线性相机失真的通用噪声模型。同时,为了实现几何一致性,使用了 Neural Radiance Fields,以及一种新的几何损失函数来处理复杂的非线性相机模型,通过在标准的实际图像数据集上验证,证明了我们的模型可以从头开始学习相机内参和外参,而无需 COLMAP 初始化。并且表明在可微分的方式下学习准确的相机模型可以提高 PSNR,这是一个易于使用的插件,可应用于 NeRF 变体以提高性能。
Aug, 2021