uSF:学习具有不确定性的神经语义领域
NeSF 是一种从 RGB 图像中生成 3D 语义场的方法,它利用了隐式神经场表示法,根据点积函数捕捉 3D 结构,能够在任意 3D 点上查询,并且生成可以与真实场景相对应的 3D 一致的语义图谱,是第一种只需要 2D 监督进行训练的真正密集的 3D 场景分割方法。
Nov, 2021
提出了 Stochastic Neural Radiance Fields (S-NeRF) 作为一种泛化标准 NeRF 的方法,在机器学习中使用贝叶斯学习框架进行优化,得出可以量化与模型估计相关的不确定性的概率分布,为场景信息提供了更可靠的预测和置信度值。
Sep, 2021
本研究提出了一种新学习框架,ActiveNeRF,通过利用不确定性估计和主动学习策略来提高 NeRF 模型在少量样本下的泛化性能,从而实现在资源受限的情况下从 2D 图像集中构建 3D 场景以及生成新视角的重建。
Sep, 2022
提出了一种名为 ActiveNeuS 的方法,该方法在选择视图时考虑了不确定性,通过同时计算图像渲染不确定性和神经隐式曲面不确定性,避免了稀疏输入训练阶段引入的偏差,通过使用曲面信息和格点高效地选择多样的视点,提升了 3D 场景重建的性能。
May, 2024
本文提出神经显性场(NVF),这是一种用于应用于主动映射的神经辐射场(NeRF)的新型不确定性量化方法。通过使用贝叶斯网络将基于位置的场不确定性组合到基于光线的相机观测不确定性中,NVF 自然地将更高的不确定性分配给未观察到的区域,帮助机器人选择最具信息量的下一个视点。大量的评估结果表明,NVF 在不确定性量化和场景重建方面表现出色,优于现有方法。
Jun, 2024
我们提出了贝叶斯神经辐射场(NeRF),它能够在几何体积结构中明确量化不确定性,无需额外网络,使其适用于具有挑战性的观测和无控制的图像。NeRF 通过丰富的场景表示来区别于传统的几何方法,在三维空间中从不同视角呈现颜色和密度。然而,NeRF 在使用几何结构信息放松不确定性方面遇到限制,导致在不充分的真实观测下的解释不准确。为了从根本上解决这个问题,我们提出了一系列公式扩展 NeRF 的方法。通过引入广义近似和定义与密度相关的不确定性,我们的方法不仅无需额外网络或经验假设,还能无缝扩展来处理 RGB 和深度的不确定性。实验结果显示,我们的方法在全面的数据集上显著提升了 RGB 和深度图像的性能,展示了基于几何结构定量化不确定性的贝叶斯 NeRF 方法的可靠性。
Apr, 2024
我们介绍了 BayesRays,一个后处理框架,用于评估任何预训练的 NeRF 模型中的不确定性,通过使用空间扰动和贝叶斯拉普拉斯近似建立体积不确定场,我们通过统计推导证明了该算法在关键指标和应用方面的优越性能。
Sep, 2023
本文提出了一种使用神经辐射场(NeRF)生成训练样本的场景坐标回归(SCR)方法,并且通过设计 NeRF 来预测渲染数据的不确定性,在像素级别揭示数据的可靠性;将 SCR 公式化为带有认识不确定性的深度证据学习,用来评估信息获取与场景坐标质量;基于不确定性的三个方面,形成了一种新的视角选择策略,极大地提高了数据效率。实验结果表明,我们的方法能够选择带来最大信息增益的样本,并以最高效率提高性能。
Oct, 2023
通过引入 Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF),我们提出了一种对 3D 场景进行泛化的隐式表示方法,显著提升了 2D 和 3D 开放词汇语义分割的性能,同时消除了对语义标签或深度先验的需求,有效地在不进行微调的情况下跨场景和数据集进行泛化。
Apr, 2024