几何感知的场场变换用于三维语义分割
通过分割语义区域并利用神经辐射场学习各自的辐射场,最后合并成完整图像,CNeRF 方法可以实现细粒度的语义区域操作,同时维持高质量的 3D 一致合成。
Feb, 2023
本综述全面研究了语义感知的神经辐射场(NeRFs)在视觉场景理解中的作用,覆盖了 250 多篇学术论文的分析。它探讨了 NeRFs 在场景中熟练推断静态和动态物体的三维表示的能力,并介绍了其在生成高质量新视点、补全场景细节(修复)、进行全面场景分割(全景分割)、预测三维边界框、编辑三维场景和提取以物体为中心的三维模型方面的重要性。本研究的一个重要方面是将语义标签应用为视点不变函数,有效地将空间坐标映射到一系列语义标签的过程,从而便于识别场景中的不同物体。总体而言,本综述强调了在视觉场景解释的背景下,语义感知的神经辐射场的发展和多样应用。
Feb, 2024
该论文介绍了 DatasetNeRF,一种新颖的方法,它能够生成无限数量、高质量的与 3D 一致的 2D 注释和 3D 点云分割,同时利用最少的 2D 人工标注。
Nov, 2023
这篇论文介绍了一种名为 Instance NeRF 的学习型 NeRF 3D 实例分割管道,它采用 3D 提案基于掩膜预测网络,可以学习给定场景的 3D 实例分割,并在任意 3D 点查询实例信息,超越了以前的 NeRF 分割方法和具有竞争力的 2D 分割方法。
Apr, 2023
本论文提出了一种基于视角图进行神经元无关表示的方法,使用语义感知的神经辐射场和卷积编码器共同地学习三维感知神经元隐式表示,在强化学习中实现语义感知的表征。
Jan, 2023
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
本文提出了一个名为 Sem2NeRF 的框架,实现了从单视角语义掩码到 3D 物体模型的转换任务,并采用区域感知学习策略对映射的精度进行改进,其在两个基准数据集上表现优于多个强基线模型。
Mar, 2022
本文提出通过蒸馏出自监督的 2D 图像特征提取器的知识,优化一种针对 NeRF 的 3D 特征场,从而实现语义场景分解以及针对局部区域的查询式编辑,从而实现结构编辑的目的。通过实验证明,3D 特征场可以将最近在 2D 视觉和语言基础模型中取得的进展应用于 3D 场景表示,从而实现令人信服的 3D 分割和选择性编辑。
May, 2022
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024