NeSF: 用于三维场景的神经语义字段通用语义分割
基于神经隐式表示的 3D 场景分割方法,通过多视图图像特征和语义地图作为输入,采用软投票机制来聚合来自不同视图的二维语义信息,结合视角差异信息预测投票分数,通过可见性模块筛选掉遮挡视图的有害信息,在只有二维语义监督的情况下,能够综合合成语义地图或进行新场景的三维语义分割。
Oct, 2023
通过引入 Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF),我们提出了一种对 3D 场景进行泛化的隐式表示方法,显著提升了 2D 和 3D 开放词汇语义分割的性能,同时消除了对语义标签或深度先验的需求,有效地在不进行微调的情况下跨场景和数据集进行泛化。
Apr, 2024
提出了一种新的神经网络模型 uSF,用于形成扩展向量表示,通过评估模型的预测不确定性,实现了对三维场景的可微分重建和不确定性估计,并证明了具有不确定性功能的模型在训练样本有限的情况下表现更好。
Dec, 2023
我们提出了一种新颖的方法,通过利用神经辐射场(NeRFs)从二维监督中进行三维语义分割,通过提取表面点云上的特征,实现了场景的紧凑表示,这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化,可以适用于任何类型的 NeRF 场景。
Oct, 2023
优化 Semantic-NeRF 模型以实现仅有语义输出,并移除 RGB 输出成分,通过对比实验证明这种改动对于场景理解、目标检测和分割等任务的影响,提供了渲染场景的新方式并促进了进一步的研究和发展。
Mar, 2024
本文介绍了一种新的神经场景表示方法 NSVF,它定义了一组体素界限的隐式场,通过稀疏体素八叉树组织,从一组姿态的 RGB 图像中逐步学习底层体素结构,并通过跳过不包含任何相关场景内容的体素来加速渲染新视角,可轻松应用于场景编辑和场景组合。
Jul, 2020
使用多视图输入合成新视图图像,神经辐射场(NeRF)已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场(GSNeRF)的方法,该方法独特地将图像语义纳入合成过程中,从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成:语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入,提取语义和几何特征。在后者的指导下,利用得到的图像几何信息,进行图像和语义渲染,从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作,并进一步验证了我们的采样策略的有效性。
Mar, 2024
使用神经特征融合场(N3F)方法,将预训练的 2D 图像特征提取器引入到对可重建为 3D 场景的多个图像的分析中,以学习在 3D 空间中定义的用于提取特征的学生网络,证明在各种任务中, including 2D 对象检索、3D 分割和场景编辑,N3F 不仅在特定场景神经场上实现了语义理解而且一贯优于自监督 2D 基线。
Sep, 2022
提出了一种利用神经隐式场表示解决室内场景语义 V-SLAM 问题的在线框架,并通过多项实验表明其在测试时间具有精确的跟踪、地图绘制和语义标注能力,能够扩展到 RGB 图像输入,为机器人视觉感知及相关问题提供了可行的解决方案。
Apr, 2023
通过使用神经辐射场 (NeRF) 和密集 RGB-D SLAM 系统,我们提出了 NeSLAM 框架,能够进行准确的深度估计、鲁棒的相机跟踪和逼真的新视图合成,从而解决了由消费级 RGB-D 传感器获取的稀疏且嘈杂的深度图带来的重建和几何场景表达不准确的挑战,并在各种室内数据集上验证了系统在重建、跟踪和新视图合成方面的有效性和准确性。
Mar, 2024