ICCVMar, 2021

使用隐式场景表示的现场标记和理解

PDF
TL;DR本研究旨在扩展神经辐射场（NeRF）方法，并通过将语义信息与外观和几何信息进行联合编码，实现同时获取精确的 2D 语义标签，而无需使用过多的现场注释数据，该方法通过有效地传播稀疏或嘈杂的标签，在轻松地应用于室内场景标注、超分辨率、标签插值和多视图语义标签融合等多个有趣应用展示了其优越性。
semantic labellingneural radiance fields2d semantic labelssparse labelsvisual semantic mapping systems
发现论文，激发创造
  • 基于语义感知的神经辐射场用于视觉场景理解：综述

    本综述全面研究了语义感知的神经辐射场（NeRFs）在视觉场景理解中的作用，覆盖了 250 多篇学术论文的分析。它探讨了 NeRFs 在场景中熟练推断静态和动态物体的三维表示的能力，并介绍了其在生成高质量新视点、补全场景细节（修复）、进行全面场景分割（全景分割）、预测三维边界框、编辑三维场景和提取以物体为中心的三维模型方面的重要性。本研究的一个重要方面是将语义标签应用为视点不变函数，有效地将空间坐标映射到一系列语义标签的过程，从而便于识别场景中的不同物体。总体而言，本综述强调了在视觉场景解释的背景下，语义感知的神经辐射场的发展和多样应用。

    Feb, 2024

  • 语义就够了：仅基于语义信息的 NeRF 重建

    优化 Semantic-NeRF 模型以实现仅有语义输出，并移除 RGB 输出成分，通过对比实验证明这种改动对于场景理解、目标检测和分割等任务的影响，提供了渲染场景的新方式并促进了进一步的研究和发展。

    Mar, 2024

  • 交互式神经场景标注

    使用 3D 神经场联合表示几何、颜色和语义，通过手持 RGB-D 传感器实时重建场景，实现无需训练数据的点云场景的稠密标注，其表现优于训练集大、标注成本高的图像分割标准方法，并可以通过用户定义实时更新的语义类进行开设方式标注。该模型为多层感知器，可实时从头开始学习场景的神经表示，能够在实时更新和可视化场景模型的同时比常规方法更加高效地标注。可以通过只点击多个点标注准确的 10 个以上语义类别的房间或类似场景，定量标注精度的提高取决于点击次数，且迅速超越标准预先训练的语义分割方法。此外，我们还展示了一种分层标注变体。

    Nov, 2021

  • SNeRL: 语义感知神经辐射场与强化学习

    本论文提出了一种基于视角图进行神经元无关表示的方法，使用语义感知的神经辐射场和卷积编码器共同地学习三维感知神经元隐式表示，在强化学习中实现语义感知的表征。

    Jan, 2023

  • 基于神经渲染的无监督连续语义适应

    本文研究了语义分割的连续多场景自适应问题，提出了基于 Semantic-NeRF 网络的解决方案，通过将分割模型的预测结果融合，使用视点一致的渲染语义标签来适应模型。我们在 ScanNet 数据集上测试，取得了比基线和最先进的无监督域自适应方法更好的性能。

    Nov, 2022

  • LISNeRF 绘图：基于语义神经场的大规模三维场景基于 LiDAR 的隐式绘图

    本文提出了一种通过 LiDAR 测量单独重建大规模三维语义场景的新方法，使用隐式表示进行建模。通过浅层多层感知机（MLPs）从隐式特征解码出语义信息和有符号距离值，并采用自监督策略和伪监督策略进行隐式特征和 MLPs 参数的联合优化，最后利用 Marching Cubes 算法对场景进行推断阶段的细分和可视化。与当前最先进的 3D 建图方法相比，我们的框架在三个真实数据集，SemanticKITTI，SemanticPOSS 和 nuScenes 上表现出了很高的效果和效率。

    Nov, 2023

  • 使用学习编码的场景表示进行单目密集语义重建

    该研究提出了一种基于变分自编码器的语义表示方法，实现了对三维语义地图的实时增量建立与空间一致的语义标签融合，可以用于单目关键帧语义映射系统，并能够实现对位姿、几何和语义的联合优化。

    Mar, 2019

  • 神经标注：使用神经辐射场标注视觉数据的多用途工具集

    我们提出了 NeuralLabeling，这是一种使用边界框或网格进行场景标注的方法和工具集，可以生成分割掩膜、可用性地图、2D 边界框、3D 边界框、6DOF 物体姿态、深度图和物体网格。

    Sep, 2023

  • NeSLAM：神经隐式映射与自监督特征跟踪（配以深度补全和去噪）

    通过使用神经辐射场 (NeRF) 和密集 RGB-D SLAM 系统，我们提出了 NeSLAM 框架，能够进行准确的深度估计、鲁棒的相机跟踪和逼真的新视图合成，从而解决了由消费级 RGB-D 传感器获取的稀疏且嘈杂的深度图带来的重建和几何场景表达不准确的挑战，并在各种室内数据集上验证了系统在重建、跟踪和新视图合成方面的有效性和准确性。

    Mar, 2024

  • NeRF 融合：基于 NeRF 的大规模场景表示

    本文介绍了一种名为 NeRFuser 的架构，它可以在不需要访问大量用于生成它们的图像集的情况下，对 NeRF（神经辐射场）进行注册和混合。NeRFuser 使用 re-rendering 技术进行注册，提出了基于采样的反距离加权进行混合，经实验证明具有鲁棒性。

    May, 2023