Nov, 2021

交互式神经场景标注

PDF
TL;DR使用 3D 神经场联合表示几何、颜色和语义，通过手持 RGB-D 传感器实时重建场景，实现无需训练数据的点云场景的稠密标注，其表现优于训练集大、标注成本高的图像分割标准方法，并可以通过用户定义实时更新的语义类进行开设方式标注。该模型为多层感知器，可实时从头开始学习场景的神经表示，能够在实时更新和可视化场景模型的同时比常规方法更加高效地标注。可以通过只点击多个点标注准确的 10 个以上语义类别的房间或类似场景，定量标注精度的提高取决于点击次数，且迅速超越标准预先训练的语义分割方法。此外，我们还展示了一种分层标注变体。
3d neural fielddense labellingreal-time reconstructionmultilayer perceptronsemantic segmentation
发现论文，激发创造
  • 使用隐式场景表示的现场标记和理解

    本研究旨在扩展神经辐射场（NeRF）方法，并通过将语义信息与外观和几何信息进行联合编码，实现同时获取精确的 2D 语义标签，而无需使用过多的现场注释数据，该方法通过有效地传播稀疏或嘈杂的标签，在轻松地应用于室内场景标注、超分辨率、标签插值和多视图语义标签融合等多个有趣应用展示了其优越性。

    Mar, 2021

  • 神经标注：使用神经辐射场标注视觉数据的多用途工具集

    我们提出了 NeuralLabeling，这是一种使用边界框或网格进行场景标注的方法和工具集，可以生成分割掩膜、可用性地图、2D 边界框、3D 边界框、6DOF 物体姿态、深度图和物体网格。

    Sep, 2023

  • SemanticPaint：一个用于交互式分割三维场景的框架

    本文介绍了 SemanticPaint 的实时开源实现，它能够实现几何重建、对象类别分割和 3D 场景学习；用户可以在佩戴深度相机和虚拟现实头戴设备的情况下，与真实场景进行物理交互并为场景中的对象分配标签，使用在线随机森林机器学习算法对先前未见过的场景部分进行预测，整个过程在实时运行中实现。

    Oct, 2015

  • 拍摄标签：虚拟现实下的 3D 语义标注

    利用虚拟现实技术开发的 Shooting Labels 标注工具，可以快速标注大规模环境的 3D 语义分割数据，同时可以集成多用户标注并计算标签的不确定性，还能将 3D 标注投影到 2D 图像中，提高像素级语义标注的准确性和效率。

    Oct, 2019

  • 语义视觉定位

    该论文提出了一种基于联合三维几何和语义理解的新方法来解决计算机视觉中困难的视觉定位问题，该方法使用生成模型进行描述符学习，并在语义场景补全作为辅助任务进行训练，以使得生成的三维描述符具有鲁棒性，并能够实现在极端视角，光照和几何变化下的可靠定位。

    Dec, 2017

  • 室内场景实时渐进式 3D 语义分割

    本文提出了一种高效而健壮的技术，实现了 3D 室内场景的即时密集语义分割和重建，该方法基于高效的超体素聚类方法和来自结构和对象线索的高阶约束的条件随机场，无需预先计算即可进行渐进式密集语义分割。通过对 SceneNN 和 ScanNet 数据集中的不同室内场景进行广泛评估，证明了该技术在定性和定量实验中始终能够产生最先进的分割结果。

    Apr, 2018

  • 使用学习编码的场景表示进行单目密集语义重建

    该研究提出了一种基于变分自编码器的语义表示方法，实现了对三维语义地图的实时增量建立与空间一致的语义标签融合，可以用于单目关键帧语义映射系统，并能够实现对位姿、几何和语义的联合优化。

    Mar, 2019

  • LABELMAKER：从 RGB-D 轨迹自动生成语义标签

    本文介绍了一种完全自动化的 2D/3D 标注框架，可以在无任何人为干预的情况下，为 RGB-D 扫描生成与可比较的手动注释的数据集（如 ScanNet）相同（或更高）准确度的标签，利用最先进的分割模型的集成和通过神经渲染进行的三维提升，我们的 LabelMaker 流水线的有效性通过为 ScanNet 数据集生成更好的标签并自动标注先前未标记的 ARKitScenes 数据集来进行了演示。

    Nov, 2023

  • 三维室内场景语言引导的语义风格转移

    本文介绍了一种语言引导的 3D 室内场景语义风格转移的方法，基于多层感知机，视觉语言模型，采用渲染和修正的方式实现创新，通过 ScanNet 数据集测试表明，语义信息的引入显著提高了风格转移的品质和用户评分。

    Aug, 2022

  • Semantic3D.net：一个新的大规模点云分类基准

    本文介绍了一个新的 3D 点云分类基准数据集，其中包含超过 40 亿个手动标记的点，用于数据密集型的（深度）学习方法。使用深度卷积神经网络（CNNs）作为工作马的初始提交已经显示出相对于现有技术具有显著的性能改进。我们提供了基线方法描述和通过我们的在线系统提交方法之间的比较。我们希望 Semantic3D.net 能够为 3D 点云标注中的深度学习方法铺平道路。

    Apr, 2017