Nov, 2023

ALSTER：一种用于在线 3D 语义重建的本地时空专家

PDF
TL;DR我们提出了一种在线的三维语义分割方法，可以从连续的 RGB-D 帧流中增量重建三维语义地图，适用于具有实时约束的场景，例如机器人技术或混合现实。我们的方法通过联合估计每帧的几何和语义标签来有效提取输入 RGB-D 视频流的信息，并利用 2D 输入和局部 3D 领域的差异进行对语义实体的推理，进而预测场景的增量更新并整合到全局场景表示中，实验结果表明我们的方法相对于现有的在线方法在本地区域产生了改进，并且展示了互补信息可以提升性能的证据。
online 3d semantic segmentationreal-time constraintsgeometry and semantic labelsincremental scene updatescomplementary sources of information
发现论文，激发创造
  • RGB 序列递增式 3D 语义场景图预测

    本论文提出一种实时框架，使用 RGB 图像序列增量构建一致的三维语义场景图，包括新颖的增量实体估计流水线和场景图预测网络，使用多视角和几何特征，通过迭代信息传递估计三维语义场景图。经过在 3RScan 数据集上大量实验证明，该方法在这项挑战性任务中表现良好，优于现有的最先进方法。

    May, 2023

  • 室内场景实时渐进式 3D 语义分割

    本文提出了一种高效而健壮的技术，实现了 3D 室内场景的即时密集语义分割和重建，该方法基于高效的超体素聚类方法和来自结构和对象线索的高阶约束的条件随机场，无需预先计算即可进行渐进式密集语义分割。通过对 SceneNN 和 ScanNet 数据集中的不同室内场景进行广泛评估，证明了该技术在定性和定量实验中始终能够产生最先进的分割结果。

    Apr, 2018

  • DeLS-3D: 3D 语义地图的深度定位与分割

    该研究提出了一种基于深度学习的统一框架，通过将相机视频、运动传感器（GPS/IMU）和三维语义地图进行传感器融合，以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术，使用相机姿态和三维语义地图生成标注地图，并在深度神经网络中进行联合训练，以提高姿态估计精度。该研究表明，相较于单一传感器，传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。

    May, 2018

  • 基于在线语义重构的主动场景理解

    提出一种基于 RGBD 重建和语义分割的机器人操作主动理解未知室内场景的新方法，利用离线估计的离散视野分数场来驱动机器人的勘探扫描，结合基于体素的实时语义标注，优化遍历路径和相机轨迹，从而实现高效准确的在线场景解析。

    Jun, 2019

  • 基于 RGBD 感知的语义分割增量式类别发现

    本文提出了一种使用 RGBD sensing 的增量学习方法来进行开放式世界的语义分割，使用三维地图表示方法来标记没有语义标签的区域，实现对新的物体类别的识别及聚类。通过实验验证，该方法能够正确聚类已知和未知类别的对象，并且比现有的监督式方法具有更快的处理时间及更高的性能。

    Jul, 2019

  • 单目 SLAM 的半稠密三维语义映射

    本论文将最新的深度学习方法与基于视频流的半稠密 SLAM 相结合，在室内 / 室外数据集中得到了更好的 2D 语义标签识别，无需针对序列中的每一帧获得语义分割，其时间复杂度也得以合理控制。

    Nov, 2016

  • 3DFusion，基于实例分割流数据的实时 3D 物体重建流水线

    该论文介绍了一个实时分割和重构系统，利用 RGB-D 图像生成准确而详细的物体三维模型，可以应用于增强 / 虚拟现实、室内设计、城市规划、道路辅助和安全系统等领域。通过采样连续帧以减少网络负载并确保重构质量，采用多进程 SLAM 管道实现并行三维重构，并使用了业界领先的 YOLO 框架进行实例分割，以提高性能和准确性。该系统在室内环境中建立了一个强大的实时系统，对物体分割和重构具有重要的增强效果，也可以扩展到室外场景，为实际应用开辟了众多机会。

    Nov, 2023

  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • SceneGraphFusion：基于 RGB-D 序列的增量式 3D 场景图预测

    本文提出了一种利用图神经网络从三维环境中给定的一系列 RGB-D 帧逐步建立语义场景图的方法，并提出了一种适用于部分和缺失图数据的新型注意机制。实验表明，我们的方法在某些方面表现优于三维场景图预测方法，并且精度与其他三维语义方法和全景分割方法相当，同时运行速度达到每秒 35 帧。

    Mar, 2021

  • SCFusion：基于语义完整性的实时增量场景重建

    通过实时深度数据重建场景的完整三维模型存在遮挡缺失的问题。我们提出了一个基于深度图输入序列、支持实时增量和语义场景完成的框架，其中利用一种新颖的神经架构以及基于体素状态的方式来识别精确、高效的语义完成，并将其与全局三维模型相融合，从而最终达到精准高效的三维语义场景完整。

    Oct, 2020