ICCVJul, 2019

基于 RGBD 感知的语义分割增量式类别发现

PDF
TL;DR本文提出了一种使用 RGBD sensing 的增量学习方法来进行开放式世界的语义分割，使用三维地图表示方法来标记没有语义标签的区域，实现对新的物体类别的识别及聚类。通过实验验证，该方法能够正确聚类已知和未知类别的对象，并且比现有的监督式方法具有更快的处理时间及更高的性能。
open world semantic segmentationrgbd sensingincremental learning3d map representationobject clustering
发现论文，激发创造
  • 面向动态环境的实时 RGB-D 语义 SLAM

    本文提出了一种基于实时语义 RGB-D SLAM 算法的方法，其能够在动态环境中检测已知和未知的运动物体，并通过仅对关键帧进行语义分割来减少计算成本，并保持静态地图以实现强健的相机跟踪，同时提出了一种有效的几何模块来检测未知的移动物体。该算法在公共数据集和实际应用场景中进行了评估，最终实现了在低功耗嵌入式平台上实时运行并能在动态环境中提供高精度的定位与跟踪。

    Apr, 2021

  • 三维实例感知语义映射与三维物体发现

    该文提出了一种用于机器人地图实时构建的方法，其中，在实时扫描的同时，使用语义实例识别和多帧数据关联技术来构建基于物体的语义地图。评估结果表明，该方法能够有效地识别和跟踪预测的物体实例，并与最先进的方法竞争。

    Mar, 2019

  • 基于 RGB-D 图像学习丰富特征的物体检测和分割

    本文研究使用语义丰富的图像和深度特征进行 RGB-D 图像目标检测问题。我们提出了一种新的地心嵌入深度图像的方法，该方法编码了每个像素相对于地面的高度和重力角度，以及水平视差。我们证明了这种地心嵌入方法比使用原始深度图像更适用于使用卷积神经网络进行特征表示学习。最后，我们使用对象检测器的输出在现有的超像素分类框架中进行语义场景分割，并在我们研究的对象类别中实现了 24％的相对改进。

    Jul, 2014

  • 基于 RGB-D 室内数据的深度学习三维实例分割

    通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。

    Jun, 2024

  • 使用 RGB-D 相机的多视角深度学习实现一致的语义映射

    本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

    Mar, 2017

  • 基于 LIDAR 点云的开放世界语义分割

    该研究提出了一种基于 LIDAR 点云数据的开放式语义分割任务，使用 REdundAncy cLassifier 框架解决开放式语义分割和增量学习问题，并在 SemanticKITTI 和 nuScenes 数据集上达到了最先进的性能，同步解决了灾难性遗忘问题。

    Jul, 2022

  • RGB-D 目标检测与语义分割用于杂乱环境中的自主操作

    通过利用深度融合技术和深度学习的物体检测和语义分割算法，我们成功地解决了在复杂场景中感知目标物体的问题，并在 Amazon Picking Challenge2016 和紧急响应场景数据集上进行了验证。

    Oct, 2018

  • 通过自监督学习从无标签 RGB-D 视频中学习物体分割

    该论文提出了一个自超视自学的物体分割系统，其训练过程利用了点云的超分割结果，利用图匹配算法和点云配准结合检测出 3D 假标签上的再现物体模式并生成 2D 掩码。实验证明，该方法在真实和合成的视频数据集上的表现优于现有的无监督方法。

    Apr, 2023

  • ALSTER：一种用于在线 3D 语义重建的本地时空专家

    我们提出了一种在线的三维语义分割方法，可以从连续的 RGB-D 帧流中增量重建三维语义地图，适用于具有实时约束的场景，例如机器人技术或混合现实。我们的方法通过联合估计每帧的几何和语义标签来有效提取输入 RGB-D 视频流的信息，并利用 2D 输入和局部 3D 领域的差异进行对语义实体的推理，进而预测场景的增量更新并整合到全局场景表示中，实验结果表明我们的方法相对于现有的在线方法在本地区域产生了改进，并且展示了互补信息可以提升性能的证据。

    Nov, 2023

  • 室内语义分割使用深度信息

    采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割，并在 NYU-v2 深度数据集上取得了 64.5% 的准确率，充分说明了适当的硬件（如 FPGA）可以实现实时处理。

    Jan, 2013