Mar, 2019

基于 PanopticFusion 的在线体积级事物语义映射

PDF
TL;DRPanopticFusion 是一种新颖的在线立体语义映射系统，能够在 stuff 和 things 的级别上密集预测背景区域（stuff）的类标签和不同前景物体（things）的各自分割，利用其空间哈希体积图表示可以重构大规模场景并提取标记的网格，通过融合 2D 语义和实例分割输出对 RGB 框架的像素级 Panoptic 标签进行首次预测，并将这些标签与深度测量一起整合到体积地图中进行 CRF 模型的规范化，通过提出的一种新的一次势近似和地图分割策略实现在线 CRF 推理，我们在 ScanNet（v2）数据集上评估了系统性能，发现其在语义和实例分割基准测试中均优于或与最先进的脱机 3D DNN 方法相比，同时演示了利用该系统生成的 3D Panoptic 地图的有前途的增强现实应用。
发现论文，激发创造
  • 深度感知全景分割

    基于 RGB 图像和深度图像的全景分割的新方法；通过使用所观察场景的 3D 几何信息，减少错误合并为一个事物实例的对象数量，提高全景质量。

    Mar, 2024

  • 体积语义一致的三维全景建图

    我们介绍了一种在线的二维到三维语义实例映射算法，旨在生成适用于非结构化环境中的自主代理的全面、准确且高效的语义三维地图。该方法基于最近算法中使用的 Voxel-TSDF 表示，引入了在映射过程中集成语义预测置信度的新方法，产生了语义和实例一致的三维区域。通过基于图优化的语义标记和实例细化，进一步提高了准确性。该方法在公共大规模数据集上的准确性优于现有技术，改进了一些广泛使用的度量标准。我们还指出了最近研究评估中的一个问题：使用真实轨迹作为输入而不是 SLAM 估计的轨迹，这对准确性产生了重大影响，导致了报告结果与实际在实际数据上的性能之间存在很大差距。

    Sep, 2023

  • 学习融合事物和物品

    该论文提出了一种端到端的学习方法，用于解决统一实例分割和语义分割任务，所提出的 TASCNet 模型使用共享的骨干网络特征图，通过单次前向传递来预测实例和语义分割，并通过全局的实例和语义二进制掩码来明确约束这两个输出分布，以强制实现跨任务的一致性。实验证明，所提出的统一网络在几个基准测试中与最先进的方法相当，并且在单个语义和实例分割任务上也表现出色。

    Dec, 2018

  • 用于全景分割的完全卷积网络

    本文介绍了一种名为 Panoptic FCN 的概念简单、强大、高效的全景分割框架，该方法旨在以统一的卷积管道中表示和预测前景物体和背景杂物。通过提出的内核生成器，Panoptic FCN 将每个对象实例或杂物类别编码为特定的内核权重，并通过将高分辨率特征直接卷积来生成预测。通过这种方法，实例感知和语义一致的特性可以分别在一个简单的生成内核，然后进行分割的工作流中得以满足。在 COCO、Cityscapes 和 Mapillary Vistas 数据集上，不需要额外的定位框或实例分离，所提议的方法在单尺度输入上具有比以前的基于框和无框模型更高的效率。

    Dec, 2020

  • 学习实例遮挡用于全景分割

    本文提出了一种名为 OCFusion 的轻量级方法来解决 Panoptic 分割中目标实例之间的重叠问题，该方法通过二元关联建模来实现物体实例的非重叠分割。该方法利用现有数据集注释自动推导出的真实关联进行训练，在 COCO 数据集上表现出最先进的效果，并在 Cityscapes panoptic 分割基准测试中展示了竞争力的结果。

    Jun, 2019

  • 全景分割的训练和推理统一化

    我们提出了一种端到端的网络，用于连接全景分割的训练和推理管道，通过使用密集实例亲和力来捕获像素对属于相同实例的概率，并与 ResNet-50 骨干网络配合使用，实现了对 Cityscapes 和 COCO 数据集的新记录。

    Jan, 2020

  • Panoptic Multi-TSDFs：在线多分辨率体积建图和长期动态场景一致性的灵活表示

    本研究提出了一种新的体积多分辨率建模方法，可以有效地处理大型动态环境中的机器人和其他代理之间的交互，并保持其语义一致性和准确性。

    Sep, 2021

  • 单次全景分割

    本文提出了一种全新的端到端单次方法，可以将可计数的物体实例 (事物) 以及背景区域 (物料) 分段成为一个几乎达到视频帧率的非重叠全景分割。

    Nov, 2019

  • 2D-3D 视觉 - 语言蒸馏的 3D 开放词汇全景分割

    我们提出了一种新方法，通过学习 LiDAR 特征和固定的 CLIP 特征之间的融合来处理 3D 开放式词汇全景分割问题，并提出了两个新的损失函数：物体级蒸馏损失和体素级蒸馏损失。在 nuScenes 和 SemanticKITTI 数据集上的实验证明，我们的方法显著优于强基准模型。

    Jan, 2024

  • 三维实例感知语义映射与三维物体发现

    该文提出了一种用于机器人地图实时构建的方法，其中，在实时扫描的同时，使用语义实例识别和多帧数据关联技术来构建基于物体的语义地图。评估结果表明，该方法能够有效地识别和跟踪预测的物体实例，并与最先进的方法竞争。

    Mar, 2019