CVPRApr, 2024

JRDB-PanoTrack: 拥挤人类环境中的开放式全景分割和追踪机器人数据集

PDF
TL;DR自主机器人系统研究中，环境理解是机器人导航、人机交互和决策的关键步骤。本文介绍了一种新的开放世界全景分割和跟踪基准数据集 JRDB-PanoTrack，旨在提供更全面的环境感知。该数据集包含室内和室外拥挤场景的多种数据、包括 2D 和 3D 同步数据模态；高质量的 2D 空间全景分割和时间跟踪标注，并附加 3D 标签投影以进一步提供空间理解；适用于封闭世界和开放世界识别基准的各种对象类别，使用基于 OSPA 的度量进行评估。对主要方法的广泛评估表明，我们的数据集提出了重要挑战。
发现论文，激发创造
  • JRDB-Pose: 一个用于多人姿态估计与跟踪的大规模数据集

    介绍了 JRDB-Pose 数据集，该数据集是一个使用社交导航机器人拍摄的大规模数据集，并包括拥挤室内外位置和各种尺度和遮挡类型的挑战场景，可用于多人姿态估计和跟踪的基准测试，为自主机器人系统在人类环境中的操作和决策提供深入理解的支持。

    Oct, 2022

  • JRDB：建筑环境下人类自我中心机器人视觉感知数据集及基准

    介绍了 JRDB 数据集，该数据集是从社交机器人 JackRabbot 采集的一系列包括 RGB 视频、点云、音频信号等多模态数据，并标记了超过 230 万个包围框及 3500 个时间连续轨迹，其可用于研究以机器人视角为主的视觉算法、人物探测和自主导航等领域。

    Oct, 2019

  • JRDB-Social：一个用于理解社交群体内人际互动的多方面机器人数据集

    通过引入 JRDB-Social 数据集，本研究利用最新的多模态大语言模型来评估其解读社会人类行为能力，以加深我们对于人类社会动态在机器人应用中的理解。

    Apr, 2024

  • JRDB-Traj：人群轨迹预测数据集与基准

    通过引入一个新的数据集和评估标准，这篇论文介绍了一种用于自主导航系统中轨迹预测的模型，旨在解决实际应用场景中隔离模型所面临的挑战，并促进对导航动态的深入理解。

    Nov, 2023

  • JRMOT: 实时三维多目标跟踪器及新的大规模数据集

    本研究提出了一种新的 3D MOT 系统，通过整合来自 RGB 图像和 3D 点云的信息，融合了联合概率数据关联框架，实现了实时，最先进的跟踪性能，并发布了一个包括 2 百万个框和 3500 个一致的 2D + 3D 轨迹的大规模数据集，该数据集被命名为 JRDB，并在多个设置下进行了测试，从而成为了目前最先进的多对象跟踪解决方案之一。

    Feb, 2020

  • Panoptic nuScenes：LiDAR 全图分割和跟踪的大规模基准测试

    介绍了扩展了 nuScenes 数据集的大规模全景 nuScenes 基准数据集，以便对动态城市环境的全景场景理解方法进行研究和评估，同时提出了各种分割和跟踪任务的强基线方法，并提出了面向实例的新型 PAT 指标，解决了现有指标的局限性。

    Sep, 2021

  • CoPeD - 推进多机器人协同感知：一个实际环境中的综合数据集

    过去十年中，虽然单一机器人感知取得了重大进展，但多机器人协同感知的研究仍未被广泛探索。本文提出了一个开创性的全面真实世界的多机器人协同感知数据集，用于推动这一领域的研究。我们的数据集利用了空中 - 地面机器人协同的未发掘潜力，具有不同的空间视角、互补的机器人移动性、覆盖范围和传感器模态。它提供了原始传感器输入、姿态估计和可选的高级感知注释，以适应各种研究兴趣。与现有主要设计用于同时定位和地图构建（SLAM）的数据集相比，我们的设置确保了多样化的传感器视角范围和足够的重叠以促进多机器人协同感知算法的研究。我们通过多个协同感知任务定性地证明了这个数据集的价值。我们相信这项工作将在多模态协同感知中解锁高级场景理解的潜在研究。

    May, 2024

  • 拥挤城市场景下全方位 3D 多目标检测和跟踪的 H3D 数据集

    提出了一个大规模的全景三维多目标检测和跟踪数据集（H3D），包括 160 个高度互动的交通场景，总共 27,721 帧并提供对应的数据标注；作者还提出了标注方法来加速标注过程并为全方位三维多目标检测和跟踪算法创建基准测试。最终，讨论了算法以及未来研究中可能出现的错误来源。

    Mar, 2019

  • MMPTRACK: 大规模密集标注多摄像机多人跟踪基准测试

    本研究提供了一个大规模数据集，利用自动注释系统从不同环境下的高度重叠 RGB 和深度相机生成三维跟踪结果，并通过手动检查和纠正三维跟踪结果来确保标签质量，以提高多相机，多物体跟踪系统的可靠性和性能。

    Nov, 2021

  • Matterport3D: 室内环境下 RGB-D 数据的学习

    本文介绍 Matterport3D 数据集，包含 10,800 个全景视图，通过 RGB-D 图片提供了 90 个建筑尺度的场景的表面重建、相机姿态和 2D、3D 语义分割注释等，可用于多种计算机视觉任务，如关键点匹配、视图重叠预测、颜色预测等。

    Sep, 2017