SANPO: 场景理解、可达性、导航、寻径和避障数据集
本文提出了半监督视频对象分割的概念,给出了 Panoptic Wild Scenes 的大型基准和基线方法,建立了 VIPOSeg 数据集,提出了基于当下流行的 Transformer 的网格架构的强基线方法 PAOT,在 VIPOSeg 和其他 VOS 基准中取得了 SOTA 的性能,并在 VOT2022 挑战活动中获得第一名。
May, 2023
介绍了扩展了 nuScenes 数据集的大规模全景 nuScenes 基准数据集,以便对动态城市环境的全景场景理解方法进行研究和评估,同时提出了各种分割和跟踪任务的强基线方法,并提出了面向实例的新型 PAT 指标,解决了现有指标的局限性。
Sep, 2021
近期在语义场景理解方面的进展主要得益于城市环境中具有语义注释的双模态(相机和激光雷达)数据集的可用性。然而,为了实现自然、非结构化环境下的语义感知应用,包括自然保护、搜救、环境监测和农业自动化,我们也需要具有语义注释的数据集。因此,我们介绍了 WildScenes,一个双模态基准数据集,其中包括自然环境下多个大规模遍历,包括高分辨率 2D 图像和密集 3D 激光雷达点云的语义注释,以及准确的 6 自由度姿态信息。我们的 3D 语义标签通过一种高效的自动化过程得到,该过程将多视角中的人工标注 2D 标签转移到 3D 点云中,从而避免了在 3D 中进行昂贵和耗时的人工注释。我们引入了关于 2D 和 3D 语义分割的基准,并评估了各种最新的深度学习技术,以展示在自然环境中语义分割中的挑战。我们提出了供标准基准和域自适应基准使用的训练 - 验证 - 测试划分,并利用一种自动划分生成技术来确保类别标签分布的平衡。该数据集、评估脚本和预训练模型将在接受之后发布于该 URL。
Dec, 2023
本文介绍了一个由三个英国城市中 7.6 平方公里的城市景观组成的大规模城市照相测量点云数据集,其中每个 3D 点都被标记为 13 个语义类别之一,并通过基于现有算法的综合分析来识别了几个关键问题。
Sep, 2020
本研究主要针对无人车自主驾驶问题,通过领域自适应的方式解决了对 360 度视角全景图像中层次分割的无监督学习问题;通过新的数据集 DensePASS,以及基于关注机制的自适应算法框架 P2PDA 实现了从针孔图像到全景图像的专业语义分割。实验证明,该框架相比于其他无监督学习和全景图像分割方法,有着更高的准确率和更高的效率。
Oct, 2021
通过使用依身视觉视频和自动标注过程来训练语义可通行性估计器的有效方法,在多个国家和城市拍摄的视频进行的广泛实验表明,所提议的注释方法具有高可扩展性和普适性,而经过训练的语义可通行性估计器具有高准确性,能处理多样的摄像机观点,计算量小且适用于实际场景。
Jun, 2024
本研究通过创建一个新的室外数据集,解决了语义场景补全(SSC)数据的空白,该数据集通过随机采样的视图形成,通过时间步骤监督完整场景的泛化能力,并构建了实时稠密本地语义映射算法 MotionSC,该算法利用了最新的 3D 深度学习架构提高 SSC 的时间信息。我们的网络表明,该数据集能够量化并监督动态物体存在下的场景补全的准确性,这可能会引导更好的动态地图算法的发展。
Mar, 2022
自主机器人系统研究中,环境理解是机器人导航、人机交互和决策的关键步骤。本文介绍了一种新的开放世界全景分割和跟踪基准数据集 JRDB-PanoTrack,旨在提供更全面的环境感知。该数据集包含室内和室外拥挤场景的多种数据、包括 2D 和 3D 同步数据模态;高质量的 2D 空间全景分割和时间跟踪标注,并附加 3D 标签投影以进一步提供空间理解;适用于封闭世界和开放世界识别基准的各种对象类别,使用基于 OSPA 的度量进行评估。对主要方法的广泛评估表明,我们的数据集提出了重要挑战。
Apr, 2024
本文采用领域适应的角度,针对 360 度车载相机图像的全景语义分割问题,提出了使用基于注意力机制的跨域全景语义分割框架,并公开了一个密集标注且包含有标注和无标注的全景图像数据集 DensePASS。在两个标准分割网络中使用我们的框架,相对 Mean IoU 会在 6.05% 和 11.26% 之间获得排名的提高。
Aug, 2021