Dec, 2023

WildScenes:大规模自然环境下的二维和三维语义分割基准

TL;DR近期在语义场景理解方面的进展主要得益于城市环境中具有语义注释的双模态(相机和激光雷达)数据集的可用性。然而,为了实现自然、非结构化环境下的语义感知应用,包括自然保护、搜救、环境监测和农业自动化,我们也需要具有语义注释的数据集。因此,我们介绍了 WildScenes,一个双模态基准数据集,其中包括自然环境下多个大规模遍历,包括高分辨率 2D 图像和密集 3D 激光雷达点云的语义注释,以及准确的 6 自由度姿态信息。我们的 3D 语义标签通过一种高效的自动化过程得到,该过程将多视角中的人工标注 2D 标签转移到 3D 点云中,从而避免了在 3D 中进行昂贵和耗时的人工注释。我们引入了关于 2D 和 3D 语义分割的基准,并评估了各种最新的深度学习技术,以展示在自然环境中语义分割中的挑战。我们提出了供标准基准和域自适应基准使用的训练 - 验证 - 测试划分,并利用一种自动划分生成技术来确保类别标签分布的平衡。该数据集、评估脚本和预训练模型将在接受之后发布于该 URL。