Jan, 2024

MUSES:驾驶不确定性条件下的多传感器语义感知数据集

TL;DR在自动驾驶汽车中实现第五级驾驶自动化需要一个强大的语义视觉感知系统,它能够解析来自不同传感器的数据,并适应多种条件。为了解决现有语义感知数据集中通常缺乏自动驾驶汽车中常用的重要非相机模式,或者未能利用这些模式来帮助和改善具有挑战性条件下的语义注释的问题,我们引入了MUSES,即用于在恶劣条件下以增加的不确定性驾驶的多传感器语义感知数据集。MUSES包括在多样化的天气和照明条件下捕获的2500张图像的同步多模态记录,并具有2D全景注释。该数据集整合了帧相机、激光雷达、雷达、事件相机和IMU/GNSS传感器。我们的新型两阶段全景注释协议捕捉了真实值中的类别级别和实例级别的不确定性,引入了我们的新任务——不确定性感知全景分割,并同时提供标准的语义分割和全景分割。MUSES在多样的视觉条件下既对训练有效又具有挑战性,为多模态和不确定性感知中的研究开辟了新的途径。我们的数据集和基准将公开提供。