道路边缘感知越来越受到重视，通过道路合作感知可以实现对交通区域的全面了解；然而，现有的道路边缘感知方法只关注单一基础设施传感器系统，无法覆盖交通区域的全面感知，因此需要道路合作感知来实现对受限交通区域的实际感知。本研究提供了第一个真实世界的大规模道路合作感知数据集，包括检测和跟踪，证明了道路合作感知的有效性，并展示了进一步研究的方向。

Mar, 2024

合作感知技术对提升自主车辆能力和道路安全具有多方面的好处，使用路侧传感器以及车载传感器可以提高可靠性和扩展传感器范围。我们提出了一种合作多模态融合模型 CoopDet3D 和感知数据集 TUMTraf-V2X，用于合作式三维物体检测和跟踪任务。通过多次实验，我们证明了相对于车载摄像头 - LiDAR 融合模型，我们的 CoopDet3D 摄像头 - LiDAR 融合模型在三维 mAP 上实现了 + 14.36 的提高。最后，我们将我们的数据集、模型、标注工具和开发套件公开发布在我们的网站上。

Mar, 2024

我们介绍了 UT Campus Object Dataset（CODa），这是在德克萨斯大学奥斯汀分校采集的移动机器人自我中心感知数据集。我们的数据集包含 8.5 小时的多模态传感器数据：来自 128 通道 3D LiDAR 和两个 1.25MP RGB 相机的同步 3D 点云和立体 RGB 视频，帧率为 10fps；来自额外的 0.5MP 传感器的 RGB-D 视频，帧率为 7fps，并带有 40Hz 的 9-DOF IMU 传感器。我们提供了 58 分钟的地面真值注释，其中包含 130 万个含有 53 个语义类别的实例 ID 的 3D 边界框，以及 5000 帧的城市地形的 3D 语义注释和伪地面真值定位。使用 CODa，我们实证地表明：1）与现有数据集相比，使用 CODa 进行训练的城市环境下的 3D 对象检测性能显著提高，即使采用最先进的领域自适应方法；2）传感器特定的微调改善了 3D 对象检测准确性，3）在 CODa 上进行预训练相比于在 AV 数据集上进行预训练，可以提高跨数据集城市环境下的 3D 对象检测性能。使用我们的数据集和注释，我们发布了使用已建立的度量标准进行 3D 对象检测和 3D 语义分割的基准。在未来，CODa 基准将包括其他任务，如无监督的对象发现和重新识别。我们在 Texas Data Repository 上公开发布了 CODa，还提供了预训练模型、数据集开发包和交互式数据集查看器。我们期望 CODa 能成为在城市环境中自我中心的 3D 感知和自主导航规划方面的研究的宝贵数据集。

Sep, 2023

本文介绍了第一个用于道路侧面感知任务的高多样性 Rope3D 3D 数据集，其中包括超过 1.5M 3D 物体，同时提出利用几何约束来解决各种传感器和视角引起的固有模糊，并针对现有的前视单眼 3D 目标检测方法进行了改进。

Mar, 2022

过去十年中，虽然单一机器人感知取得了重大进展，但多机器人协同感知的研究仍未被广泛探索。本文提出了一个开创性的全面真实世界的多机器人协同感知数据集，用于推动这一领域的研究。我们的数据集利用了空中 - 地面机器人协同的未发掘潜力，具有不同的空间视角、互补的机器人移动性、覆盖范围和传感器模态。它提供了原始传感器输入、姿态估计和可选的高级感知注释，以适应各种研究兴趣。与现有主要设计用于同时定位和地图构建（SLAM）的数据集相比，我们的设置确保了多样化的传感器视角范围和足够的重叠以促进多机器人协同感知算法的研究。我们通过多个协同感知任务定性地证明了这个数据集的价值。我们相信这项工作将在多模态协同感知中解锁高级场景理解的潜在研究。

May, 2024

提供一种新的 A9 交叉口数据集，其中包含来自两个道路侧摄像头和交叉口桥架上安装的 LiDAR 的同步输出的点云数据，并提供了所有传感器之间的校准数据，可以将三维标签投影到图像中并实现准确的数据融合。该数据集包含 4.8k 个图像和 57.4k 个手动标记的 3D 框，包括 10 个不同的物体类别，并支持复杂的 3D 相机 - LiDAR 路侧感知任务。

Jun, 2023

通过评估多模态 3D 目标检测器在多种数据扰动下的稳健性，我们发现现有方法的鲁棒性与扰动类型和融合策略密切相关，为多模态设计选择提供了洞察。

Feb, 2024

本文提出了一种新方法来解决道路感知系统中数据不足的问题，即使用增强现实和生成对抗网络来创建合成训练数据集，从而训练鲁棒性较高、适应性更强的道路感知检测器。在两个路口的实验中，我们的实验表明，使用合成数据仅仅作为训练集的检测器可以在所有条件下获得良好的性能，并且在恶劣的条件下，使用标记数据训练的已有检测器的性能可以通过合成数据得到提升。

Jun, 2023

本文介绍了一种新的基础设施传感器的多模 3D 物体检测器 InfraDet3D，有效结合了两个 LiDAR 和单目相机数据，通过早期融合方法提高检测效果，并将 HD 地图应用于单目 3D 检测模块，以提升其最终的感知结果；该系统在德国慕尼黑的 A9 测试区域进行了实际部署和评估，得到了 68.48 的 mAP 测试结果，同时数据集和代码也提供给研究社区进行进一步的研究。

Apr, 2023

该研究介绍了一个多模态数据集，其中包括雷达、相机和激光雷达，以提高自主驾驶汽车的稳健性和长程感知并训练 3D 物体检测模型，并在 GitHub 上提供数据。

Nov, 2022